AXForum  
Вернуться   AXForum > Microsoft Dynamics AX > DAX Blogs
All
Забыли пароль?
Зарегистрироваться Правила Справка Пользователи Сообщения за день Поиск Все разделы прочитаны

 
 
Опции темы Поиск в этой теме Опции просмотра
Старый 28.10.2006, 16:40   #1  
Blog bot is offline
Blog bot
Участник
 
25,626 / 848 (80) +++++++
Регистрация: 28.10.2006
Dynamics AX Geek: Axapta & precision
Источник: http://AxGeek.spaces.live.com/Blog/c...DB13!143.entry
==============
<div><div>Brandon reported his frustration about un-Real precision yesterday. And he has a point of course. However, I think the real issue here is not how many digits there are after the decimal sign, it is how many decimals there are overall. Axapta handles a precision of up to 16 digits. This can become an issue when dealing with very large numbers and high precision at the same time (inventory closing for example).
The job below illustrates the point. It job takes two numbers a and b, adds them up and prints the results. For each inner loop another digit is appended to the end.
The first outer iteration takes a starting value of 9, the next 99 and the final iteration starts at 999.
The point is that the calculation will “bum out” at step 15 for starting value 9, at step 14 for 99 and at 13. for 999. In other words it fails as soon as the total number of digits reaches 16.

static void realPrecision(Args _args)
{
int i,j;
real a,b;


==============
Источник: http://AxGeek.spaces.live.com/Blog/c...DB13!143.entry
 

Похожие темы
Тема Автор Раздел Ответов Посл. сообщение
axStart: Microsoft Dynamics AX 2009 Hot Topics Web Seminar Series Blog bot DAX Blogs 0 06.08.2008 12:05
Dynamics AX: Dynamics AX 2009 & SQL Server 2008 Blog bot DAX Blogs 0 10.06.2008 21:08
Inside Dynamics AX 4.0: Usage Scenarios Blog bot DAX Blogs 0 04.10.2007 05:15
Dynamics AX Geek: cross-references & find Blog bot DAX Blogs 0 28.10.2006 16:40
Dynamics AX Geek: Recursion in Axapta Blog bot DAX Blogs 0 28.10.2006 16:40
Опции темы Поиск в этой теме
Поиск в этой теме:

Расширенный поиск
Опции просмотра

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.
Быстрый переход

Рейтинг@Mail.ru
Часовой пояс GMT +3, время: 07:23.