35888894 发表于 2013-8-16 11:24:12

求教

本帖最后由 35888894 于 2016-9-21 14:18 编辑

{:face (319):}

afan 发表于 2013-8-16 14:10:36

搜索下 BigNum

tryhi 发表于 2013-8-17 12:38:41

本帖最后由 tryhi 于 2013-8-17 12:40 编辑



我也想知道为什么

haijie1223 发表于 2013-8-17 12:47:50

好像很久之前就有人讨论过AU3浮点数的计算问题~

gto250 发表于 2013-8-17 21:54:06

搞不懂，反正用au3进行计算，都取位数

dreamneo 发表于 2013-8-19 13:43:43

我这测试也是一样，估计像楼上们等说的，浮点数不一样，或者要位数

lanfengc 发表于 2013-8-21 15:39:33

这段代码在OD里调试的时候，有几句是这样写的。

00457562|> \DD03          FLD QWORD PTR DS:                   ;Case 3 of switch 00457510
00457564|.83EC 08       SUB ESP,8
00457567|.DD1C24      FSTP QWORD PTR SS:
0045756A|.8D95 6CFFFFFF LEA EDX,DWORD PTR SS:
00457570|.68 247C4900   PUSH 新建_Aut.00497C24                     ;UNICODE "%.15g"
00457575|.52            PUSH EDX
00457576|.E8 8ABDFBFF   CALL 新建_Aut.00413305
0045757B|.83C4 10       ADD ESP,10
0045757E|.E9 13010000   JMP 新建_Aut.00457696



最后有个注释是 UNICODE "%.15g"我下面的数据是0.77999..... 这样的一个15位的小数。 显示的是 UNICODE类型， 我猜的是AU3把数据隐式的转换造成这个BUG。 具体细节还是不太明白。

kuanglong 发表于 2013-8-22 23:48:43

是啊，这是为什么啊

tutou9997 发表于 2013-8-28 14:39:03

浮点计算的问题真是很闹心
页: [1]
查看完整版本: 求教