求教

35888894 · 发表于 2013-8-16 11:24:12

本帖最后由 35888894 于 2016-9-21 14:18 编辑

afan · 发表于 2013-8-16 14:10:36

搜索下 BigNum

tryhi · 发表于 2013-8-17 12:38:41

本帖最后由 tryhi 于 2013-8-17 12:40 编辑

我也想知道为什么

haijie1223 · 发表于 2013-8-17 12:47:50

好像很久之前就有人讨论过AU3浮点数的计算问题~

gto250 · 发表于 2013-8-17 21:54:06

搞不懂，反正用au3进行计算，都取位数

dreamneo · 发表于 2013-8-19 13:43:43

我这测试也是一样，估计像楼上们等说的，浮点数不一样，或者要位数

lanfengc · 发表于 2013-8-21 15:39:33

这段代码在OD里调试的时候，有几句是这样写的。


00457562  |> \DD03          FLD QWORD PTR DS:[EBX]                   ;  Case 3 of switch 00457510
00457564  |.  83EC 08       SUB ESP,8
00457567  |.  DD1C24        FSTP QWORD PTR SS:[ESP]
0045756A  |.  8D95 6CFFFFFF LEA EDX,DWORD PTR SS:[EBP-94]
00457570  |.  68 247C4900   PUSH 新建_Aut.00497C24                     ;  UNICODE "%.15g"
00457575  |.  52            PUSH EDX
00457576  |.  E8 8ABDFBFF   CALL 新建_Aut.00413305
0045757B  |.  83C4 10       ADD ESP,10
0045757E  |.  E9 13010000   JMP 新建_Aut.00457696

最后有个注释是 UNICODE "%.15g" 我下面的数据是0.77999..... 这样的一个15位的小数。显示的是 UNICODE类型，我猜的是AU3把数据隐式的转换造成这个BUG。具体细节还是不太明白。

kuanglong · 发表于 2013-8-22 23:48:43

是啊，这是为什么啊

tutou9997 · 发表于 2013-8-28 14:39:03

浮点计算的问题真是很闹心

		自动登录	找回密码
密码			加入

[系统综合] 求教

本帖子中包含更多资源

评分