4172.27 - 4104.17相减得到的结果有误是怎么回事？

CHEARV · 发表于 2013-4-6 16:37:20

$f = 4172.27 - 4104.17
MsgBox(0, '', '4172.27 - 4104.17 = ' & $f)

运行上面这两句代码，我发现结果不对，后面多了好多个小数。

这是怎么回事啊？换了几个版本 3.3.6.1 3.3.9.4 都是一样的。

kevinch · 发表于 2013-4-6 17:16:06

浮点数精度问题，很正常的

sniperone · 发表于 2013-4-6 17:39:51

学习，赚点小费~

CHEARV · 发表于 2013-4-6 18:10:32

浮点数精度问题，很正常的
kevinch 发表于 2013-4-6 17:16

那这个有什么办法解决吗？修改精度，还是只能这样？

kevinch · 发表于 2013-4-6 20:42:03

我能想到的就是避开浮点数

$f = 4172.27 - 4104.17
MsgBox(0, '', '4172.27 - 4104.17 = ' & $f)
$f=417227-410417
MsgBox(0,"",'4172.27 - 4104.17 = ' & $f/100)

LawrenceDon · 发表于 2013-4-6 22:48:43

我一般会做这样的处理。

$f = 4172.27 - 4104.16
MsgBox(0, '', '4172.27 - 4104.17 = ' & StringFormat("%0.2f",$f))

h20040606 · 发表于 2013-4-7 06:09:51

一般的语言中，浮点数运算都是这样子的，没有办法的

CHEARV · 发表于 2013-4-7 23:05:19

回复 5# kevinch

呵呵，不是每个小数相减都会出现这样的错误啊。但你这个办法也算是折中的办法吧，我先试试，谢谢。

mbdnmt · 发表于 2013-4-8 00:25:29

这样

$f = (417227  - 410417) / 100
MsgBox(0, '', '4172.27 - 4104.17 = ' & $f)

或者

$f = 4172.27 - 4104.16
MsgBox(0, '', '4172.27 - 4104.17 = ' & StringFormat("%0.2f",$f))

netegg · 发表于 2013-4-8 05:26:23

大数运算就完了，如果对二进制熟悉的话转成二进制计算

PPTBS · 发表于 2013-4-12 20:31:47

回复 10# netegg

麻烦给一段指导的源码

haijie1223 · 发表于 2013-4-12 23:13:56

用Round指定位数

netegg · 发表于 2013-4-13 21:41:26

exe帮助里我加到math库里了，不再给了

		自动登录	找回密码
密码			加入

[AU3基础] 4172.27 - 4104.17相减得到的结果有误是怎么回事？