【已解决】奇怪的计算公式
本帖最后由 koflion 于 2013-1-21 20:15 编辑为什么是这样的结果，按道理说其结果应该是0才对，是我小学没毕业么？？
如果被减数+1，则结果=1.00000000000023。。。真不知道是哪里出的问题。
求大神帮忙看看！！Dim $HISFL = , $YBFL = , $CE = , $TCZF = 0, $GRZF = 0
$TCZF = $YBFL + $YBFL + $YBFL + $YBFL
$GRZF = $YBFL - ($YBFL + $YBFL + $YBFL + $YBFL)
$CE = $HISFL - $YBFL
$CE = $HISFL - $TCZF
$CE = $HISFL - $GRZF
MsgBox(262208, $CE, $HISFL & "-" & $GRZF & "=" & $HISFL - $GRZF)
MsgBox(262208, $CE, 387.47 & "-" & 1998.12-(0+1610.65+0+0) & "=" & 387.47- (1998.12-(0+1610.65+0+0)))即便不使用数组，结果也是一样。。我确实没明白到底是哪里计算错误了，同样的公式使用excel计算是正确的。
好吧。。初中没好好学，高中没毕业。。。没想到是浮点运算造成的。。额 补充句：
程序版本:3.0.3 回复 1# koflion
浮点运算带来的误差,没看到已经非常接近0了吗??后面有个-13次方哦
不是AU的问题
如果需要准确值,可以转成整数计算完后再转回来 回复koflion
浮点运算带来的误差,没看到已经非常接近0了吗??后面有个-13次方哦
不是AU的问题
如果 ...
annybaby 发表于 2013-1-20 01:13 http://www.autoitx.com/images/common/back.gif
谢谢了。。话说你很厉害啊。。到处都能看到你的解答。。。MsgBox(262208, $CE, $HISFL & "-" & $GRZF & "=" & Round($HISFL - $GRZF),2)这样也确实为0.。。。不过那个-13次方你是怎么看出来的？？ 回复 4# koflion
你上的图啊,上面不是明摆着有个"e"在那吗??
厉害啥呀,不过无所事事,到处逛而已~~
页:
[1]