本文主要分享基于python的数据分析三方库pandas,numpy的一次爬坑经历,发现并分析了python语言对于浮点数精度处理不准确的问题,并在最后给出合理的解决方案。如果你也在用python处理数据,建议看一下,毕竟0.1的误差都可能造成比较大的影响
01 发现问题
早上到了公司,领导发了几个文件过来,说这两天测试环境跑出来的数据,与实际情况有所出入,看看哪出的问题,尽快解决···
02 开始排查
-先对比数据,发现并不是所有的数据都出现问题,只有10%左右的数据有这个问题,说明应该不是逻辑上的问题,初步判断可能为个别情况需要特殊处理,考虑不周导致
-检查梳理各个运算模块,用debug断点调试一波,确定了数据出现偏差的模块
-通过单独测试这个单元模块最终确定,涉及到两数相除结果为0.5(浮点数)的地方有问题
-预期结果:np.round(0.5)=1,实际运算结果:np.round(0.5)=0,于是我做了如下的试验
通过对比,发现确实涉及到.5的值会有些和预想的不同,看看啥原因
03 分析问题
确实发现了关于浮点数(.5出现了理解上的偏差),看看官方文档怎么解释这个现象
其实也就是说:对于带有.5这种刚好介于中间的值,返回的是相邻的偶数值
-白话解释:如果一个数字带有浮点数(.5),整数部分为偶数,则返回这个偶数;整数部分奇数,则返回这个奇数+1的偶数
-规律解释:如果整数部分能够整除2,则返回整数部分;如果整数部分不能整除2,则返回整数部分 +1
04 解决问题
先不做任何改动,看下数据误差的情形
原始结果图片如下
不做处理,期望值和偏差值不等的情况出现
我的解决方案
-我根据我的精度要求,构建精度范围所需要保留的小数点的最后一位,通过这个数字是否为5,判断是否需要向上取整
-举例来说,本案例中我只需要保留整数部分的数据,那么我只需要确定小数点后第一位是否是数字5就可以了
上代码
结果如下所示
期望修正值已经达成
我是一名奋战在编程界的pythoner,工作中既要和数据打交道,也要和erp系统,web网站保持友好的沟通……,时不时的会分享一些提高效率的编程小技巧,在实际应用中遇到的问题以及解决方案,或者源码的阅读等等,欢迎大家一起来讨论!如果觉得写的还不错,欢迎点个关注点个赞,谢谢。
领取专属 10元无门槛券
私享最新 技术干货