我认为，JS处理数字的怪癖之一是“双精度64位格式IEEE 754值”，当您执行类似于.2 + .1的操作时，就会得到0.30000000000000004 (这是本文所读的，但我在火狐中得到了0.29999999999999993因此：计算结果为false。
这似乎是很有问题的。那么，如何避免由于JS中不精确的十进制计算而导致的错误呢？那么，你应该避免任何涉及数值小于1的数学吗？因为那看起来很不切实际。在JS
浏览 11提问于2011-02-18得票数 54
回答已采纳
1回答
是否有一种快速的方法来清除具有双精度数据类型的OpenGL缓冲区，或者使用API调用设置默认值以避免使用计算着色器？对于半精度和单精度类型，可以使用glClearBufferData/glClearNamedBufferData，但它似乎没有64位类型的内部格式枚举，这使得科学计算应用中从单精度数据到双精度数据的转换变得更加麻烦
浏览 4提问于2019-11-04得票数 1
回答已采纳
4回答
我在大学里学过一门课程，它解释了在有限精度的环境中，如何(以及其他事情)如何排序你的数学执行，以最大限度地提高精度并减少舍入误差的风险。例如，我知道必须避免分裂。此外，当你除法时，如果可能的话，首先除以最大的数字。
浏览 6提问于2010-10-19得票数 1
回答已采纳
我想在JavaScript (JS)中创建程序，它可以任意精确地绘制曼德尔布罗特集 (缩放)。在JS中有一个整数类型的BigInt，它支持像+，*，/这样的简单操作，支持任意精确整数的幂。JS不支持对任意精度浮点数的计算。
问:是否有一种方法来执行Mandelbrot集的计算，只使用基于整数的计算(任意精度)--如果是，如何做？
浏览 0提问于2019-11-29得票数 3
回答已采纳
4回答
我想计算三维和四维向量的范数(长度)。我使用双精度浮点数，并希望小心避免不必要的溢出或下溢。
C数学库为计算二维向量的范数提供了hypot(x,y)，在中间计算中要小心避免下溢/溢出。我的问题是:使用hypot(x, hypot(y, z))和hypot(hypot(w, x), hypot(y, z))分别计算三维和四维向量的长度安全吗？
浏览 0提问于2015-05-13得票数 6
1回答
我在维基百科上看到，实现四精度的某种方法是使用双双算法，即使它在位方面的精度不完全相同：。
在这种情况下，我们使用两个double来存储值。所以我们做了两个运算来计算结果，每两次计算结果一次。在这种情况下，我们可以在每一双上都有舍弃错误，或者它们是一种避免这种情况的机制？
浏览 2提问于2015-07-27得票数 3
回答已采纳
4回答
有没有可能以一种可移植的方式计算浮点型、双精度型和长整型双精度数据类型的范围，而无需读取float.h和使用ANSI？通过可移植，我的意思是包括那些当目标机器不符合IEEE754标准的情况。我正在读K&R书，练习2-1要求我“计算”它们，所以我想这意味着完全避免使用FLT_MIN、FLT_MAX、DBL_MIN和DBL_MAX (直接读取这些值肯定不会被归类为“计算”)。
浏览 6提问于2009-02-08得票数 5
回答已采纳
1回答
我有一个var blah = ctypes.UInt64('65')，65真的是任何东西。我需要做数学，但当我这么做的时候：
浏览 5提问于2014-06-23得票数 0
回答已采纳
在linux x86_64上的C++代码中，我需要双倍精度计算(+或-)。这里没有导入显示格式，计算结果将用于一些if-else分支条件。因此，我只希望if-else条件比较小数位后的4位数。如何将计算精度限制在小数点后的4位数？为了避免开销，我不想调用任何函数。有更好的主意吗？
谢谢
浏览 3提问于2011-12-26得票数 1
回答已采纳
2回答
.NET框架的数学函数主要操作双精度浮点数，没有单精度(浮点数)重载。当在高性能场景中使用单精度数据时，这会导致不必要的强制转换，还会计算比所需精度更高的函数，因此性能会受到一定程度的影响。有没有办法避免这种额外的CPU开销？例如，有没有一个直接调用底层FPU指令的带有浮点重载的开源数学库？(我的理解是，这需要在CLR中提供支持)。实际上，我不确定现代CPU是否有单精度指令。
浏览 1提问于2009-08-18得票数 6
回答已采纳
3回答
我试图用下面的代码计算一个数字的百分比。
该百分比在技术上是基点(10000%，而不是100%)，因为我想要十进制百分比值。uint128已足够表示正常数字，但为了避免精度错误，我将值转换为int256进行计算。问题是，如果我将111111111111111111输入为theNumber，则输出是2055555555555535，而不是2055555555555555的期望输出(通过使用例如BigNumber.js进行计算，我得到了什么)。
浏览 0提问于2018-08-02得票数 17
回答已采纳
2回答
我正在开发一个基于GPS计算距离的移动应用程序。我使用下面的haversine函数来计算距离。2 * Math.atan2(Math.sqrt(a), Math.sqrt(1-a)); 我关心的是如何处理不同的位置精度值首先，我得到一个精度为30米的位置，然后我得到了一个150米的位置。
为了获得更好的距离计算，在距离计算中我需要考虑/避免哪个位置？或者我如何调
浏览 3提问于2013-08-13得票数 0
回答已采纳
由于所有的智能手机(至少是我能找到的智能手机)都有32位处理器，我想在大量计算中使用单精度浮点值将比使用双精度浮点值的性能要好得多。然而，情况似乎并非如此。即使我避免类型转换，并尽可能使用FloatMath包，在比较基于浮点数的方法和基于双精度的方法时，除了内存使用之外，我几乎看不到任何性能上的改进。我目前正在开发一个相当大的计算密集型声音分析工具，每秒可以进行几百万次乘法和加法运算。由于32位处理器上的双精度乘法需要几个时钟周期，而单精度需要1个时钟
浏览 1提问于2011-02-24得票数 12
回答已采纳
2回答
我做了一些数值计算，在使用GCC的时候，我经常遇到浮点计算的问题。我听说GCC可能会很聪明，有时在寄存器中加载浮点数，有时直接从内存中读取它们，这可能会改变浮点数的精度，从而产生不同的输出。我怎么才能避免这种情况？再一次，我想：
有人能告诉我解决这个问题的方法吗？
浏览 1提问于2010-02-26得票数 3
回答已采纳
7回答
假设你必须计算正弦波(余弦或切线-随便什么)，其中的区域在0.01-360.01之间。(使用C#)考虑到域的存在，我会避免这种情况，选项2会更快。在域的精度(0.0000n)中，计算的性能在哪一点超过查找。
浏览 6提问于2009-09-05得票数 20
回答已采纳
我想用任意精度的计算( A / B )的一些( C /D)根，用于根的十进制展开(例如，如果所需的精度是整数E，则结果应该包含根的小数点之后的E数字；E可能至少等于数万个；A、B、C、D是包含数万小数位数的整数我试着使用，但它的精度有限，输入的大小也有限。例如，如果我想用1025个有效数字计算2的平方根(最后一个数字可能以某种方式舍入)，我对Decimal.js使用了以下代码：var据我所知，有一些
浏览 9提问于2017-02-22得票数 0
7回答
我的Java程序以高精度的计算为中心，这需要精确到至少120位小数点。目前，我发现必须在BigDecimal的每一次实例化或数学运算中指定精确性是一个巨大的麻烦。有没有办法为所有的BigDecimal计算设置一个“全局精度”？
浏览 4提问于2012-04-08得票数 17
回答已采纳
在android eclipse中，当双精度和浮点数的计算结果显示为字符串时，有时会使用小数点(需要)，但有时会使用指数(对用户来说不是很好)。不管怎样，为了避免指数？
浏览 0提问于2011-06-11得票数 0
我正在执行一个计算，结果是一个浮点数。我得到以下错误：我有意将access字段限制为固定的精度我希望这个值会被自动截断，但是它抛出了这个错误--我怎样才能显式地更改VBA中的值的精度来避免这个错误？
浏览 0提问于2011-06-14得票数 1
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
