js 精度问题 - 腾讯云开发者社区

、

我在我的JS中遇到了下面的错误。而不是返回1001，而是返回1000.99999999。我正试图根除这个bug，并且一直在考虑使用这个库。我不知道该怎么办才能解决这个问题。var x = new Big(10);这会产生与没有库的错误相同的错误。

浏览 2提问于2017-09-26得票数 1

回答已采纳

1回答

货币的浮点精度:在MySQL查询中使用"round“函数与PHP

、、、

在MySQL数据库中，以下字段fee和rate(百分比)为DECIMAL类型，小数精度为2。SELECT ROUND(fee * (1- rate/100))),2 ) as profit既然query只是返回值，而不是将它们保存在变量中，那么精度问题*是否仍然存在( PHP或JS附带的)？如果是这样，最好在PHP或JS中对浮点数进行舍入？ *是的，我指的是保存双精度时出现的精度问题，例如1.5可能会保存为1.4

浏览 3提问于2015-07-28得票数 5

1回答

Decimal.js tan的精度问题

、、、、

我一直在使用Decimal.js来提高我的函数的精度，该函数通过反复尝试计算a = tan(a)的正根。它工作，但它返回一个“精度限制超过”错误的nTan(504) (将返回4.4934.达到505位数)或更高。return (new Decimal(n + test.slice(0, -1).join(""))).plus(Math.PI * (parseInt(m) || 0)).toString();我的问题是：为什么Decimal.js不计算超过504位数时，它广告

浏览 7提问于2017-10-14得票数 1

回答已采纳

1回答

Mapbox GL JS图像叠加坐标精度问题

我正面临着Mapbox GL JS的精度问题，当在地图上放置4个角坐标的图像叠加时，会从预期位置偏移50-250米。为了得出这个结论并找到这个错误，将图像的投影与Leaflet和QGIS进行了比较，它们都显示了图像的相同位置，但Mapbox GL JS显示了一个偏移。我认为这可能是框架中的一个bug，需要修复。我正在使用React Mapbox GL JS，并且能够在一个普通的html文件中使用Mapbox GL JS库重新创建这个问题。所以它很可能不是由React引

浏览 60提问于2020-01-04得票数 0

2回答

Firestore时间戳相对于js date的优点

、

为什么firestore使用自己的timestamp而不是普通的js date对象？我搜索了文档，除了纳秒精度之外，找不到任何其他好处。但我不认为它有多大用处，因为原生js date对象只支持高达ms的精度(并且直观地说，js sdk中的firestore时间戳必须建立在普通的js date对象之上)。

浏览 40提问于2020-11-26得票数 0

回答已采纳

1回答

浮点精度向上或向下舍入

由于二进制数和十进制数之间的转换，我们经常在JS中看到精度错误。例如：137.80 * 100 = 13780.000000000002 虽然，JS在技术上有可能返回类似的错误，但精度为负吗？

浏览 19提问于2021-01-08得票数 1

3回答

警告: json_encode()中存在大量错误

、、

PHP_INT_MAX = 9223372036854775807 ~ PHP Version 5.3.2-1ubuntu4.7 这些大整数在任何地方(PHP、MySQL或Javascript)都没有问题

浏览 1提问于2011-04-05得票数 5

回答已采纳

1回答

固定宽度的accounting.js格式数字

我目前正在使用accounting.js，我对此有一个问题。我遇到的问题是，我想要在一个数字上应用会计中名为formatMoney的函数，以便数字看起来很好，同时，我想保持数字的固定宽度。使用accounting.formatMoney(12345.67，{精度:2})。我会得到12,345.67。但是如何将toPrecision的结果合并到accounting.js中以获得所需的数字12,345.6。(精度会根据数字的大小而有所不同，所以我不能总是将精度值传递给fo

浏览 2提问于2015-04-29得票数 1

1回答

对于任意大整数A、B、C和D，如何计算任意精度(A/B)的(C/D)根？

、、、

我想用任意精度的计算( A / B )的一些( C /D)根，用于根的十进制展开(例如，如果所需的精度是整数E，则结果应该包含根的小数点之后的E数字；E可能至少等于数万个；A、B、C、D是包含数万小数位数的整数我试着使用，但它的精度有限，输入的大小也有限。例如，如果我想用1025个有效数字计算2的平方根(最后一个数字可能以某种方式舍入)，我对Decimal.js使用了以下代码：varconsole.log(r2); Er

浏览 9提问于2017-02-22得票数 0

2回答

Javascript无法正确解析JSON中的大量数字

、

我正在以JSON格式从JSON服务器传回一个已批准的tweet列表。当我在浏览器中打开URL：http://localhost:8000/showtweets/?after_id=354210796420608003时，我得到了以下JSON： "date": "2013-07-08T12:10:09", "author_pic_url": "http://a0.twimg.com/pr

浏览 0提问于2013-07-08得票数 8

回答已采纳

2回答

双精度vs浮点精度问题

、、

double answer = a/b; std::cout << std::to_string(answer);浮点型或双精度型: 0.666667；编辑:不能因为使用to_string而丢失精度；

浏览 1提问于2020-07-14得票数 0

2回答

Math.sin() Node.js和C#的不同精度

、、、、

下面是简单的Node.js代码var x = Math.sin(seed) * 0.5;下面是简单的double num = Math.Sin(seed) * (0.5); return num.ToString("G15");//0.42545176226

浏览 5提问于2016-10-15得票数 0

回答已采纳

1回答

为什么ArrowHelper没有命中目标？

direction.clone().normalize(), sourcePos, direction.length(), 0xff0000);这是这个的直接后续问题(我没有回答这个问题，因为没有ArrowHelper可能还有更好的算法，但这里描述的ArrowHelper问题似乎导致了不准确)。

浏览 1提问于2013-05-29得票数 1

回答已采纳

1回答

有没有办法只使用整数来计算Mandelbrot集？

我想在JavaScript (JS)中创建程序，它可以任意精确地绘制曼德尔布罗特集 (缩放)。在JS中有一个整数类型的BigInt，它支持像+，*，/这样的简单操作，支持任意精确整数的幂。JS不支持对任意精度浮点数的计算。问:是否有一种方法来执行Mandelbrot集的计算，只使用基于整数的计算(任意精度)--如果是，如何做？

浏览 0提问于2019-11-29得票数 3

回答已采纳

2回答

GPS精度问题

、

我正在开发一个windows phone运动跟踪器应用程序，它使用gps传感器来计算跑步者所走的距离，我正在使用geocoordinatewatcher类来做同样的事情，将移动阈值设置为100。但是，我发现我的应用程序即使在设备保持不动的情况下也会给出距离值。我的应用程序应该只在设备改变位置时给出距离。我在市场上的其他应用程序中也发现了同样的错误，请告诉我我哪里做错了？ watcher = new GeoCoordinateWatcher(GeoPositionAccuracy.High); watcher.MovementThresho

浏览 1提问于2013-08-26得票数 0

1回答