1回答
我一直在使用Decimal.js来提高我的函数的精度，该函数通过反复尝试计算a = tan(a)的正根。它工作，但它返回一个“精度限制超过”错误的nTan(504) (将返回4.4934.达到505位数)或更高。
var Decimal = require("decimal.js");
var fs = require("fs");
function nTan (acc, m) {
var test = [1], acc = (parseInt(acc) || 15) + 1;
Decimal.set({precision: acc});
浏览 7提问于2017-10-14得票数 1
回答已采纳
2回答
大家好，我正在处理关于javascript天文计算的文件，所以我需要更高的精度。我对每一行都有很多操作，我希望结果更精确(逗号后面的小数点也是10或20)。
在JavaScript中，如果我不声明十进制数(例如使用.ToFixed(n))，那么在计算过程中，语言在逗号之后有多少位置？
例如：
var a= 1.123456789*3.5; // result 3.9320987615
var b= a/0.321;
var c= b*a;
// c => 48.16635722800571
这将是结果？就像对javascript的每个变量使用所有十进制后的逗号，近似吗?。
在其他问题中
浏览 1提问于2019-03-30得票数 1
我尝试用JS编写Gauss-Legendre算法。我找到了here算法。 这是我写的代码： let ao = 1;
let bo = 1 / Math.sqrt(2);
let to = 1 / 4;
let po = 1;
let an;
let bn;
let tn;
let pn;
let pi;
for (let i = 0; i < 10; i++) {
an = (ao + bo) / 2;
bn = Math.sqrt(ao * bo);
tn = to - po * Math.pow(ao - an, 2);
浏览 29提问于2020-04-04得票数 0
3回答
Javascript不能使用10100401822940525，它就像windows中的'conn‘文件夹。为什么js会因为这个数字而失败？
您可以查看示例，
浏览 2提问于2012-05-25得票数 2
回答已采纳
在20个字符串转换JS新数字方法时，我遇到了一个问题。
var x4 = "22222222222222222222";
var x5 = "22222222222222222229";
Number(x4)
parseInt(x5);
//Output
22222222222222220000
22222222222222220000
我本来希望得到与变量相同的值，但在数字格式下，但我不知道这里有什么问题。将字符串转换为数字的最佳方法是任何数字。
浏览 5提问于2017-09-12得票数 0
回答已采纳
背景
我正在使用Node.js缓冲区本机API读取缓冲区。这个API有两个函数，分别用于大端和小端点，称为readUIntBE和readUIntLE。
问题
通过阅读文档，我偶然发现了以下几行：
要读取的byteLength字节数。必须满足:0< byteLength <= 6。
这意味着我一次只能读取6个字节，这使得它对我的用例毫无用处，因为我需要读取一个由8个字节组成的时间戳。
最初我以为这是文档中的一个错误，但是在收到@BridgeAR的回复后，很明显这是有意的行为：
他提到，我可以通过添加偏移量来读取多个条目，但我不清楚如何做到这一点。
问题
浏览 0提问于2018-04-24得票数 0
回答已采纳
1回答
有没有人知道后缀"d+0“在下面给M1、M2和M4的作业中意味着什么，或者在网上或书上有什么很可能找到这些信息的资源吗？
subroutine plot( t, x, p, q, nga, nt, wron,
& ngq, gq, ngaq1, ngaq2, gaq, rwh, iwh )
implicit none
integer*4 nga, nt, ngq, ngaq1, ngaq2, iwh(*)
real*8 t, x(*), p(*), q(*), wron
浏览 2提问于2009-05-27得票数 3
回答已采纳
我在我的项目中使用node.js + express。最后，我得到了像"365958975201738764"这样的大字符串，需要转换为int。
所以我需要取"365958975201738764"，它是一个字符串，并使它成为365958975201738764，它是一个int。
问题是，每当我进行转换时，js就会搞砸。
我做了一些研究，发现9007199254740991是js可以使用的最大的数字，那么有解决办法吗？
浏览 0提问于2019-08-13得票数 1
回答已采纳
2回答
Nodejs未能减去数字
、、、、
我试着用Node.js做这个计算。
let x = 841251657
console.log((x*x)-x)
我得到了：707704349563994000打印出来的。
当我使用朱莉娅时，我得到了同样的计算的707704350405245649。我有谷歌计算器的7.0770435e+17。
显然，这里出了点问题。
我该怎么做才能得到正确的答案？
浏览 2提问于2019-09-05得票数 2
回答已采纳
1回答
我正在尝试产生一些FFT数学，特别是做两个2D正向变换，相乘，然后进行逆变换。在进行逆变换之前，一切都很顺利。我已经用fftw3做过了，但在CuFFT中有些地方出错了。大多数值是相似的，但也有一些是错误的，这对未来的数学具有重要意义。这段代码有什么问题？
std::vector<complex> conv2dCUDA(complex *ui_anomaly, double *ds2,
complex *u0, int anx, int any, double factor) {
cufftComplex *b1, *b2;
int size = 2 * anx *
浏览 2提问于2019-08-28得票数 0
4回答
我已经使用Math.pow()在我的项目中计算了指数值。
现在，对于像Math.pow(3,40)这样的特定值，它返回12157665459056929000。
但是，当我使用科学计算器尝试相同的值时，它返回12157665459056928801。
然后我尝试遍历循环，直到得到指数值：
function calculateExpo(base,power){
base = parseInt(base);
power = parseInt(power);
var output = 1;
gameObj.OutPutString = ''; /
浏览 1提问于2013-11-22得票数 2
2回答
如果我用Mathematica 12评估以下输入：
SetPrecision[DecimalForm[123.432654/54.1122356, 130], 130]
结果是：
2.2810488724291406725797060062177479267120361328125000000000000000000000000000000000000000000000000000000000000000000000000000000000
当我在其他计算器中运行相同的计算时，结果是相等的，直到数学结果的第15位数：2,281048872429140.然而，当第16位数时，其他计算器显示的结果
浏览 1提问于2021-01-24得票数 3
回答已采纳
我试图理解为什么模块操作不能像预期的那样工作：
我需要验证一个IBAN，算法包括做一个模块。
根据维基百科：
3214282912345698765432161182 mod 97 =1
根据我的Windows计算器:：3214282912345698765432161182 mod 97 =1
但是当我在JS上做的时候我得到了65：
var result = 3214282912345698765432161182 % 97;
console.log(result);
// result is 65
为什么我只有65岁而不是JS的1岁？
浏览 1提问于2018-03-30得票数 4
回答已采纳
我想用任意精度的计算( A / B )的一些( C /D)根，用于根的十进制展开(例如，如果所需的精度是整数E，则结果应该包含根的小数点之后的E数字；E可能至少等于数万个；A、B、C、D是包含数万小数位数的整数)，但我发现的所有Javascript数学库都拒绝处理这些数字。
我试着使用，但它的精度有限，输入的大小也有限。例如，如果我想用1025个有效数字计算2的平方根(最后一个数字可能以某种方式舍入)，我对Decimal.js使用了以下代码：
Decimal.set({ precision: 1025 });
var r2 = Decimal.pow(2, Decimal.div(1, 2))
浏览 9提问于2017-02-22得票数 0
我需要编写一些程序来计算任意精度的数字...
但我需要它输出的数字，已经是“确定”(即低于一些误差界限)到一个文件，以便有数字上的工作，而程序继续运行。
此外，大多数用于任意精度的库似乎都需要固定的精度，但如果我想要动态精度，比如，它会一直持续下去……
浏览 2提问于2011-02-20得票数 0
2回答
double price = 4.35;
double quantity = 100;
double total = price * quantity; // Should be 100 * 4.35 = 435.00
System.out.println(total); // Prints 434.99999999999999
这一切为什么要发生？
浏览 1提问于2013-10-18得票数 1
我的挑战
目前，我正在使用Node.js完成reddit的Node.js挑战，并遇到了一个障碍。由于我要完成第三天的这个单一的练习，我决定寻求帮助。我拒绝在不知道怎么做的情况下继续前进。
挑战6:您今天面临的挑战是创建一个程序，该程序可以精确地计算圆周率到小数点后30位。
我的麻烦
我已经设法通过获得了我正在寻找的精确算术，但是我仍然很难找到小数点后30位的位置。有人知道一个能帮助我达到目标的库、解决办法或配置吗？
/*jslint node: true */
"use strict";
var mathjs = require('mathjs'),
浏览 1提问于2014-05-06得票数 0
我知道有长和无符号的多头，但如果我要做天文数字的计算，计算机如何处理这些？
我想如果我使用C，那么在这种情况下int的大小实际上取决于平台，但是即使在这种情况下，大小也不能是64位对吧？
对于java，我猜大小是有限的，那么他们是如何做到的呢？
谢谢
浏览 2提问于2016-02-16得票数 1
回答已采纳
1回答
Matlab单重转换误差
、、、、
有人知道为什么在Matlab (R2016a)中在单个精确浮点数上插入R2016a会改变最后一个数字吗？下面是一个示例：
format 'long'
x=3.2530601; %arbitrary single precision number
x_s=single(x);
x_d=double(x_s);
如果我查看变量的类和值，我可以看到以下内容：x和x_d是双倍的，x_s是单个的。这些价值是：
x=3.253060100000000
x_s=3.2530601
x_d=3.253060102462769
由于数字3.2530601可以表示为双精度浮点数或单精度浮点数，所以
浏览 1提问于2018-02-21得票数 5
回答已采纳
我有一个独特的问题，快要失去理智了。
我正在使用js购物车(simplecart)，当我向购物车添加一些东西时，它会在价格中添加一个2或从价格中减去一个3，小数点后15位：
这是产品的价格: 35,99这是当我添加这个产品时，它计算出的总数：
欧元35,99000000000000002
我认为这可能与运输或税收有关，但即使在禁用这些模块后，它仍然是一样的。此价格也显示为购物车中的项目价格。
这是我的jsfiddle：
我该如何解决这个问题呢？我不知道这是什么时候悄悄出现的，已经剥离了整个项目，试图隔离问题，但即使在这种最小的设置中也会发生这种情况，而且我似乎记得这辆车工作得很好。
可能的问
浏览 0提问于2012-10-18得票数 0
回答已采纳
考虑以下终止十进制数。
3.1^2 = 9.61
3.1^4 = 92.3521
3.1^8 = 8528.91037441
下面显示Mathematica如何处理这些表达式
In[1]:= 3.1^2
Out[1]= 9.61
In[2]:= 3.1^4
Out[2]= 92.352
到目前为止还不错，但是
In[3]:= 3.1^8
Out[3]= 8528.91
不能提供足够的精确性。
所以让我们试试N[]，NumberForm[]和DecimalForm[]的精度为12
In[4]:= N[3.1^8,12]
Out[4]= 8528.91
In[5]:= Numbe
浏览 0提问于2019-05-14得票数 1
2回答
在下面的示例中，输出为3.1，因此它从第一个值开始。
double y = 3.14784;
cout << setprecision(2) << y;
在下面的示例中，输出精度以十进制值开始。
int x = 2;
double y = 3.0;
cout << setprecision(2) << x/y;
然而，在下面的代码行中--与上面声明的x和y相同--我们得到的精度一点也不显示。(下面打印6.00的唯一方法是如果我们使用固定的)。
cout << setprecision(2) << x * y; // sho
浏览 11提问于2014-09-16得票数 0
回答已采纳
在ext js数字字段中，有一个配置decimalPrecision。默认情况下，它将获得2位数的精度。我不希望这种精确性适用于这一领域。应该和我输入的值一样。怎么做？
浏览 3提问于2015-02-19得票数 0
回答已采纳
1回答
Matlab的精度只有8位吗？
、、、、
引用：
默认情况下，使用16位的精度。
但是为什么当我写900000000+2 (8个零后9个)时，它返回900000002，但是写900000000+2 (9个零后9个)返回9.0000e+09，这难道不是一个8位数字的精度吗？
浏览 2提问于2020-04-07得票数 1
我有一个像1.123456789这样的数字 如何检查此号码在XQuery中的.之后是否有6位以上的数字？
浏览 19提问于2020-07-16得票数 1
回答已采纳
我正在使用以下代码将一个数据表批量插入到我的SQL表中：
// Set up the bulk copy object.
using (SqlBulkCopy bulkCopy =
new SqlBulkCopy(destinationConnection.Connection))
{
bulkCopy.DestinationTableName =
Constants.ReportDa
浏览 5提问于2013-06-30得票数 8
回答已采纳
在python中，在math.pow，numpy.power，numpy.float_power，pow()和**之间，在两个浮点数x，y之间，在精度上有区别吗？我假设x非常接近1，而y很大。
浏览 56提问于2020-12-03得票数 0
1回答
我比较了两个不同的公式来计算R上的百分比，尽管它们是等价的，并且应该产生完全相同的值(如果我的数学没有严重错误的话)，它们似乎没有得到确切的结果。
让我举一个例子：
set.seed(123)
a<-rnorm(100)
perc_1<-(a/sum(a))*100
perc_2<-(a*100)/sum(a)
现在，根据用于检查它们是否相等的函数有不同之处：all.equal(perc_1,perc_2)是TRUE，但是all(perc_1==perc_2)是FALSE。但是，我可以理解它们产生不同的结果，因为后者测试精确的等式，而前者测试接近于精确的等式。
如果我对差
浏览 3提问于2022-10-14得票数 1
回答已采纳
如何携带多于或少于六个重要数字(4，5，7)。)在运行一个程序时，在计算中？在下面的例子中，我正在编写一个求解线性方程组的程序，/using高斯消去法。我想考虑发生的相对误差，在这个例子中，结果对计算中所携带的重要数字的数量非常敏感。
📷
浏览 0提问于2014-11-04得票数 0
我制作了一个Python脚本来计算阶乘，并用1000进行了测试！但当我投入1000英镑时！进入我的mac内置计算器，检查它返回的计算“不是一个数字”。我做了一些测试，发现内置计算器只能计算高达101的阶乘。为什么会这样呢？
浏览 0提问于2019-12-17得票数 1
回答已采纳
1回答
我想得到两个长值商的分数(模1)。
long dividend = 50L;
long divisor = 3L;
float n1 = (dividend % divisor) / (float) divisor;
float n2 = (dividend / (float) divisor) % 1;
System.out.println(n1);
System.out.println(n2);
以上打印如下。
0.6666667
0.66666603
我不太清楚浮点精度是如何工作的。
为什么第二个(可能更清楚)实现比第一个更不准确？
浏览 1提问于2017-03-19得票数 3
回答已采纳
1回答
默认情况下，我会得到4位数的精度，当我使用setprecision(6)时，变量的最后几位会像1/3=0.333369一样随机出现。
浏览 2提问于2013-01-02得票数 0
我的代码如下：
program th
implicit none
integer N1
integer maxi,ei,Nc,ns,na
real CH1,CH2
OPEN(unit=1,file='input_file',status="old")
read(1,*) ns !!!
read(1,*) ei !!!!!!!!!!!!!!!
read(1,*) maxi!!!!!!!!!!!!!!!!!!!
read(1
浏览 0提问于2015-09-29得票数 0
1回答
下一个脚本应该打印出一个7x7全1矩阵，因为等式是满足的。
A = rand(5,7);
B = rand(5,7);
C = (A' * B)';
D = B' * A;
C == D
而不是这样的回答：
ans =
1 1 1 1 0 1 1
1 1 1 1 0 1 0
1 1 1 1 1 1 1
1 1 1 1 0 0 0
1 0 1
浏览 4提问于2015-07-01得票数 3
我试图做一个很大的计算，例如：
$a = 50000 * 1000000000000000000;
其结果为php中的5.0E+22。
如何将其转换或打印为"50000000000000000000000“字符串，因为在int中是不可能的？
浏览 0提问于2018-06-25得票数 0
回答已采纳
我有点像个数据型的菜鸟。我查看了SQL server中所有数字数据类型的差异，我看到了一个回答：
小数点有固定的精度，浮点数有可变的精度。
我知道精度是数字中的数字数。具体来说，我不知道固定精度和可变精度之间有什么区别。
浏览 1提问于2018-12-30得票数 0
回答已采纳
我希望通过使用可读函数来读取包含多个数字的数字的.csv文件。然后，我需要过滤一些行并将表导出到一个.txt文件中。我设法执行了这项任务，但是导出的文件包含的数字与存储在原始.csv文件中的数字相比要少一些。
如何保持与原始文件相同的十进制数？
这里有一个示例代码："NEOs_asteroids.csv“附在这个问题上：
clear all; close all; clc;
%Data import from .CSV files
file_name_asteroids = 'NEOs_asteroids.csv';
%Asteroid data reading
o
浏览 6提问于2022-01-29得票数 0
回答已采纳
3回答
有人能向我解释一下我是否应该使用bcpow()而不是pow()吗?为什么？
我知道并不是所有的php安装都启用了bcmath。因此，如果我编写了一个开放源码项目，并且想要尽可能少的依赖项/需求，我宁愿在代码中使用pow()。
但是使用pow()比使用bcpow()有什么缺点呢？
浏览 4提问于2011-03-02得票数 3
回答已采纳
我正在努力管理Odoo 8的下列行为：
将产品价格定为5小数点。为此，我将产品价格的小数点精度设置为5。
在sale.order视图中，只显示3个小数，但考虑到5个小数，计算线的小计。对于这个步骤，我将修改视图，将其放在price_unit字段中：
<xpath expr="//field[@name='order_line']/tree/field[@name='price_unit']" position="replace">
<field name="price_unit" digi
浏览 0提问于2017-03-31得票数 1
回答已采纳
给定一个以IEEE754单精度格式(在某些语言/平台中通常称为float )表示的任意数字，我可以确定该数字也可以精确地表示为双精度格式吗？
如果是，当考虑半精度到单精度和双精度到四倍精度时，该属性是否有效？
浏览 2提问于2011-10-05得票数 7
回答已采纳
我有一些代码，是在特斯拉和费米代芯片组上编译和测试的。
在所有特斯拉代芯片(260,280，c1060)中，输出是一致的。
在所有费米代芯片(460-580，c2080)中，输出是一致的。
然而，在特斯拉和费米两代之间，输出图像略有不同。
这是意料之中的吗？代码中有浮点数学，精度是我的第一个怀疑，但我在Nvidia的文档中找不到任何提到它的地方。
浏览 0提问于2011-06-08得票数 0
回答已采纳
2回答
有没有办法检查一个双精度数是否有java舍入，例如-260.01079999999996
我有一个系统，它传递一个计算出来的双精度值。理所当然应该是-260.0108。
浏览 16提问于2017-02-07得票数 0
1回答
我试图通过使用Python来修正我所有的计算。我把小数点限制在3位，尽管如此，我还是得到了这样的行为：
from decimal import *
getcontext().prec = 3
In [0]:Decimal('32.983') - Decimal('0.000')
Out[1]: Decimal('33.0')
有谁知道如何克服这个问题吗？我想得到：
Out[1]: Decimal('32.983')
浏览 4提问于2022-09-16得票数 0
回答已采纳
我必须在我的申请中做计算，我有这样的公式：
result = Capital * rate / (1- 1/(1+ rate)^frequence)
我在互联网上读到，使用浮点数进行计算可以是无损的。
我应该在我的情况下使用NSDecimalNumber吗？
浏览 1提问于2015-06-20得票数 0
回答已采纳
2回答
我正在为我的考试准备用C语言编写一个小计算器。我知道double比float更精确，因为它为指数保留了11位，为有效数保留了53位。当涉及到整数时，我可以执行以下操作来捕获上溢/下溢。
int sum(int a, int b, int *res){
if((b > 0) && (a > INT_MAX + b)){
return OVERFLOW_ERROR;
}
else if((b < 0) && (a < INT_MAX + b)){
return UNDERFLOW_ERR
浏览 12提问于2021-02-05得票数 0
在MATLAB中，有没有办法让它在小数后只用4位数字就能完成所有的计算？如果我写fprintf('%85.83f\n'，single( 1.1566 ))，它不完全是1.1566。对于我的特定问题，我不能累积这些额外的数字。我希望所有的内部计算都只在这个精度上进行。
浏览 0提问于2012-07-06得票数 1
当在八度中计算带整数项的矩阵(甚至3x3矩阵)的特征值时，有时它会报告一个浮点值，比如9.1940e-17，而实际上应该是零。例如，当我绘制一些数字模1时，一个值-2e-17在图中变成1，但实际上应该是0。
虽然我可以把答案近似到小数点后的几位，但在计算特征值和浪费计算时间时，它仍然会在内部计算17位小数点。是否有可能从一开始就只对所有数量进行小数点8位左右的处理？
如果这是不可能的，它是否有可能告诉八度(在一个脚本中一劳永逸)大约所有的数量，直至小数点8位，而报告？
浏览 1提问于2020-04-14得票数 1
回答已采纳
我做的是“两个数字之间的百分比变化”计算，我最初写的是(使用Excel 2013)：
=(NEW NUMBER - OLD NUMBER)/OLD NUMBER
我将其更改为：
=NEW NUMBER/OLD NUMBER -1
。。用一个大的电子表格来测试它是否更快。像我经常做的那样，我检查生成的数字是否都相等(使用强制的CellColX = CellColY公式)，其中大约80%是相等的，但其他的不是--相差很小。我观察了计算公式工具中的操作，并将单元格中的小数位扩展到它返回全0的位置。
例如，OLD NUMBER = 10.44和NEW NUMBER = 10.86使用第一种方法解析为0
浏览 3提问于2014-02-14得票数 0
2回答
我目前有一个非常大的数据集在SPSS，其中一些变量有多达8位小数点。我知道如何更改选项，以便SPSS仅在中将变量显示为数据视图和输出中的小数点2位。然而，SPSS在所有的计算中仍然采用8小数点的精度。是否有一种方法可以将精度更改为小数点2位而不必手动更改每一种情况？
浏览 5提问于2019-11-20得票数 3
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
