指出精度和小数位数的范围从(8，0)到(16，7)。
现在，小时(00-23)、分钟(00-59)和秒(00-59)最多只能有两位数，因此它们的精度总和不能超过6。如果我们将毫秒(000-999)加到等式中，那么精度可以上升到9。没有小数点，因此小数位数应该始终为零。那么像(8，0)或(16，7)这样的值对于精度(除非精度计算小时、分钟和秒之间的
浏览 13提问于2017-01-05得票数 1
回答已采纳
1-使用已定义的RBF SVC模型m，对参数C和伽马值0.01、0.1、1、10运行网格搜索。网格搜索应找到最适合调用的模型。这个模型的召回率比精确度好多少？(计算召回-精度到小数点后3位)2-使用已定义的RBF SVC模型m，对参数C和伽马值0.01、0.1、1、10运行网格搜索。网格搜索应找到最优化精度的
浏览 0提问于2019-02-01得票数 1
1回答
我正在尝试设置一个小数精度为2位的计算值，我是张贴在一个标签上的交易视图。问题是，没有我能够找到的关于如何做到这一点的文档。lpt1, color=color.black, textcolor=color.white, style=label.style_labeldown, yloc=yloc.abovebar) 我从不同的来源尝试过
浏览 6提问于2020-01-17得票数 2
回答已采纳
我们使用decimal数据类型将财务数据存储在SQL Server数据库中，我们需要6-8位的小数精度。当我们通过数据访问层将这个值返回到C#服务器时，它将作为decimal数据类型返回。由于一些设计约束超出了我的控制范围，因此需要进行转换。转换为字符串不是问题。正如MS文档所说的那样，转换为双精度是“从小数转换为双精度会产生舍入错误，因为双精度浮点数的有效位数少于小数”。作为双<
浏览 2提问于2011-02-19得票数 5
回答已采纳
6回答
C#高双精度
、、
我正在编写一个函数来计算PI的值，并将其作为双精度值返回。到目前一切尚好。但是，一旦函数到达小数点后的14位数，它就不能再容纳了。我猜这是因为double的精度有限。我应该怎么做才能在小数点后继续获得更多的数字？
浏览 2提问于2010-11-05得票数 5
回答已采纳
2回答
变量十进制在sql中的位置
、、、、
如何使DB中的所有计算都计算到预先指定的小数位数？假设我有三个包含以下字段的表
精度int现在，我需要修改它，以便我的所有计算都是基于在Table3中为A设置的精度。首先，我将所有<e
浏览 2提问于2010-10-20得票数 0
回答已采纳
我总是读到我应该在金钱和财务计算(example)中使用decimal或类似的工具。然而，据我所知，所有的Business One SDK都使用doubles？这样可以吗？每次进行计算时，我是否需要将双精度值转换为小数，如果我想为API对象设置双精度值(我现在正在做的)，是否需要将其转换回双精度？ ? 注意: SQL数据库对这些值使用numeric(19,6)。
浏览 7提问于2019-04-26得票数 1
回答已采纳
4回答
在Swift 3中有没有办法确定一个双精度值是否有小数位？在我的程序中，我只想对这个双精度值进行计算，如果它是一个整数值。如何检查小数点后是否有非零数？double dx = 1.0 // This would return true任何和所有的帮助是感激的！
浏览 2提问于2017-03-06得票数 0
矩形的对角线为15.62英寸，宽度为10英寸。多长？_英寸
如果您在对角线中的精度为小数点2位，则不会得到长度的确切值。
这个问题适合学童吗?还是我应该给出小数点3位的精度，这样才能正确计算长度？
浏览 0提问于2011-05-20得票数 0
回答已采纳
我有一个make table查询，其中计算了一些列。其中一列的外观示例如下：在本例中，LAST_COST是精度为9的小数位数，小数位数为3。FREIGHT_COST是小数位数，精度为8，小数位数为3；SQFT_PER_CTN是小数位数，精度为7，小
浏览 1提问于2011-01-07得票数 0
回答已采纳
1回答
我试图达到同样的精度(小数点后的数字数)的结果，从一个选择，做一些方程式。
我使用的是MySQL 8。是否有任何MySQL设置可以立即带来更
浏览 0提问于2019-03-24得票数 2
回答已采纳
我在存储过程中将Server 2005中的几个十进制列的值相乘。SP已经有了几十个计算。问题的任意例子：
column1(10,10) * column2 (8,8) * colu
浏览 3提问于2009-07-07得票数 2
回答已采纳
我有一个微控制器，通过专用集成电路提供定点格式的Q24 (24bit)的原始数据。raw_data*LSBLSB = 150/[( (2^24) - 1 )*0.6 ] = 150/10066329 = 1.49011E-5我想计算uint 32位的实际值，并保持2或3个小数点的精度。例如，如果全比例原始数据为10066329，则具有2个小数点精度</
浏览 2提问于2012-09-27得票数 1
我在做一个做浮点计算的应用程序。我们在英特尔的VC++上使用双精度浮点值的x86 .我们声称我们的计算精确到n位小数位数(现在是7位，但试图声称15位数)。我知道影响整体精度的因素很多，如FPU控制状态、编译器/优化器、浮点模型和操作本身的总体顺序(即算法本身)，但考虑到FP计算中固有的不确定性(例如，0.1无法表示)，对所有计算都要求
浏览 9提问于2010-02-15得票数 5
回答已采纳
2回答
我在Matlab.But中搜索了格式long和format long g之间的差异，我不确定them.Does之间到底有什么不同，它们之间的差异会影响准确性吗？
谢谢..。
浏览 4提问于2020-06-01得票数 1
回答已采纳
1回答
我有一个第三方的图书馆，可以从实验室的天平上读取数值。这个库接口了许多比例模型，每个模型都有自己的精度。在我的C++应用程序(使用该库)中，我需要做的是从刻度(双倍格式)中读取权重值，并将其打印出来，同时考虑刻度精度(因此，为用户提供读取该值的刻度精度信息)。因此，连接具有2个小数精度的小数位数时，输出应为例如:23.45g；连
浏览 1提问于2017-03-15得票数 0
1回答
我正在尝试将我的双精度值格式化为精确的2位小数，它似乎运行良好，以下是我正在尝试的代码df.setMinimumFractionDigitsdf.setMaximumFractionDigits(2);df.format(value)
到目前为止，一切都正常，但我需要返回双精度
浏览 1提问于2013-04-10得票数 0
1回答
我遇到了一个问题，数字结果的显示精度有时会恢复为四舍五入的整数格式。例如，某些天，像这样的简单计算会生成预期的小数精度结果：> x但是，我可以改天再来，再试一次，然后得到：>x我已经通过减法验证了隐藏的精度仍然存在:例如，它可能会显示344，但值344.25仍
浏览 1提问于2018-10-17得票数 0
4回答
我正在使用一个带有两个值的JavaScript函数:小数值的精度和十进制值的小数位数。例如:精度为5、小数位数为3的小数位数的最大值为99.999。有没有人能想出更聪明的办法？
另外，请原谅这
浏览 2提问于2012-01-06得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号