对数据集进行通用数据质量检查
通用数据质量检查是指对数据集中的数据进行一系列的检查和评估，以确保数据的准确性、完整性、一致性和可靠性。以下是对数据集进行通用数据质量检查的步骤和方法：
- 数据准确性检查：检查数据是否准确无误，包括数据的格式、数据类型、数据范围等方面。可以通过比对数据源和目标数据的差异来进行检查，或者使用数据验证规则和算法来验证数据的准确性。
- 数据完整性检查：检查数据是否完整，即数据是否缺失或存在空值。可以通过统计数据记录的数量和字段的完整性来进行检查，或者使用数据完整性约束来确保数据的完整性。
- 数据一致性检查：检查数据在不同数据源或数据表之间的一致性。可以通过比对数据的关联字段或主键来进行检查，或者使用数据一致性规则和算法来验证数据的一致性。
- 数据可靠性检查：检查数据是否可靠，即数据是否可信赖和可用。可以通过数据的来源和采集过程来进行检查，或者使用数据质量评估模型和指标来评估数据的可靠性。
- 数据清洗和转换：对数据进行清洗和转换，以提高数据的质量和可用性。可以通过去除重复数据、处理异常值、填充缺失值、标准化数据格式等方式来进行数据清洗和转换。
- 数据质量度量和监控：对数据质量进行度量和监控，以及时发现和解决数据质量问题。可以使用数据质量指标和指标阈值来度量和监控数据质量，或者使用数据质量管理工具和平台来实现数据质量度量和监控。
通用数据质量检查的应用场景包括数据集成、数据仓库、数据分析、机器学习和人工智能等领域。在数据集成中，通用数据质量检查可以确保不同数据源的数据质量一致，提高数据集成的效果和准确性。在数据仓库中，通用数据质量检查可以确保数据仓库中的数据质量符合要求，提高数据仓库的可用性和价值。在数据分析、机器学习和人工智能中，通用数据质量检查可以提高数据分析和模型训练的准确性和可靠性。
腾讯云提供了一系列与数据质量检查相关的产品和服务，包括数据质量管理平台、数据质量评估工具、数据质量监控系统等。具体产品和服务的介绍和链接地址如下：
- 数据质量管理平台：提供数据质量度量、数据质量监控、数据质量报告等功能，帮助用户实现数据质量管理。详细信息请参考腾讯云数据质量管理平台产品介绍：https://cloud.tencent.com/product/dqmp
- 数据质量评估工具：提供数据质量评估、数据质量规则定义、数据质量报告生成等功能，帮助用户评估和改进数据质量。详细信息请参考腾讯云数据质量评估工具产品介绍：https://cloud.tencent.com/product/dqat
- 数据质量监控系统：提供数据质量监控、数据质量告警、数据质量可视化等功能，帮助用户实时监控和管理数据质量。详细信息请参考腾讯云数据质量监控系统产品介绍：https://cloud.tencent.com/product/dqms
通过使用腾讯云的相关产品和服务，用户可以方便地进行通用数据质量检查，提高数据质量和数据价值。
相关·内容
您好，我正在使用Amazon Deequ为我的数据生成一组数据质量检查的约束。我想要将约束建议对象保存到HDS，这样我就可以加载它，并在我想运行数据质量检查的任何时候使用它来验证。如何保存此对象并在需要时重新加载。这是我用来生成 val rules = Seq(
CompleteIfCompleteRule(),
RetainCompletenessRule(),
RetainTypeRule(),
CategoricalRangeRule(),
FractionalCategoricalRangeRule(),
NonNegativeNumbersRule(),
浏览 30提问于2020-04-28得票数 0
1回答
数据库模式质量门/分析
、、、
我被赋予了彻底改造数据库的任务。这个数据库有所有这类错误做法，很少主键，缺少关系，数据类型选得很差。我很欣赏其中的一些很难理解，但当然也有一些能告诉我。如果名称是IsActive，并且类型是nvarchar，这至少应该是一种代码气味。我试图找到高质量的门，甚至一些工具，如RedGate模式比较或类似。
为了最后确定这是一个SQL Server数据库，我显然要进入SSDT，这样我们就可以获得有关更改的历史信息，并且我认为，作为我们CI过程的一部分，我将在它上运行一个质量门。
例如，有一个用于T，，但我找不到一个可以分析模式或实际如何在本地或从bitbucket管道角度设置它的方法。
浏览 3提问于2020-10-06得票数 0
1回答
为了进行数据质量检查，我需要在特定的时间间隔内收集数据。有些桌子很大。
在不影响表演的情况下，有什么黑客可以这样做吗？
比如随机选择100行。
浏览 12提问于2022-05-26得票数 0
回答已采纳
在Kaggle比赛中，我们有一个训练和测试数据集。因此，我们通常在训练数据集上开发一个模型，并使用该算法所看不到的测试数据集对其进行评估。我想知道，如果只给我们一个数据集而没有任何测试数据集，那么验证回归问题的最佳方法是什么。我认为可能有两种方法：
在第一步中，在导入数据集之后，将其转换为训练和测试数据集，使用这种方法，算法直到最后一步才能看到测试集。经过预处理和特征工程，我们可以在训练数据集上使用交叉验证技术，或者使用训练测试分割来提高模型的误差。最后，模型的质量可以通过看不见的数据进行检验。
也看到，对于回归问题，一些数据科学家使用整个数据集进行测试和验证，我的意思是他们同时使用所有的数据
浏览 1提问于2020-09-04得票数 0
我在DynamoDB中有一个聚合数据的DynamoDB，它是从staging_table的质量检查数据中填充的。
我有几个脚本，它们在staging_table (所有项)中执行扫描，进行某种计算或验证，并且可能需要从这些暂存项中插入/更新一个属性，然后最后将它们传递到实际的table。请注意，这一全面扫描发生了不同的时间，因为每个质量检查过程是独立于其他，但它们并行进行。
在这里，在成本和性能方面最好使用哪一组DynamoDB操作？更客观地说，我最初想到的替代方案是：
使用批处理项写入覆盖数据的旧版本(因为PutItem是唯一可用的批处理操作)
使用顺序的UpdateItem操作(更
浏览 2提问于2017-12-01得票数 1
回答已采纳
下面是一个简化的场景：
N需要来自同一源的相同原始数据的业务流。这些数据使用Kafka (普通Kafka管道)进行采集，并降落在HDFS上，在HDFS上，每个流量的原始数据都会触发质量检查的自动流程。所有的N流都可能有不同的数据质量标准。例如，它们可能要求在将原始数据转换到所需的模式时，可以将日期和时间的不同格式应用于原始数据。
--处理未能满足业务流程质量测试的KPI的最佳方法是什么？
备选方案如下：
失败-通知源数据提供程序并等待固定数据。然后重新摄取和运行所有的N套质量检查.
创建一个分支--这意味着N个业务流程中没有通过质量检查的K将等待它们的固定数据集，而通过的N将与当前的数
浏览 2提问于2017-04-27得票数 0
1回答
我是新使用NVIDIA数字。我的列车数据集具有如下结构，其格式为.hdf5。
作物数据集{27482，3,128,192}标签数据集{27482，12}平均数据集{3,128,192} pids数据集{27482}
我知道如何用更简单的格式(如.txt或.jpg )来输入模型。我的问题是如何用.hdf5格式以NVIDIA位数提供我的模型
浏览 5提问于2016-11-11得票数 1
回答已采纳
我正在用低于100次迭代/时期的代码训练VGG16 block5，在block5的输出之后添加两个密集的dropout层。 seq = Sequential()
vgg_base = VGG16(weights='imagenet', input_shape=(224, 224, 3),include_top=False, pooling='avg')
seq.add(vgg_base)
for layer in vgg_base.layers:
layer.trainable = False
for layer in vgg_base.layer
浏览 53提问于2020-08-24得票数 0
考虑A1:A10的下列列条目：
#N/A
1
2
3
4
5
6
7
8
#N/A
如果在范围内找到任何#N/A条目，我想编写一个等于TRUE的语句。目标是将其编码为条件格式设置调用，以便用作数据质量检查工具。
有什么想法吗？
干杯,
Aaron
浏览 1提问于2015-08-14得票数 2
回答已采纳
2回答
我试图做一些质量检查，以确保我在MS中正确导入了数据
如何检查列是否只包含有效日期，而不是文本或数字？我如何也检查一列是否包含一定数量的字符？如有任何指导，将不胜感激。
浏览 3提问于2014-07-11得票数 0
回答已采纳
2回答
如果数据集定义了离散配置文件，并且还属于通用数据集配置文件，则应用哪个访问规则？
例如，存在为用户A定义了ALTER访问权限的离散数据集配置文件A.B.C。还有为用户B定义了读取访问权限的通用数据集配置文件A.B.**。
用户B是否能够读取数据集A.B.C？
浏览 4提问于2018-06-29得票数 0
1回答
图像质量神经网络方案
、、、
我试图创建一个神经网络项目，以确定彩色图像的质量，并返回是否通过质量检查。这一质量检查将在包含50%好照片和50%坏照片的2000份样本中确定和培训。
假设我正在执行的检查是1280x1280像素与RGB无阿尔法通道。我正在尝试创建以下神经网络
输入层==> 1280 * 1280 *3= 4915200个神经元
2x隐层==>层1= 1638400，2层= 409600神经元
输出层==> 1神经元
我的问题是，在简单的异或训练中，我们可以很容易地用两个输入，一个隐藏层，包括两个神经元和一个输出神经元。然而，当它成为现实世界的应用时，内存就成了一个巨大的问题。所需的内存量超
浏览 5提问于2015-05-21得票数 0
回答已采纳
1回答
评价压缩算法
、、
我正在研究压缩算法(huffman编码和LZ77)，并想知道如何根据输入图像来评估它们的效率。我知道他们是如何工作的，但我找不到关于他们的评估的信息(数学上的)。谢谢!
浏览 3提问于2017-09-17得票数 0
回答已采纳
3回答
我有一个数据集，它返回两个属性，一个名称和一个总单位。我正在尝试在数据栏上设置一个iif表达式，其中iif(field!Name.Value = "Name", field!Total.Value, 0)
这不起作用，我得到一个错误rsFieldReferanceAmbiguous，字段引用没有指定数据集聚合。作为聚合，它为我提供的唯一选项是First，但我不想获得名字，我希望条形图根据iif表达式中的name字段显示总单位。
浏览 6提问于2013-07-02得票数 0
我想加载所有数据，因为我想根据销售数据透视存储列。数据集很大，无论我如何调整Debug设置，只加载了部分数据。如果我将限制设置得太高(例如: 100000000000)，我将收到指示内部错误的错误消息。因此，我不能精确地透视表。 我非常感谢任何帮助我指明如何将整个数据加载到数据流中的见解和评论。谢谢
浏览 15提问于2021-01-28得票数 1
用不同参数、列和长度/宽度的多个数据集解决机器学习问题的方法是什么？其中只有一个有因变量。其余文件包含支持数据。
浏览 1提问于2018-11-28得票数 0
回答已采纳
我想使用一个预先训练的伯特模型，以便在文本分类任务中使用它(我使用的是Huggingface库)。然而，预先训练过的模型是针对与我不同的领域而训练的，我有一个大的未注释的数据集，可以用来微调它。如果我只使用标记的示例并在特定任务(BertForSequenceClassification)的培训中微调它，那么数据集太小，无法适应特定领域的语言模型。这样做最好的方法是什么？谢谢!
浏览 5提问于2021-04-27得票数 1
回答已采纳
我们开发了一个.NET控制台应用程序，用于将文件上传到SharePoint 2016文档库。应用程序是使用Microsoft.SharePoint2016.CSOM库构建的，文件上传使用的是Microsoft.SharePoint.Client.File.SaveBinaryDirect()方法调用。
根据web漏洞扫描的结果，有人请求在IIS中禁用“HTTP方法”。然而，经过一些测试后，我们发现
如果“HTTP”是启用的，则文件上载是成功的
如果“HTTP”是禁用的，控制台应用程序将从文件上传步骤返回一个404错误
我们想确认“HTTP方法”对于 CSOM SaveBinar
浏览 0提问于2019-03-26得票数 0
使用read，我只想从一个readLines Azure数据湖中读取原始文本(比如底部的)。我可以连接并获得这样的数据：
library(RevoScaleR)
rxSetComputeContext("local")
oAuth <- rxOAuthParameters(params)
hdFS <- RxHdfsFileSystem(params)
file1 <- RxTextData("/path/to/file.txt", fileSystem = hdFS)
一旦执行了这一行，RxTextData实际上不会去获取数据，它更像是
浏览 6提问于2017-02-14得票数 1
回答已采纳
我有两个数据集A和B。我希望将dataset A中的dbSNP ID与B匹配。如果匹配，那么该SNPid希望为该行获取其他的col值，并与数据集中A中的cols合并。
注释：在生物信息学中的新发现，在Linux脚本或R.
浏览 0提问于2019-03-05得票数 0
1回答
正如本中所提到的，我正在启动ASP.NET核心项目的数据库数据，如下所示：
public void Configure(IApplicationBuilder app, IHostingEnvironment env, ILoggerFactory loggerFactory) {
using (var serviceScope = app.ApplicationServices.GetRequiredService<IServiceScopeFactory>().CreateScope()) {
var context = serviceScope.Servic
浏览 2提问于2017-02-06得票数 4
回答已采纳
我在这里看到一个悖论。如果我们使用训练/测试分割并评估我们的测试数据，我们可能会得到一个很好的分数，但是任何进一步的预测都是不可信的，因为模型没有训练测试数据并将它的序列包含在内存中。
另一方面，我们可以将列车和测试序列上的数据训练为列车数据，但由于没有测试参考，因此无法评估我们的预测。
如何正确预测LSTM模型？
浏览 0提问于2018-05-05得票数 1
1回答
请任何人在使用sqoop将数据从源系统(Postgres、oracle、sqlserver)导入到hdfs后，请帮助我理解这些数据。您执行的检查是什么，以查看所有数据是否正确导入，而不存在任何差异。如何确保导入的数据不是重复的数据。你做的其他检查是什么？
浏览 1提问于2017-04-26得票数 2
1回答
我有一个数据框架，它有3列--第一：(Date_time)--每10分钟一次--一次观察；第二次:临时；第三:质量检查(不是acceptable=NA)
我想计算每小时的平均值，我想说，对于质量检查列超过2na的每一个小时(在一个小时内的六个观测中)，相应的平均值应该是NA。我怎么能这样做--我写了这段代码--但我不知道如何考虑质量栏的条件：
df %>%
mutate(date = date(date_time), hour = hour(date_time)) %>%
group_by(date, hour) %>%
summarise(m = me
浏览 2提问于2021-01-13得票数 0
回答已采纳
我有一个数据表，我要将其转换为list<datarow>。如何根据某些datatable列对列表进行排序？我想它有点像list = list.Sort(p=>p.Field() )，但是我不确定它的语法。
我对大量使用LINQ很感兴趣，所以我想知道是否应该将datatable转换为强类型泛型列表并从中获取它，而不是使用linq to datasets。我现在没有这样做的唯一原因是性能原因。数据表由大约20,000条记录组成。
浏览 0提问于2010-01-14得票数 0
1回答
对于机器学习算法设计的质量评估方法是否有很好的参考。范围很广，包括从数据准备到通用性测试的每一个步骤。
此外，是否有任何自动化的“压力测试工具”，以确保算法不偏倚，它符合所要求的性能？
浏览 0提问于2019-03-06得票数 1
1回答
场景:供应商将提供tar.gz格式的原始提要，其中包含标签分隔格式的多个文件，文件细节：(a)一个命中级别数据( b)多个查找文件( c)一个头文件( a)
饲料(tar.gz)将被摄入并降落到发展局的操作生。
查询:希望将这些数据从操作原始区域加载到Pig中，以便进行数据质量检查。如何才能做到这一点？是否应该在hadoop中提取文件供我们使用或可用的替代方案？请给我建议。谢谢!注意:任何示例脚本都会更有帮助。
浏览 0提问于2015-07-15得票数 0
回答已采纳
3回答
我有一个关于数据仓库体系结构的一般性问题。我听说了很多分期和生产，所以数据应该先通过SSIS加载到暂存dwh，然后再通过SSIS加载到生产环境中。
但是有什么区别吗？我的意思是，这仅仅是生产数据仓库的“副本”(在推进生产之前对数据进行一些质量检查？)或者不同模型或(不同模式)中的源数据？
从软件开发的角度来看，我知道两者是相同的，唯一的目的是检查所有涉众的软件版本，并将发布部署到prod上。通常，在软件情况下，分期与生产是相同的(可能只有硬件大小不同)。
浏览 0提问于2019-02-17得票数 3
回答已采纳
我在git的预提交钩子中有一些代码质量检查，开发人员可以轻松地绕过它使用git commit -m "My commit message" --no-verify。
我想禁用--no-verify选项。有办法这样做吗？
浏览 2提问于2016-11-17得票数 3
回答已采纳
我有15k的下载量和3.5k的活跃用户。但在facebook的货币化管理下，它目前正在货币化，但除非你增加流量，否则将无法继续下去。质检失败。
浏览 2提问于2018-10-16得票数 6
我正在开发一些使用git预提交钩子的代码质量检查。我的想法是发送通知电子邮件，如果有人跳过这个不验证标志的质量检查，.I不想限制用户在提交.In上使用这个标记--我想阅读GIT提交的不验证参数，基于它的存在，我想发送电子邮件。我使用VS2017、git、Azure Devops
提前感谢
浏览 0提问于2019-03-20得票数 0
回答已采纳
最新的PMD版本为5.2.3 (2014年12月21日)。但是安装在我的Jenkins上的PMD插件是3.38版本。如何知道此插件是否使用PMD 5.2.3进行代码质量检查。顺便说一句，我已经将Jenkins配置为使用maven 3.0.4。
浏览 1提问于2015-01-16得票数 0
2回答
我开发了一个RandomForest分类模型，我对测试集上的结果非常满意。
现在，我的下一步是部署模型。在部署之前，我希望删除测试集，这样模型就可以在整个数据集上学习。然后，它将被用来分类新的未见数据。
我该怎么做？我使用test_train_split将数据拆分为train和test，定义了随机森林模型，并将其用于fit(X_train, y_train)。
浏览 0提问于2022-11-17得票数 1
回答已采纳
一段时间前，我们为我们的web服务器构建了一些war文件，现在已经重建了它们。
为了确保没有任何变化(并且作为质量检查)，我们尝试使用WinMerge对它们进行比较。我们可以看到它们之间的差异似乎是由于某种元数据，例如在不同日期构建的文件？
线条上的差别似乎是一致的。
d}<
和
³Ze<
战争文件的大小还是一样的。
有没有一种方法来比较它们剔除的元数据，如日期？
浏览 11提问于2010-03-28得票数 9
回答已采纳
我们有一个JSON文件作为spark程序的输入(描述模式定义和约束，我们希望检查每一列)，我还想执行一些数据质量检查，比如( NULL，UNIQUE)和数据类型验证(希望检查csv文件是否根据json模式包含数据？)。
JSON档案：
{
"id":"1"，
“姓名”：“雇员”，
“资料来源”：“本地”，
“file_type”：“文本”
"sub_file_type":"csv“
“神器”："，“，
“路径”：“/user/all/dqdata/data/emp.txt”，
“栏”：[
{"column_name"
浏览 1提问于2019-06-05得票数 1
1回答
我想开发一个机器学习算法，使用knn模型来对我的数据记录进行分类。我的问题是:是否有一个通用的方法来确定我的训练数据集应该有多大？
浏览 0提问于2021-09-07得票数 1
1回答
在: Azure : Sink的映射选项卡上的数据流Sink映射：
“至少有一个传入列被映射到接收器数据集架构中具有冲突类型的列，这会导致空值或运行时错误。”
有什么办法能真正找出什么是冒犯的列吗？
目视检查证实输出转换和雪花表类型都是相同的。
浏览 9提问于2022-10-28得票数 0
回答已采纳
我的团队目前正在利用SonarQube对我们的Mulesoft API实现进行代码质量检查。SonarQube使用XPath1.0在Mule4代码上创建自定义规则。我们目前面临的问题是，如果存在具有相同命名属性的相同命名元素，则没有显式的方法遍历它们并使用正则表达式匹配它们的值。例如：
<a>
<b>
<c d='123'></c>
</b>
<b>
<c d='123'></c>
</b>
<b>
浏览 2提问于2021-09-22得票数 1
3回答
这是一个相当理论的问题。我正在构建一个MVC数据驱动的应用程序。我的问题是关于将数据库字段中的数据转换为可显示的数据。例如，我想要将布尔值1或0转换为字符串"Yes“或"No”。我想把一个用户字段和一个lastName字段转换成一个"FullName字段“(即："John”和"Smith“变成"Smith，John")。我想把包含firstName _id的字段转换成指向详细信息页面的超链接。(即，将一个17的user_id转换成一个包含:userdetails.php?id=17的链接)。
我知道我可以在SQL查询中做到这一点。(选择C
浏览 1提问于2012-12-09得票数 0
手册无法解决如何使用syncsort来管理这个问题(我们找到了dfsort的解决方案，但这并没有帮助)。由于程序错误(不能及时修复，您知道:程序员、测试、质量检查、部署.)我们在一个文件(FB/LRECL 250)中得到了重复的记录。
存在标题行。
必须省略的后续重复数据行，但唯一的行是
不能对数据线进行排序(由于某些记录的逻辑关系)。
拖车包括数据线计数。
由于文件大小(>2 mio记录)，无法手动编辑该文件。
例幼稚：
HEADER xxxx
cccc
bbbb 123
bbbb 123
bbbb 123
dddd
aaaa 123
aaaa 123
aaaa
浏览 1提问于2017-11-29得票数 0
我不知道这是应该在这里张贴还是在程序员上张贴-对不起。
我希望能够有一个我可以调用的方法(psuedo代码)：
RegisterField("FIELD", Variable);
然后，RegisterField将一个指向Variable的指针添加到一个列表中，这样我就可以遍历它并更新数据库列"FIELD"。当Variable发生变化时，列表中的值应该表示该值(因此是指针)，我不太确定从哪个方向开始，所以我在寻找一些建议。
如果这个想法是错的，那么可以给我指出正确的方向吗？
附注:我的想法是，我可以有一个包含RegisterField的基类，这样从它派生的所有类
浏览 1提问于2012-03-19得票数 1
回答已采纳
1回答
例如，如果我有以下数据
val tempDF=Seq(("a",2),("b",1),("a",3)).toDF("letter","value")
scala> tempDF.show()
+------+-----+
|letter|value|
+------+-----+
| a| 2|
| b| 1|
| a| 3|
+------+-----+
我想对列groupBy执行letter操作，但知道letter列中可能不存在另一个字母c。一般情况下我会
te
浏览 0提问于2018-06-10得票数 0
回答已采纳
2回答
我想做图像质量检查。也许能算出某种质量的指标。
例如，假设用户A上传类似于的内容
用户B上传类似于的内容
很明显，B照片是专业的，质量很好。还有一件事，使用图像大小和重量是不好的(？)因为B图像可以调整大小，光刻或其他什么东西(丢失一些图像数据)。
有什么方法可以发现这种差异吗？:)有什么想法吗？
浏览 0提问于2015-04-30得票数 0
回答已采纳
2回答
作为一个在我有限的时间里刚刚开始使用Django的人，我提前感谢您花时间帮助我学习如何使我的代码更干净、更正确。
我有两个由两个查询集组成的列表，如下所示：
company_list = [Company_stats.objects.filter(period__exact=P, company_name__in=master_names)]
industry_list = [Industry_stats.objects.filter(period__exact=P, industry_name__in=master_names)]
我遍历了模板中的两个列表，创建了一个小表。
{%fo
浏览 2提问于2012-12-09得票数 0
回答已采纳
1回答
对数据集进行通用数据质量检查
、、、、
我每天都会收集一些不同的数据集，执行一些简单的数据质量检查，然后在数据集未通过检查时发出电子邮件。
我的检查就像检查数据集中的重复项一样简单，也可以检查数据集中的行数和列数是否没有变化--请参见下面的内容。
assert df.shape == (1016545, 8)
assert len(df) - len(df.drop_duplicates()) == 0
由于这些数据集每天都会更新，并且可能会更改行数，有没有更好的方法来检查而不是硬编码特定的数字？
例如，一个数据集可能只有400行，而另一个数据集可能有200万行。我可以说在昨天的行数的‘一个标准差’内检查吗？但在这种情况下，我需要开
浏览 11提问于2020-02-12得票数 0
回答已采纳
5回答
我有两个关于受试者心率的数据集，记录在两个不同的地方(确切地说，是两个不同的大陆)。这两个研究实验的目的是根据受试者的心率随时间变化的程度来找出他们的情绪。我正在使用机器学习来预测受试者的情绪，当在每个数据集上分别测试时，我得到了可以接受的结果。但是，如果合并这两个数据集，结果会更好。
不过，我不确定合并这两个数据集是否可以接受。由于我合并了两个不同的数据集，它会造成统计偏差吗？我该如何在期刊上报告我的发现？
浏览 0提问于2018-09-30得票数 7
回答已采纳
在构建分类或回归模型时，通常将数据拆分为火车数据集和测试数据集。测试数据是整个数据的随机选择子集。
一旦完成了培训，就会丢弃测试数据，并将构建的模型应用于新的未知数据。
但是在时间序列的情况下，这是行不通的:您不能只是随机地为测试数据集选择数据的任何子集，因为数据是有序的。测试数据集必须由数据的后期观测组成，而列车数据集则由数据的早期观测组成。
例如，您有一年中11个月的数据，并且希望预测12月份的值。您将使用1月至9月的数据对您的模型进行培训，然后对10月和11月的数据进行测试。
但是，在您成功地训练了您的模型之后，您将如何处理测试数据？
一方面，用Jan数据建立的模型来预测12月份的数值是
浏览 0提问于2017-12-12得票数 4
我刚刚开始使用gettext。但是，我很困惑，与资源包相比，gettext还有什么额外的优势？只是翻译，复数？即使我们在这两种情况下都需要单独的文件。请将您的宝贵建议告诉我。提前谢谢你。
浏览 1提问于2014-02-03得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
