社区首页 >问答首页 >训练集和测试集的大小

问训练集和测试集的大小
EN

Stack Overflow用户

提问于 2013-06-21 13:46:22

回答 2查看 1.6K关注 0票数 0

在特定情况下，当训练集小于测试集时会发生什么情况。在使用这些类型的数据集进行预测时，什么是合适的方法。谁能给我一些关于管理这些情况的介绍，以及每种学习算法将如何执行。

machine-learning

data-mining

data-analysis

回答 2

Stack Overflow用户

发布于 2013-06-21 17:15:27

你担心的是什么？你认为这会带来什么不好的结果？验证太多了吗？过度验证？

测试集不涉及训练分类器。

它只用于允许您为将来的数据预测分类器的质量。

因此，如果你有一个大的测试集，你可能会对分类器的质量有一个更好的预测，仅此而已。

票数 2

Stack Overflow用户

发布于 2013-06-24 16:44:55

当你有一个小的训练集和大的测试集时，一种解决方案是将这些集组合起来，并使用k折交叉验证。但是，理想情况下，您应该积累更大的训练集。注意不要在不合适的问题上使用开箱即用的机器学习。

票数 0

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/17236900

复制

数据集的划分--训练集、验证集和测试集

腾讯云测试服务神经网络

在机器学习中，经常提到训练集和测试集，验证集似有似无。感觉挺好奇的，就仔细查找了文献。以下谈谈训练集、验证集和测试集。

Flaneur

2020/03/25

5.3K0

使用 numpy 切分训练集和测试集

腾讯云测试服务

在机器学习的任务中，时常需要将一个完整的数据集切分为训练集和测试集。此处我们使用 numpy 完成这个任务。iris 数据集中有 150 条数据，我们将 120 条数据整合为训练集，将 30 条数据整合为测试集。

演化计算与人工智能

2020/08/14

2.8K0

小白学PyTorch | 2 浅谈训练集验证集和测试集

腾讯云测试服务机器学习神经网络深度学习人工智能

关键词：训练集（train set）、验证集（valid set）、测试集（test set）。

机器学习炼丹术

2020/09/03

1.9K0

PASCAL VOC数据集训练集、验证集、测试集的划分和提取

https 网络安全

参考：https://www.cnblogs.com/sdu20112013/p/10801383.html

狼啸风云

2019/12/10

4.1K0

训练集、验证集、测试集以及交验验证的理解

腾讯云测试服务编程算法神经网络 java https

在人工智能机器学习中，很容易将“验证集”与“测试集”，“交叉验证”混淆。

全栈程序员站长

2022/08/27

17.9K0

训练集、验证集、测试集（附：分割方法+交叉验证）

spring

在《一文看懂机器学习》里我们介绍了机器学习的7个步骤，训练集（Training Dataset）主要在训练阶段使用。

easyAI

2019/12/24

32.2K0

开发集和测试集

编程算法机器学习神经网络深度学习人工智能

让我们回到之前关于猫咪图片的例子：你开发了一个移动APP，用户可以上传许多不同的图片到你的APP上，你想识别出用户上传的图片中所有包含猫咪的图片。你的团队下载了很多图片数据集，包含猫咪图片（正

YingJoy_

2018/05/30

6130

Sklearn-train_test_split随机划分训练集和测试集

python 编程算法

学到老

2018/03/16

1.1K0

Sklearn-train_test_split随机划分训练集和测试集

javascript

sklearn.model_selection.train_test_split随机划分训练集和测试集官网文档：一般形式： train_test_split是交叉验证中常用的函数，功能是从样本中随机的按比例选取train data和testdata，形式为： X_train,X_test, y_train, y_test = cross_validation.train_test_split(train_data,train_target,test_size=0.4, random_state=0) 参数解释： train_data：所要划分的样本特征集 train_target：所要划分的样本结果 test_size：样本占比，如果是整数的话就是样本的数量 random_state：是随机数的种子。随机数种子：其实就是该组随机数的编号，在需要重复试验的时候，保证得到一组一样的随机数。比如你每次都填1，其他参数一样的情况下你得到的随机数组是一样的。但填0或不填，每次都会不一样。随机数的产生取决于种子，随机数和种子之间的关系遵从以下两个规则：种子不同，产生不同的随机数；种子相同，即使实例不同也产生相同的随机数。示例

学到老

2019/02/14

2K0

训练集(train set) 验证集(validation set) 测试集(test set)

数据分析

training set是用来训练模型或确定模型参数的，如ANN中权值等； validation set是用来做模型选择（model selection），即做模型的最终优化及确定的，如ANN的结构；而 test set则纯粹是为了测试已经训练好的模型的推广能力。当然，test set这并不能保证模型的正确性，他只是说相似的数据用此模型会得出相似的结果。样本少的时候，上面的划分就不合适了。常用的是留少部分做测试集。然后对其余N个样本采用K折交叉验证法。就是将样本打乱，然后均匀分成K份，轮流选择其中K－1份训练，剩余的一份做验证，计算预测误差平方和，最后把K次的预测误差平方和再做平均作为选择最优模型结构的依据。特别的K取N，就是留一法（leave one out）。在应用中，一般只将数据集分成两类，即training set 和test set，大多数文章并不涉及validation set。

狼啸风云

2019/01/18

10K0

训练集和测试集的分布差距太大有好的处理方法吗？

腾讯云测试服务

1.对数据集进行划分，分为训练集和测试集两部分； 2.对模型在测试集上面的泛化性能进行度量； 3.基于测试集上面的泛化性能，依据假设检验来推广到全部数据集上面的泛化性能。

机器学习AI算法工程

2022/12/13

4.3K0

将mat格式中加标签的数据分为：训练集、验证集、测试集

<span style="font-size:18px;">分出来的三个集合可能存在交集。</span> %%将一部分MontData 放入到OhmData里面 clear all;close all;clc; load Mont_data; kk1=randperm(size(train,1),2000); kk2=randperm(size(train,1),4000); kk3=randperm(size(train,1),5000); TempMontData1=train(kk1); TempMo

MachineLP

2022/05/09

8480

5. 开发集和测试集

其他

让我们回到之前关于猫咪图片的例子：你开发了一个移动APP，用户可以上传许多不同的图片到你的APP上，你想识别出用户上传的图片中所有包含猫咪的图片。你的团队下载了很多图片数据集，包含猫咪图片（正样本，positive example）和非猫咪图片（负样本， negative example）。他们将这些数据划分为70%的训练集，30%的测试集。当使用这些进行算法训练时，效果非常不错。但是将算法（分类器）部署到APP的时候，发现效果却非常的糟糕！

YingJoy_

2018/05/09

1K3

开发集和测试集应该多大？

其他

7 开发集和测试集应该多大？开发集应该足够大，大到可以检测出不同算法之间的差异。比如：如果分类器A的精度为90.0%，分类器B精度为90.1%。如果你的开发集只有100条，那么你可能检测不出这0.1%的差异，与其它机器学习的问题相比，100条数据很小，常见的开发集数据规模在1000到10000条之间。数据量越高，模型之间的差异越明显。[2] 对于一些成熟的重要应用来说（如：广告推荐，网页推荐，产品推荐等）。我经常看到团队在为0.01%的性能提升而奋斗，因为这直接影响到了公司的利润。在这种情况下，开发集的数

YingJoy_

2018/05/30

4200

泛化性的危机！LeCun发文质疑：测试集和训练集永远没关系

测试论文模型数据性能

---- 新智元报道来源：arXiv 编辑：LRS 【新智元导读】长久以来一个观点就是在测试集上表现更好的模型，泛化性一定更好，但事实真是这样吗？LeCun团队最近发了一篇论文，用实验证明了在高维空间下，测试集和训练集没有关系，模型做的一直只有外推没有内插，也就是说训练集下的模型和测试集表现没关系！如此一来，刷榜岂不是毫无意义？内插（interpolation）和外推（extrapolation）是机器学习、函数近似（function approximation）中两个重要的概念。在机器学习

新智元

2023/05/22

2560

用 Pipeline 将训练集参数重复应用到测试集

数据处理

当我们对训练集应用各种预处理操作时（特征标准化、主成分分析等等），我们都需要对测试集重复利用这些参数。 pipeline 实现了对全部步骤的流式化封装和管理，可以很方便地使参数集在新数据集上被重复使用。 pipeline 可以用于下面几处：模块化 Feature Transform，只需写很少的代码就能将新的 Feature 更新到训练集中。自动化 Grid Search，只要预先设定好使用的 Model 和参数的候选，就能自动搜索并记录最佳的 Model。自动化 Ensemble Generat

杨熹

2018/04/03

1.1K0

如何解决训练集损失下降而测试集损失上升？

error zero 论文

来自ICML2020的一篇论文： Do We Need Zero Training Loss After Achieving Zero Training Error? 地址：https://arxiv

西西嘛呦

2020/08/26

4.6K0

不同的batch_size对训练集和验证集的影响

size 博客程序工具可视化

我们知道，不同的batch_size对我们的训练集和验证集得出结果的精度和loss都会产生影响,是设置batch_size越大我们得到的精度越好，loss越好。还是batch_size越小我们得到的精度越好，loss越好呢？

算法与编程之美

2023/08/22

5740

12. 小结：建立开发集和测试集

其他

• 从分布中选择开发集和测试集，它需要反映你将来的数据情况，并且它的效果足够好，这可能与训练的数据不在同一分布。

YingJoy_

2018/05/09

6221

点击加载更多

相似问题

训练集和测试集不兼容

126

测试集和训练集不兼容

测试集和训练集之间的差异

将张量分成训练集和测试集

相同的数据分为训练集、开发集和测试集

124

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例

问训练集和测试集的大小
EN

回答 2

Stack Overflow用户

Stack Overflow用户

训练集和测试集不兼容

测试集和训练集不兼容

测试集和训练集之间的差异

将张量分成训练集和测试集

相同的数据分为训练集、开发集和测试集

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问训练集和测试集的大小EN

回答 2

Stack Overflow用户

Stack Overflow用户

训练集和测试集不兼容

测试集和训练集不兼容

测试集和训练集之间的差异

将张量分成训练集和测试集

相同的数据分为训练集、开发集和测试集

社区

活动

资源

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问训练集和测试集的大小
EN