如何将此数据集拆分为训练集、验证集和测试集？

文章/答案/技术大牛

发布

1回答

python、tensorflow

按照https://www.tensorflow.org/tutorials/load_data/images的说明，我已经使用自己的数据定义了一个数据集，如下所示： list_ds = tf.data.Dataset.list_files(str(data_dir/'*/*')) 我看过tf.data.Dataset的方法，但不知道如何像tfds.Split那样将这个数据集分成三个部分(训

浏览 22提问于2019-12-04得票数 0

2回答

使用验证、培训和测试集之间的顺序

machine-learning、cross-validation、train-test-split

在中，这似乎意味着顺序应该是：然而，在我看来，这似乎很奇怪:如果您还没有选择您的超参数(在这种情况下是多项式度)，那么如何将您的模型与训练集

浏览 1提问于2019-01-10得票数 1

回答已采纳

2回答

深度学习:训练中是否使用验证数据集？

deep-learning

在有监督学习中，原始数据分为三部分:训练数据集、验证数据集和测试数据集。测试数据集用于最终评估模型，因此不会在训练过程中使用。我认为，验证数据集用于在

浏览 27提问于2020-02-29得票数 1

1回答

如何在训练和验证集上输入后使用交叉验证？

python、cross-validation、imputation

目前，我已经获得了大约800个实例的数据集。我将其拆分为训练集和验证集，因为缺少值，所以我使用sklearn中的SimpleImputer，并对训练集进行fit_transform-ed，然后对测试集进行转换。我这样做是因为如果我想预测新的实例，如果有缺失值，那么我需要用我估算测试集的方法来估算它。现在我想使用交叉验证来

浏览 30提问于2018-12-18得票数 3

2回答

将k-折叠交叉验证应用于数据集的混淆

machine-learning、cross-validation

我有一个数据集，它已经被分成10倍，每个折叠都有训练、验证和测试集。我无法理解如何在这个数据集上应用10倍交叉验证。通常，如果我们想在数据集上应用k折叠交叉验证，步骤如下：在我的例子中，数据集已经被划分为10倍，除了训练集之外，每个折叠都包含验

浏览 0提问于2019-03-27得票数 1

1回答

为什么不在RandomizedSearchCV中评估过测试拟合结果？

python、optimization、hyperparameters、gridsearchcv

我正在尝试在sklearn中优化分类器和回归方法的hiperparameters。我有个问题。为什么在评估结果时，您选择例如最佳训练精度，而不是在测试中评估此结果，并使用其他训练精度迭代其他值以获得最佳测试精度？因为很明显，用于最佳训练精度的参数与用于最佳测试精度的参数不同。谢谢!

浏览 1提问于2019-09-18得票数 0

2回答

在Keras中，x_train和x_test有什么区别？

python、keras、conv-neural-network

在本教程(以及Keras的官方文档中)中，MNIST数据集的加载方式如下：然而，没有解释为什么我们有两个元组的数据。我的问题是:什么是x_train 和 y_train ，以及它们与 x_test 和 y_test counterparts有什么不同？

浏览 0提问于2017-09-29得票数 13

回答已采纳

1回答

在Matlab中训练数据集、验证数据集、测试数据集

matlab、validation、testing、dataset

我有4*81输入数据集和1*81输出/目标数据集。'divideblock'或'dividerand'将数据集随机分为培训、验证和测试。我的问题是..。经过训练和模拟..。如何跟踪用于训练网络的单个输入数据集(培训、测试、<

浏览 1提问于2012-01-03得票数 0

2回答

在scikit中分割数据-学习

machine-learning、python、scikit-learn、dataset、cross-validation

我知道如何使用train_test_split将数据集拆分为训练集和测试集，但是否可以将数据集分成三个不同的集合，即“列车集”、“测试集”和“验证集”。举个例子就够了。

浏览 0提问于2016-08-20得票数 0

回答已采纳

1回答

如何使用Python Numpy中的train_test_split将数据拆分成训练、测试和验证数据集？拆分不应该是随机的

python、numpy、train-test-split

我想将数据类别划分为训练集、测试集和验证集。例如:如果我们在数据集中有3个类别:正、负和中性。正面类别分为训练、测试和验证。其他两个类别也是如此。数据的拆分比例为80%用于训练，20%用于测试。从80%的训练数据中，拆分1

浏览 19提问于2019-11-21得票数 0

2回答

训练精度很高，验证精度很高，但测试集的精度很低。

machine-learning、keras、deep-learning、computer-vision、conv-neural-network

我已经将数据集(大约28K图像)划分为75%的训练集和25%的测试集。然后，我随机抽取了15%的培训集和15%的测试集来创建验证集。目标是将图像分为两类。精确的图像样本不能共享。但它和附件中的那个相似。我使用这个模型:带有imagenet权重的VGG19，最后两层，可训练的，以及4个密集的层。

浏览 3提问于2019-01-16得票数 2

回答已采纳

2回答

神经网络训练时交叉验证？

neural-network、cross-validation、training

训练神经网络时的标准设置似乎是将数据分割成训练集和测试集，并一直运行到测试集上的分数停止提高为止。现在，问题是:测试分数中存在一定数量的噪声，因此单个最佳分数可能不符合网络状态，而网络状态最有可能是新数据上的最佳状态。我见过一些论文指出训练中的一个特定时代或迭代是“交叉验证最好的”，但我不知道这是如何确定的(论文没有提供任何细节)。“交叉

浏览 0提问于2016-04-09得票数 6

回答已采纳

1回答

如何将此数据集划分为训练集和验证集？

python、scikit-learn

我想用sklearn拆分数据集，因为我认为validation_split不适合我。下面是我是如何实际读取数据集的：output_sentences = [] output_sentences_inputs.append(output_sentence_input) 现在我对如何<

浏览 0提问于2020-06-12得票数 0

1回答

在R中拆分每小时的时间序列

r、split、time-series

我正在尝试使用R将时间序列数据集拆分为训练集和测试集。15 12345 我使用以下代码将此数据集转换为时间序列格式： tt <- ts(df$Value,start=c(2018,09,00:00),frequency=24*365) 在此之后，我尝试使用以下代码将该系列划分为训练和测试<e

浏览 15提问于2021-04-27得票数 1

回答已采纳

2回答

如何在培训阶段使用验证集？

neural-network

我对在训练阶段如何使用验证集感到困惑(像CNN这样的神经网络)？在Matlab或python(Keras)这样的平台中，我将数据集分为训练集、验证集和测试集。我知道验证集用于调优超参数(如神经元数目和学习速率)，假设使用SDG优化器，如何根据验证集<

浏览 0提问于2020-07-19得票数 2

回答已采纳

1回答

如何从UCI给定的标准数据集生成训练和测试数据集

svm、libsvm

我有一个包含699行和11个属性(包括class属性)的癌症数据集。如何将数据集划分为训练数据集和测试数据集？我知道下面的事情。它们是真的吗？(1)选择初始150行用于测试，剩余549行用于训练(2)选择初始549行用于训练，剩余150行用于测试此外，我是否需要在两个<em

浏览 3提问于2016-07-01得票数 0

1回答

帮助理解交叉验证。

machine-learning、cross-validation

我对交叉验证的理解是，我们将数据集划分为第1-k部分，然后使用第1部分作为验证集，第2-k部分作为培训集，然后使用第2部分作为验证集，其余部分作为培训集等等，直到我们使用每个部分作为验证集。我知道我们平均要做k轮交叉验证，但是我们的输出是什么？我读到过，在计算验证错误之后，我们放弃了每一轮的结果，那么我们如何从这个结果产生一个模

浏览 0提问于2019-05-07得票数 2

回答已采纳

2回答

关于不平衡的多标签数据集

python、dataset、multilabel-classification

我在python language.The数据集中做多标签新闻分类，我有两个文件。第一个CSV包含每一行的文章。第二，CSV包含每一篇文章的相应标签。dl=0如何正确地将此数据集分发到培训集、验证集和测试集？注:我的意思是，这个不平衡的数据集在培训、验证和测试<

浏览 0提问于2019-06-12得票数 1

2回答

为什么同时使用验证集和测试集？

machine-learning、neural-network、cross-validation

考虑一个神经网络：测试集上的错误不是和验证集有点相同吗?对于网络来说，它是一个看不见的数据</em

浏览 0提问于2017-04-13得票数 36

回答已采纳

1回答

Sklearn管道:当包括管道缩放时是否存在泄漏/bias？

python、machine-learning、scikit-learn、pipeline、scaling

在机器学习中，将数据分成训练数据和测试数据。在交叉验证中，将培训数据分为培训集和验证集。如果需要缩放，则在CV的每一次迭代中，计算不包括验证集的训练集(不是整个训练数据)的均值和标准差，并用于缩放验证集

浏览 1提问于2020-12-08得票数 0

点击加载更多