我有一个小的数据集(140K)，我想将其拆分成验证集、使用目标变量的验证集测试集和另一个字段来筛选这些拆分。
浏览 46提问于2019-09-19得票数 2
在数据预处理中，使用分层洗牌确保原始数据集的分布反映在培训、测试和验证数据集中。
小型批处理梯度下降使用随机洗牌来确保小批中的随机性.我的疑问是-为什么我们应该在我们的数据集上执行分层洗牌，如果它要在训练期间以随机的方式被洗牌？
浏览 0提问于2020-08-08得票数 2
回答已采纳
我正在使用神经网络(NN)作为我的地球物理学论文的一部分，并且正在使用TensorFlow和Keras来训练我的网络。
我目前的任务是使用神经网络来近似热力学模型，即非线性回归问题。它接受13个输入参数，并输出450个参数的速度剖面(速度与深度)。我的数据由100,000个合成示例(即没有噪声存在)、训练(80k)、验证(10k)和测试(10k)组成。我已经针对许多不同的<
浏览 0提问于2019-01-29得票数 2
2回答
如果不是，为什么会这样何时确定验证集是测试集的良好代表？这两个结果之间的差异应该在一定范围内吗？
验证结果和测试集结果之间存在较大差异的原因是什么？我从以前的一个问题中了解到，数据从训练集泄漏到验证集，在拆分数据之前对数据进行过采样可能会导致这种情况。但还有其他
浏览 0提问于2020-09-29得票数 0
回答已采纳
我刚刚开始与ML和我的第一次Kaggle比赛(泰坦尼克号)。我只是想知道用以下步骤组织数据以避免冗余的最佳方法是什么：数据缺口的核算(估算)将数据拆分为培训和验证集
然后对模型进行拟合和预测。我的主要问题是，在对数据进行编码之前，是否最好先进行拆分，还是只在完成编码后才进行拆分？
浏览 0提问于2018-08-09得票数 0
我正在浏览validation_curve的sci学习文档，并看到它返回了两组不同的数据：
train_scores:训练集上的形状数组(n_ticks，n_cv_folds)分数。test_scores:形状数组(n_ticks，n_cv_folds)在测试集上得分。在给定的函数中，我们只传递一个X和y数组，它如何从传递的训练数据中计算test_scores，它是否执行固
浏览 6提问于2020-10-18得票数 0
2回答
我正在使用XGBoost的python接口来构建模型。我有一个正在使用xgb.DMatrix(data_path)读取的数据集。我需要将这些数据分为训练和测试(如果需要，还需要验证)。但是我看到的大多数实现都是这样的dtest = xgb.DMatrix('')
我找不到一种方法，我们可以在哪里读取数据集，然后将它们分成<em
浏览 0提问于2018-05-28得票数 2
2回答
我有一个不平衡的分类问题。然后，我使用R包ROSE同时对Dataset A中的多数类进行了欠采样，并对少数类进行了过采样。这产生了一个平衡集(Dataset C)，其行数与Dataset A一样多。
我已经在数据集C和计算训练AUC上训练了我的模型。
浏览 0提问于2018-04-04得票数 1
1回答
下面是关于使用奇异值分解(SVD)：对电影建议进行矩阵分解的教程。使用 SVD ，使用SVD将数据集近似为三个组件：
如何在经过训练的模型上应用单独的</em
浏览 0提问于2019-05-23得票数 3
我试图使用scikit learn的分层随机拆分将我的数据集拆分成训练集和测试集，但它不起作用，因为其中一个类只有一个实例。
如果将一个实例放入训练集或测试集，就可以了。
浏览 2提问于2021-08-03得票数 0
我正在处理mnist数据集，其中有1797张图像，表示0到10位数字。我希望将数据集拆分为训练、验证和测试子数据，以便为每个sub_data指定相同的数字编号。如果没有python中的sklearn库，我怎么做分层？ 感谢您提前给我答复。
浏览 28提问于2021-05-04得票数 0
回答已采纳
1回答
我有一个有6000条记录的数据。我有一个60-20-20的训练，验证和测试集。我用XGboost得到了大约76%的准确率。我将我的数据转换为时间序列，并应用LSTM/1-D Convnet，准确率约为60%。我的数据集是否太小，无法进行深度学习？其次，可以在每个训练上应用SMOTE，测试和验证
浏览 34提问于2019-09-04得票数 0
我有一个大约200万的观测数据集，我需要按60:20:20的比例分成训练、验证和测试集。|有多个类别--它们是不均衡的--所以我需要确保培训、验证和测试集都有与原始数据集中相同比例的类别来自给定主题的所有观察都需要放在同一个桶中，
浏览 0提问于2019-07-03得票数 25
回答已采纳
MovieLens 100k数据集提供了五对训练和测试集，用于5折交叉验证。然而，我了解到在测试集上测试之前应该使用验证集，以便获得最佳参数值。
我假设在最初的拆分中，五个“测试集”实际上是验证集。如果这是真的，那么就没有可以测试模型性能<
浏览 0提问于2012-09-26得票数 2
split training/testing setscrossvalind用于执行交叉验证，通过返回索引，将整个特性集X随机分成训练和测试数据。利用这些指标，我们可以分别生成X(trainIdx,:)和X(testIdx,:)的训练数据和测试数据。cvpartition也使用<e
浏览 1提问于2018-06-06得票数 1
回答已采纳
2回答
假设我们要将它们拆分为0.8、0.1、0.1，分别用于培训、测试和验证，您可以这样做：我想知道如何在使用这种方法分割数据时考虑分层。分层是分割数据，同时保留数据中每个类的优先级。也就是说，如果要将0.8作为培训集，则从每个类中获取0.8 。测试和训练
浏览 2提问于2019-01-27得票数 2
回答已采纳
2回答
转换净节省权重和新测试集
、、、
有件事我理论上不明白当验证集上的度量最好时，我会节省权重(我在训练集和验证集上的性能相同)。
现在，我做一个新的拆分。训练集中的一些
浏览 2提问于2019-06-06得票数 0
对于一个项目，我想执行分层的5倍交叉验证，其中每一次的数据被分割成一个测试集(20%)，验证集(20%)和训练集(60%)。我希望测试集和验证集是不重叠的(五个折叠中的每一个)。在维基百科维基百科上或多或少是这样描述的：
单个k折叠交叉<e
浏览 0提问于2020-12-19得票数 4
我想将数据类别划分为训练集、测试集和验证集。例如:如果我们在数据集中有3个类别:正、负和中性。正面类别分为训练、测试和验证。其他两个类别也是如此。数据的拆分比例为80%用于训练，20%用于测试。从80%的训练数据中，拆分10%用于验证数据。
浏览 19提问于2019-11-21得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
