我正在处理大规模的、不平衡的数据集，其中我需要选择一个分层的训练集。然而，即使数据集是严重不平衡的，我仍然需要确保至少每个标签类至少包括在训练集中一次。sklearns train_test_split或StratifiedShuffleSplit不会“保证”这种包含。stratify=y)
浏览 32提问于2021-01-09得票数 0
1回答
考虑一个将被拆分为训练和测试的数据集。该模型将使用火车组学习，并使用未见测试集进行评估。现在，数据集是不平衡的--它包含了更多属于特定类的示例。在这种情况下，平衡它的方法之一(除了这里提到的方法：不平衡数据集分类的
浏览 0提问于2019-11-24得票数 1
回答已采纳
2回答
我正在开发一个使用不平衡数据集的分类模型。我试图使用不同的抽样技术来提高模型的性能。如果不是，为什么会这样何时确定验证集是测试集的良好代表？这两个结果之间的差异应该在一定范围内吗？
验证结果和测试集结果之间存在较大差异的原因是什么？我从以前的一个问题中了解到，数据从训练<
浏览 0提问于2020-09-29得票数 0
回答已采纳
我正在尝试训练一个多元线性回归模型。我有一个名为'main‘的数据集。该数据集中类别变量很少。我简化了分类变量。假设虚拟后得到的列是A、B、C、D等。现在，当我试图在这个主数据集上运行训练测试拆分时，这样获得的训练数据集在其中一列中只有0值。我怎样才能克服这个问题。我使用的代码是：
浏览 7提问于2019-01-24得票数 1
1回答
罕见事件训练后支持向量机性能差
、、、、
我发现加权支持向量机是一种处理类不平衡问题的分类方法。我的数据集与罕见事件(标记为1的少数类)和多数类(标签为0)高度不平衡。因此，我用分层交叉验证技术实现了监督分类加权svm技术，因为这些技术能够处理类的不平衡。我为C参数(boxconstraint)添加了额外的调优。cmMatrix =
1443
浏览 0提问于2018-07-11得票数 1
回答已采纳
1回答
我使用Python在不平衡的数据集上运行随机森林模型(目标变量是二进制类)。在分割训练和测试数据集时，我很难确定是否使用分层抽样(如所示的代码)。到目前为止，我在我的项目中观察到，分层案例将导致更高的模型性能。但我想，如果我使用我的模型来预测新的情况，这很可能与我当前的<em
浏览 0提问于2017-01-12得票数 15
我有一个不平衡的数据集，它有两个分类值。一个有大约500个特定类别的值，另一个只有一个数据点和另一个class.Now，我想将这些数据分成80-20比率的测试序列。但由于这是不平衡的，我希望第二类出现在测试和训练数据中。我尝试使用sklearn中的test-train-split，但它没有给出在它们中都存在的第
浏览 1提问于2018-05-28得票数 0
2回答
如何正确处理培训/测试集的生成？我正在做几个实验来测试我的神经网络模型的泛化能力，所以在所有实验中，我的测试集都不同于我的训练集(例如，在一个实验中，训练集和测试集之间的句子结构是相同的，而在训练集中我使用一组单词，在测试集中使用
浏览 0提问于2021-07-08得票数 1
我使用这段代码来测试KFold和StratifiedKFold。X,y):print("KFold done")
我发现StratifiedKFold可以保持标签的比例
浏览 0提问于2020-12-16得票数 5
回答已采纳
我试图使用scikit learn的分层随机拆分将我的数据集拆分成训练集和测试集，但它不起作用，因为其中一个类只有一个实例。
如果将一个实例放入训练集或测试集，就可以了。
浏览 2提问于2021-08-03得票数 0
我正在做一个项目，对来自5个不同流派(摇滚，电子，说唱，乡村，爵士)的30秒音频样本进行分类。我的数据集包含600首歌曲，每个流派恰好有120首。特征是每首歌曲的13个mfcc的一维阵列，标签是流派。基本上，对于30秒样本的每帧，我取每组13个mfcc的平均值。这导致每首歌曲有13个mfcc。然后，我获得整个数据集，并使用sklearn的缩放函数。我的</
浏览 3提问于2017-05-15得票数 1
我有一个数据集，其中大约20%的数据是正类，80%的数据是负类。当我在平衡数据集上对分类器进行欠采样和训练，并在平衡数据集上进行测试时，结果非常好。但是，如果我在平衡数据集上进行培训，并在复制现实世界(80-20分离)的不平衡数据集
浏览 0提问于2020-01-21得票数 1
回答已采纳
1回答
显着地过度拟合CV
、、、、
数据集很小，有1800行和60列。行中没有重复项。我比较了标准分类器中的不同分类器:随机林、logistic回归、增强树和SVC。我用90% (训练)的CV训练超参数，10%的训练来测量泛化误差(测试)。数据集略有不平衡(1 :3的类比例)，因此我对所有的拆分都使用了分层折叠。我还使用roc作为我的简历
浏览 0提问于2018-04-05得票数 1
回答已采纳
1回答
我是机器学习的研究员。在我的项目中，我一直在将ML应用于一个小的不平衡数据，其中包括8个特性和297个实例，其中44个为正实例，253个为负实例。首先，我使用分层抽样将整个数据集分成一个训练集(80%)和一个测试集(20%)。其次，将训练集过度采样为均衡训练集，采用随机抽样替换或平滑，并应用信
浏览 0提问于2022-01-02得票数 1
我有一个数据集，我必须检测异常。现在，我使用数据子集(让我们调用子集A)，并应用DBSCAN算法在集合A.Once上检测异常。使用dbscan标签，我在数据集A中创建了一个标签变量(异常:1，非异常:0)。现在，我在数据集A上训练了一个有监督的算法，使用标签作为从属/目标变量来预测异常，最后使用经过训练的监督模型对其余数据进行异常预测(
浏览 0提问于2019-09-17得票数 1
1回答
我有一个不平衡的数据集，它有43323行，其中9行属于“failure”类，其他行属于“normal”类。我用100%的召回率和94.89%的AUC训练了一个用于测试数据的分类器(0.75/0.25，分层分裂为y)。而分类器的精度为0.18%，F1评分为0.37%。，我假设我可以通过更改阈值来获得更好的F1分数，但是我
浏览 2提问于2022-10-19得票数 0
2回答
验证/测试集唯一性问题
、、、、
希望这是一个简单的问题，但对于如何最好地分离训练/验证/测试集，我有点不清楚。
我说了100个A类的例子，我把文本分为A类(我所关心的)或B类(可能是世界上的任何文本)。显然，我有更多的B类的例子。当我将数据拆分为train/validate/测试<em
浏览 0提问于2021-12-16得票数 0
回答已采纳
我目前正在学习机器学习，通过这本书“用Sci-kit学习和Tensorflow进行的手工机器学习”，由Aurelien著。在第76和77页，作者谈到使用分层抽样，以便您的测试集将更有代表性的整个数据。我真的不明白这一点，因为它不会影响你的训练模式的准确性？或者，选择更好的测试集将如何影响您的培训模型的准确性？
浏览 0提问于2019-02-06得票数 2
回答已采纳
2回答
我有一个不平衡的分类问题。然后，我使用R包ROSE同时对Dataset A中的多数类进行了欠采样，并对少数类进行了过采样。这产生了一个平衡集(Dataset C)，其行数与Dataset A一样多。
我已经在数据集C和计算训
浏览 0提问于2018-04-04得票数 1
1回答
我目前正在研究Kaggle的泰坦尼克号数据集。数据集不平衡，几乎为61.5 %的负类和38.5个正类。
我把我的训练数据集分为85%的训练集和15%的验证集。选择了一个支持向量分类器作为模型。我在训练集上做了10倍
浏览 0提问于2021-06-16得票数 5
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
