用于过采样多类数据集的Smote
Smote是一种用于过采样多类数据集的算法，它可以解决在机器学习中遇到的类别不平衡问题。类别不平衡是指训练数据中不同类别的样本数量差异较大，这可能导致模型对少数类别的预测能力较差。
Smote算法通过合成新的少数类样本来平衡数据集。它基于少数类样本之间的相似性，通过在特征空间中的线性插值来生成新的合成样本。具体而言，Smote算法选择一个少数类样本，然后随机选择一个最近邻的样本，计算两个样本之间的差异，并在两个样本之间的连线上随机选择一个点作为新的合成样本。
Smote算法的优势在于能够增加少数类样本的数量，提高模型对少数类别的预测能力，从而改善模型的整体性能。它可以应用于各种机器学习任务，如分类、回归等。
腾讯云提供了一系列与机器学习相关的产品和服务，其中包括数据处理、模型训练和推理等功能。对于使用Smote算法进行过采样的需求，可以使用腾讯云的数据处理服务和机器学习平台。具体推荐的产品包括：
- 腾讯云数据处理服务：提供了数据存储、数据处理和数据分析等功能，可以用于处理原始数据集并准备用于机器学习的数据。
- 腾讯云机器学习平台：提供了丰富的机器学习算法和模型训练工具，可以用于构建和训练机器学习模型。在模型训练过程中，可以使用Smote算法进行过采样。
更多关于腾讯云数据处理服务和机器学习平台的详细信息，请参考以下链接：
- 腾讯云数据处理服务：https://cloud.tencent.com/product/dps
- 腾讯云机器学习平台：https://cloud.tencent.com/product/tiia
请注意，以上推荐的产品和链接仅供参考，具体选择应根据实际需求和情况进行。
相关·内容
3回答
我刚刚使用DMwR包中包含的Smote在我的数据集中进行了过采样。
我的数据集由两个类组成。最初的分布是12比62。因此，我对过采样进行了编码：
newData <- SMOTE(Score ~ ., data, k=3, perc.over = 400,perc.under=150)
现在，分布是60对72。
然而，当我显示'newData‘数据集时，我发现SMOTE是如何进行过采样的，并且有一些样本是重复的。
例如，样本号24显示为24.1、24.2和24.3。
这是正确的吗？这直接影响到分类，因为分类器将学习包含测试中出现的数据的模型，因此这在分类中是不合法的。
编辑:我想
浏览 5提问于2014-06-08得票数 2
1回答
我期待得到一个不平衡的训练集与给定的A:B的比例，从一个数据集，而不考虑它是否是平衡的。重点分析了数据不平衡对精度的影响。我看不出有什么内置的功能，所以我想知道我应该采取什么方法。目前，我考虑过抽样或过抽样，但我担心这可能会对结果造成太大的偏差，因为我的目标是获得10/90、20/80、.、80/20、90/10的班级比率。
浏览 0提问于2021-04-09得票数 0
我试图解决一个多类不平衡的分类问题。为此，我使用SMOTE表示过采样，而OSS用于过采样.但我有一个疑问，因为我正在研究多类，所以我必须把它转换成二进制分类。所以我们可以用OVA/OAA来转换它。那么，如何使用OVA/OAA同时对同一数据集进行过采样和欠采样？
浏览 0提问于2019-01-28得票数 2
3回答
平滑多类过采样
、、、
我已经读到，SMOTE包是为二进制分类实现的。在n个类的情况下，它为最小类创建额外的示例。我能通过运行n-1次算法来平衡所有的类吗？
浏览 0提问于2017-11-11得票数 6
我有一个名为yeast4的不平衡数据集。记录分为两类目标“积极”和“消极”。正类只占总比例的3%。我使用了kNN算法进行分类，我没有指定k，但我在训练数据上使用了5折交叉验证。我发现: auc_knn_none = 0.7062473。我很感兴趣地添加了一个过采样算法来提高模型的质量。所以我使用了SMOTE算法，而且我没有指定k ok kNN，我在训练数据上使用了5折交叉验证。但这次，我发现: auc_knn_smote = 0.56676。通常情况下，auc_knn_smote必须高于auc_knn_none，所以有一些问题，我不知道问题出在哪里。下面是我的代码：
library(imbal
浏览 9提问于2020-08-30得票数 0
我有一个高度不平衡的二进制(是/否)分类数据集。数据集当前有appx 0.008% 'yes‘。
我需要使用SMOTE来平衡数据集。
我遇到了两种方法来处理这种不平衡。在对变量运行MinMaxScaler之后，执行以下步骤
from imblearn.pipeline import Pipeline
oversample = SMOTE(sampling_strategy = 0.1, random_state=42)
undersample = RandomUnderSampler(sampling_strategy=0.5, random_state=42)
steps = [(&
浏览 3提问于2020-05-14得票数 0
1回答
我正在进行多标记图像分类。这是我的数据框架：
已更新
你可以看到有26个特征标记的图像。"1“表示存在，"0”表示不存在。
我的问题是在很多标签上都有不平衡的数据。例如：
[1] train_df.value_counts('Eyeglasses')
Output:
Eyeglasses
0 54735
1 1265
dtype: int64
[2] train_df.value_counts('Double_Chin')
Output:
Double_Chin
0 55464
1 536
dtype:
浏览 2提问于2020-11-14得票数 1
1回答
因此，我需要使用scikit learn中的一些估计器，即LogisticRegression和SVM，但我有一个问题，我有一个非常不平衡的数据集，需要运行Kfold交叉验证。问题是，有时我要拟合的折叠层只能有一个可用的目标类。
有没有办法用scikit-learn来做到这一点呢？也许可以用另一个图书馆？我知道这两个算法使用的是线性函数，也许在这种情况下我可以使用一些接口。
无论如何，感谢您的宝贵时间。
编辑: StratifiedFold交叉验证对我来说没有用，因为有时我的出现次数比折叠次数少。例如，我有一个有50个实例和3个类的数据集，但是46个可以属于一个类，2个属于第二类，2个属于第三
浏览 2提问于2017-02-22得票数 0
1回答
我在here的工作(句子分类的卷积神经网络)的tensorflow link中遇到了丹尼·布里茨的实现，我想对每个句子的嵌入向量执行SMOTE (过采样)，不确定如何获得嵌入，或者是否可以在嵌入之前进行过采样，以下是丹尼的嵌入部分： with tf.device('/cpu:0'), tf.name_scope("embedding"):
self.W = tf.Variable(
tf.random_uniform([vocab_size, embedding_size], -1.0, 1.0),
浏览 34提问于2019-04-08得票数 0
回答已采纳
1回答
我正在处理一个不平衡的数据进行分类，我以前曾尝试使用合成少数过采样技术(SMOTE)对训练数据进行过采样。然而，这一次我想我也需要使用Leave One Group Out (徽标)交叉验证，因为我想在每份简历上都去掉一个主题。
我不确定我是否能很好地解释它，但据我所知，要使用SMOTE做k倍CV，我们可以在每个折叠上循环SMOTE，就像我在代码中看到的那样。下面是在k倍CV上实现SMOTE的示例。
from sklearn.model_selection import KFold
from imblearn.over_sampling import SMOTE
from sklearn.me
浏览 2提问于2019-07-10得票数 13
我正在处理一个非常具有挑战性的分类问题，其中我有三个问题:一个小的数据集(大约800个样本)，不平衡的数据集(4个类，每个类有1-600个样本，2/3/4-50个样本)，以及其中一个特征中缺少的数据。
我一直在考虑的一些事情：
生成合成数据，例如使用SMOTE (合成少数群体过采样技术).
将这一分类转变为少数群体和多数群体之间的二元分类。
结合不同的分类器，给负样本更多的权重(万一我变成二进制分类器)。
通过在成本函数中应用特定的权重进行成本敏感的学习(有点类似于前面的，但使用了所有4个类)。
我打算作为分类器，朴素贝叶斯，支持向量机，随机森林和神经网络和2倍交叉验证
浏览 4提问于2015-11-19得票数 4
2回答
我有一个不平衡的数据集。我正在使用SMOTE (合成少数人抽样技术)来执行过采样。在执行二进制分类时，我在这个过采样的数据集上使用10倍交叉验证。
然而，我最近研究了这篇文章；提到在交叉验证期间使用过采样数据集是不正确的，因为它会导致性能评估过于乐观。
我要验证正确的方法/过程，即在交叉验证中使用过采样数据。
浏览 2提问于2018-03-27得票数 2
回答已采纳
1回答
我正在训练三个班级，其中一个占主导地位的班级约占80%，其他两个班级甚至。我能够使用欠采样/过采样技术来训练模型，以获得67%的验证准确率，这对于我的目的来说已经相当不错了。问题是这种性能只存在于平衡的验证数据上，一旦我用不平衡的数据对样本外进行测试，它似乎就偏向于甚至类预测。我也尝试过使用加权损失函数，但在样本之外也没有什么乐趣。有没有好的方法来确保验证性能的转换？我曾尝试使用auroc成功验证模型，但同样，强大的性能仅存在于平衡验证数据中。
我已经尝试过重采样的方法: SMOTE过采样和随机欠采样。
浏览 6提问于2019-07-10得票数 0
1回答
在特征选择之前或之后采样
、、、
我对特征选择、采样和交叉验证的顺序感到困惑，我的数据集有468行和23000列，其中269个属于I类，199个属于II类，当拆分训练和测试时，训练.Due中的数据有215个I类和159个II类，以减少样本数量我不得不对训练数据应用SMOTE过采样以减少偏差。或者我应该在这里应用采样，这会导致数据丢失，从而导致更小的样本。I)先应用过采样，然后应用特征选择技术，然后进行交叉验证:在交叉验证过程中，可能会由于过采样导致重复行而导致偏差。II)首先应用特征选择技术，然后进行过采样，然后进行交叉验证，这将导致与上述相同的偏差。III)首先应用特征选择技术，然后在10折交叉验证中对9折数据进行采样。I
浏览 133提问于2020-08-12得票数 1
1回答
我有一个倾斜的数据集，其中有推特推文和与it.The相关的情绪，积极情绪:负面情绪的比率约为1:4(训练集)。当我在Weka上运行训练集(没有SOMTE)时，结果并不令人满意。所以我使用SMOTE来平衡我在那之后得到的classes.The结果，这要好得多。我使用Libsvm进行分类。
由这种SMOTE技术生成的模型的可靠性如何？对于这种不平衡的数据集，我们可以总是使用SMOTE吗？我是ML和weka的新手，所以对这些东西了解不多。
浏览 6提问于2015-03-10得票数 1
1回答
我试图解决一个不平衡的分类问题，所有的输入功能都是分类的。以下是每个功能的值计数：
for i in X_train.columns:
print(i+':',X_train[i].value_counts().shape[0])
Pclass: 3
Sex: 2
IsAlone: 2
Title: 5
IsCabin: 2
AgeBin: 4
FareBin: 4
在train_test_split后，在训练数据上应用SMOTE。创建了一些新值，这些值在X_train数据集中不存在。
from imblearn.over_sampling impo
浏览 5提问于2020-03-17得票数 0
我正在使用Auto-Sklearn，并且有一个包含42个严重不平衡的类的数据集。处理这种不平衡的最好方法是什么？据我所知，在机器学习中存在两种处理不平衡数据的方法。要么使用重采样机制，如过采样或欠采样(或两者的组合)，要么在算法级别上通过选择需要深入了解Auto-Sklearn中使用的算法的归纳偏差来解决它。我不太确定如何处理这个问题。有没有可能直接在Auto-Sklearn中解决不平衡问题，或者我是否需要使用不平衡学习等提供的重采样策略？模型计算完成后，应使用哪种评估指标？从sklearn==0.22.1开始，就可以使用多个类的roc_auc_score。但是，Auto-Sklearn仅支持
浏览 2提问于2020-02-21得票数 2
2回答
当使用不平衡的数据集(例如，欺诈检测)执行分类(例如，逻辑回归)时，是最好在过度采样少数类之前对特征进行缩放/zscore/标准化，还是在缩放特征之前平衡类？
其次，这些步骤的顺序是否会影响最终如何解释特性(当使用所有数据scaled+balanced来训练最终模型时)？
下面是一个例子：
标度第一：
将数据分割成列车/测试折叠
使用所有培训(不平衡)数据计算平均值/std；使用这些计算来缩放培训数据
对培训数据中的少数族裔类进行过抽样(例如，使用SMOTE)
训练数据拟合logistic回归模型
使用平均值/std计算来缩放测试数据
用不平衡的测试数据预测类；评估ac
浏览 0提问于2018-01-21得票数 7
1回答
我已经了解到，图像数据的测试集可以通过一种名为Test Time Augmentation的方法进行扩充
在我研究了它之后，我想知道结构化或非图像数据的测试集是否也可以扩充。
如果不能，为什么这种方法只能在图像数据上执行？
提前谢谢你
浏览 1提问于2019-07-01得票数 0
我正在尝试在不平衡的数据集(97% / 3%)上拟合XGBRegressor()并评估结果，但是在生成正确的评估指标方面存在问题。
我选择SMOTE对我的目标变量进行过采样。
X = multiSdata.filter(['col1', 'col2','col3','col4', 'col5','col6','col7','col8',
'col9','col10','col11&#
浏览 49提问于2019-11-04得票数 0
在阅读了关于随机抽样、随机过抽样和SMOTE的文章之后，我试图了解在Logistic回归或随机森林的SKlearn包中默认实现使用了什么方法。我检查了文档
平衡模式使用y值自动调整权重，与输入数据中的类频率成反比，如n_samples / (n_classes * np.bincount(y))
我无法理解它下的样本多数类或超过样本少数类来创建平衡集。
浏览 1提问于2018-05-03得票数 2
回答已采纳
3回答
我有一个包含4个类的数据集，其实例数如下：
0类: 13175
第1类: 82
第2类: 75
第3类: 121
已经应用了几种来自Python不平衡-学习API的次采样和过采样方法，但是没有一个对所有类都有很好的性能。我已申请：
欠采样: CondensedNearestNeighbour，EditedNearestNeighbours，NeighbourhoodCleaningRule，RandomUnderSampler。
过度取样: SMOTE，ADASYN
Class_weight:我的网格搜索中的“平衡”参数选项
肋间库，但它不能处理两个以上的类。
但我没有成功。你能提出解决这个问
浏览 0提问于2017-05-04得票数 2
1回答
生成人工数据扩展学习集
、、、、
我有包含42个实例(X)和最后一个Y的数据集，我想在其中执行LASSO regression.All是连续的和数字的。由于样本量小，我想把它扩大。我对用于扩展不平衡数据集的SMOTE算法有一定的了解。在没有不平衡的情况下，我的情况有什么可用的吗？
浏览 0提问于2020-08-21得票数 1
1回答
我的问题涉及SMOTE类引起的值错误。
预期n_neighbors <= n_samples，但n_samples = 1，n_neighbors =6
# imbalanced learn is a package containing impelementation of SMOTE
from imblearn.over_sampling import SMOTE, ADASYN, RandomOverSampler
from imblearn.pipeline import Pipeline
# label column (everythin except the firs
浏览 0提问于2019-05-07得票数 3
回答已采纳
1回答
保留一次交叉验证的过采样
、、、、
我正在处理一个极不平衡的数据集，总共有44个样本用于我的研究项目。这是一个二进制分类问题，具有3/44的少数类样本，我正在使用Leave One Out Cross Validation。如果我在LOOCV循环之前对整个数据集执行SMOTE过采样，则ROC曲线的预测精度和AUC分别接近90%和0.9。然而，如果我只对LOOCV循环中的训练集进行过采样，这是一种更符合逻辑的方法，ROC曲线的AUC降到了0.3
我还尝试了精确召回曲线和分层k折交叉验证，但在循环外部和内部过采样的结果中面临类似的区别。请建议我在什么地方进行过抽样，如果可能的话，还要解释一下区别。
循环内的过采样：
i=0
acc_
浏览 1提问于2019-06-13得票数 0
4回答
我得处理一个小数据集。我认为我应该利用重放法来扩大种群，提高我的回归算法的性能。我听说过SMOTE，但它用于不平衡数据集中的分类。是否有任何方法来创建小型数据集的合成数据？谢谢。
浏览 0提问于2019-08-01得票数 0
我有一个关于这个话题。的后续问题
我一直在使用决策树和随机森林算法为组织做一个预测成功(1)或失败(0)的项目。
我的数据集有少数类型的成功，我希望使用SMOTE或ADASYN对其进行升级。
我知道这个职位中提到的推理适用于通过复制进行的平滑和随机重采样，但这是否也适用于通过ADASYN进行的过采样？由于我在ADASYN下引入了更多的随机性来合成新的观测，所以也许相关性可能更低？换句话说，使用ADASYN是否可以在分割之前对培训和测试数据进行重采样，甚至是重新抽样？
我看到了一篇研究论文，该论文首先应用了列车测试分割，然后在测试数据集和训练数据集中分别使用ADASYN对少数类进行了抽样。这种方
浏览 0提问于2020-12-27得票数 1
我正在处理一个不平衡的数据集，并希望使用scikit的gridsearchcv进行网格搜索来调整模型的参数。为了对数据进行过采样，我想使用SMOTE，我知道我可以将其作为管道的一个阶段，并将其传递给gridsearchcv。我担心的是，我认为smote将同时应用于训练和验证折叠，这不是你应该做的。不应对验证集进行过采样。整个流水线将应用于两个数据集拆分，这对吗？如果是，我如何才能扭转局面呢？提前谢谢你
浏览 0提问于2018-05-09得票数 27
回答已采纳
我一直在使用forestFloor包来可视化随机森林模型结构。在我尝试对caret包中的随机林输出使用forestFloor()之前，一切都很顺利。我需要为我的数据集使用caret而不是randomForest，因为我有严重不平衡的类，所以使用SMOTE采样策略。我修复了一些问题，将keep.inbag=TRUE和keep.forest=TRUE传递给caret::train，然后找到隐藏在train类对象$finalModel中的randomForest对象。
我仍然得到错误：Error in eval(substitute(expr), envir, enclos) : index out
浏览 11提问于2017-01-12得票数 2
回答已采纳
1回答
我有一个不平衡的数据集，我使用smote对少数类进行过采样，而对多数类进行欠采样。现在，我想使用模型的predict_proba检查测试AUC。
我有两个问题: 1.如果我比较AUC，我必须校正概率吗? 2.我如何校正它(欠采样和过采样的组合！)
浏览 40提问于2019-11-22得票数 0
2回答
我使用SMOTE函数过采样我的稀疏数据集，它包含大约98%的0和2%的数据。
from imblearn.over_sampling import SMOTE
import os
import pandas as pd
df_input= pd.read_csv('input_tr.csv',index_col=0)
train_X=df_input.ix[:, df_input.columns != 'row_num']
df_output=pd.read_csv("output_tr.csv",index_col=0)
train_y=df
浏览 4提问于2017-08-29得票数 1
2回答
我创建了一个预测数据的分类模型，问题是这两个类是高度不平衡的。
我有个问题。我创建了一个预测数据的分类模型，问题是这两个类是高度不平衡的。所以，我用SMOTE+ENN技术来处理它。在将数据分成训练集和测试集之前，我应用了SMOTE+ENN。原因是SMOTE生成合成数据来平衡类。我认为在拆分数据之前执行SMOTE+ENN将为数据创建一个有代表性的状态。
目前，我正在为一篇期刊文章进行研究，我无法修改模型。我唯一能做的就是在分割培训和测试数据之前对为什么执行SMOTE+ENN提供支持性的研究或推理。你能帮我提供一些支持这种方法的论据或理由吗？
例如:我能否提供以下理由：“在拆分数据之前执行SMOT
浏览 0提问于2023-06-02得票数 0
1回答
我正在处理非常不平衡的数据集，我使用了SMOTEENN (SMOTE+ENN)来重新平衡它，下面的测试是使用Random Forest Classifier进行的：
我在使用SMOTEENN之前的训练和考试成绩：
print('Train Score: ', rf_clf.score(x_train, y_train))
print('Test Score: ', rf_clf.score(x_test, y_test))
Train Score: 0.92
Test Score: 0.91
在使用SMOTEEN之后：
print('Train Scor
浏览 0提问于2021-06-11得票数 1
1回答
我需要一些建议来提高我的模型的准确性。
训练数据的形状为：(166573，14)
📷
它有所有int列和float列。我已经删除了claims_daysaway列，因为大多数值都是NaN，并将Nan值替换为mean列。
X_train = train.drop(['outcome','testindex','claims_daysaway'], axis=1)
y_train = train['outcome']
📷
由于值在不同的尺度上，我使用StandScaler()对值进行标准化。
📷
此数据集高度不平衡。
列车“结果”.v
浏览 0提问于2019-04-21得票数 1
1回答
我有管道：
np.random.seed(42)
tf.random.set_seed(42)
pipeline = Pipeline([
('smote', SMOTE()),
('under',RandomUnderSampler()),
('cl', KerasClassifier(build_fn=create_model, verbose=0))
])
param_grid_pipeline = {
'smote__sampling_strategy':[.3],
's
浏览 3提问于2020-05-04得票数 1
回答已采纳
1回答
我正在尝试用RandomUnderSampler()和SMOTE()来实现过采样和欠采样的结合.
我正在处理loan_status数据集。
我已经做了以下的分裂。
X = df.drop(['Loan_Status'],axis=1).values # independant features
y = df['Loan_Status'].values# dependant variable
这就是我训练数据的分布情况。
这是我试图执行的用于类平衡的代码片段。
from imblearn.over_sampling import SMOTE
from
浏览 10提问于2022-04-08得票数 1
我目前正在处理一个不平衡的数据集，为了处理不平衡问题，我计划将datatset和ADASYN与RandomUnderSampler结合起来，并且还计划将独立的欠采样、过采样、SMOTE & ADASYN (总共6种采样方式，我将作为GridSearchCV中的paramenter传递)。我为此创建了两条管道。
Smote_Under_pipeline = imb_Pipeline([
('smote', SMOTE(random_state=rnd_state, n_jobs=-1)),
('under', RandomUnderSa
浏览 1提问于2021-01-10得票数 1
回答已采纳
1回答
不平衡数据的首选方法
、、、
我正在建立一个目标变量不平衡的二进制分类模型(13%的1级和87%的0级)。我正在考虑以下三种方法来处理数据不平衡
Option1:创建一个平衡的训练数据集，其中目标变量的分割率为50% / 50%。
备选方案2:将数据集采样为-is(即87% / 13%拆分)，并使用过采样方法(例如SMOTE)将目标变量平衡为50% / 50%拆分。
选项3:使用具有适当超参数的学习方法来解释数据不平衡的原因，例如: scale_pos_weight in XGBoost，class_weight in LGBMRegressor，class_weight in RandomForestClassifier
浏览 0提问于2020-04-14得票数 1
1回答
事情是这样的，我有一个不平衡的数据，我正在考虑使用平滑转换。然而，当使用sklearn管道时，由于缺少值，我会得到一个错误。
这是我的密码：
from sklearn.pipeline import Pipeline
# SELECAO DE VARIAVEIS
categorical_features = [
"MARRIED",
"RACE"
]
continuous_features = [
"AGE",
"SALARY"
]
features = [
"MARRIED&
浏览 0提问于2020-09-19得票数 1
2回答
我正在处理一个非常不平衡的数据集，我使用了SMOTE (仅用于培训数据)。不过，我不明白为何打击前后的结果是一样的。
所附的混淆矩阵在击打前后是相同的。
这正常吗？对这个矩阵的解释是什么？
📷
编辑:这是我的分类报告，您可以看到其中一个类被模型忽略了：
📷
浏览 0提问于2021-06-06得票数 0
我的工作是文本分类，在这里，我使用多项式朴素贝叶斯分类器来预测文章标题到他们各自的主题类别。它们都存储在一个熊猫数据框架中，并且都是文本列。然而，它们是两类，分别包含5万条记录和3万条记录。因此，我需要对数据进行过采样，然后应用该算法。当我做过抽样时，它降低了模型的准确性得分，给了我15%。请告诉我如何改进它。
X_train, X_test, Y_train, Y_test=train_test_split(df['Title'],df['Subjects'], test_size=0.2,random_state=42)
count_vect = Coun
浏览 1提问于2019-08-24得票数 1
当我使用SMOTE对四类分类问题中的三类进行过采样时，针对少数类的Prec、Recall和F1度量仍然很低(~3%)。我的数据集中有32个分类变量和30个连续变量。所有的分类变量已被转换为二进制列使用一热编码。此外，在进行过采样处理之前，我将使用Iterativeimputer计算所有缺失的值。
关于分类器，我使用的是logistic回归，随机森林和XGboost。能告诉我你对这个的想法吗？对多类和高度不平衡的数据集进行过度抽样有任何建议吗？
浏览 0提问于2019-08-09得票数 0
1回答
我有这样一个不平衡的数据集：
df['y'].value_counts(normalize=True) * 100
No 92.769441
Yes 7.230559
Name: y, dtype: float64
数据集由13194行和37个特性组成。
我曾多次尝试通过过采样和欠采样来平衡数据，尝试改进我的模型的性能，使用不同的分数、超参数调整等方法进行异常值检测的一类支持向量机( SVM )。其中一些方法稍微提高了性能，但没有我想要的那样多：
应用RandomUnderSampling：
from imblearn.under_sampling import
浏览 0提问于2021-01-22得票数 4
回答已采纳
5回答
我在Python程序中使用scikit-learn来执行一些机器学习操作。问题是我的数据集存在严重的不平衡问题。
有没有人熟悉scikit-learn或python中不平衡的解决方案？在Java中有SMOTE机制。在python中有类似的东西吗？
浏览 1提问于2013-02-25得票数 40
我正在处理高度不平衡的大型数据集。我在试着学习 smote_nc = SMOTENC(categorical_features=[df.dtypes=='category'], random_state=0)
X, y = smote_nc.fit_resample(X,y) 但是掉进了MemoryError MemoryError: Unable to allocate 15.2 GiB for an array with shape (190824, 10724) and data type float64 有没有办法将此操作分块并将平衡结果保存到datafram
浏览 29提问于2020-12-27得票数 0
我正在做二进制分类，我当前的目标类由:坏: 3126好:25038组成
所以我希望坏的(少数)例子的数量等于好的例子的数量(1:1)。所以Bad需要增加大约8倍(额外的21912个SMOTEd实例)，而不是增加大多数(好的)。我正在尝试的代码不会像目前一样保持好的数量不变。
我尝试过的代码：
示例1：
library(DMwR)
smoted_data <- SMOTE(targetclass~., data, perc.over=700, perc.under=0, k=5, learner=NULL)
示例1输出:坏:25008好:0
示例2：
smoted_data <- S
浏览 3提问于2016-04-15得票数 6
3回答
我是机器学习和深度学习的新手。我想在训练前澄清我对train_test_split的疑虑。
我有一个大小为(302, 100, 5)的数据集，
(207,100,5)属于class 0
(95,100,5)属于class 1.
我想使用LSTM执行分类(从，序列数据)
由于这些类没有相同的分布集，我如何分割用于培训的数据集？
选项1：考虑整个数据[(302,100, 5) - both classes (0 & 1)]，对其进行洗牌，train_test_split，进行培训。
选项2 :将两个类数据集平分[(95,100,5) - class 0 & (95,100,5) -
浏览 0提问于2019-07-22得票数 0
回答已采纳
我想要平衡一组训练数据，它具有以下特征，并且在X_train和y_train中是分开的。我的班级的百分比大致如下：
class A: 54%
class B: 45%
class C: 1%
所以我想对我的数据重新采样，如下所示：
class A: 49%
class B: 41%
class C: 10%
我想使用的库是：
并使用Smote作为平衡算法。我的问题是，我不知道如何使用这个库。我知道Smote算法，但我在使用这个库时遇到了一些困难。有什么帮助吗？
谢谢
浏览 25提问于2020-02-28得票数 1
与SMOTE不同的是，RandomUnderSampler选择数据的一个子集。但我不太有信心使用它作为分类数据。
那么，它真的适用于分类数据吗？
浏览 6提问于2022-05-22得票数 0
回答已采纳
我正在使用Xgboost进行分类。我的y是0或1(真或假)。我有分类和数字的特点，所以理论上，我需要使用SMOTE-NC而不是SMOTE。然而，我得到了更好的结果与打击。
有人能解释一下为什么会发生这种事吗？
此外，如果我使用一些编码器(BinaryEncoder，一个热，等等)对于分类数据，我需要在编码后还是之前使用SMOTE？
我复制了我的示例代码(x和y在清理之后，包括BinaryEncoder)。
_train, X_val, y_train, y_val = train_test_split(x, y, test_size=0.2, random_state=1)
smt = SM
浏览 0提问于2019-09-24得票数 6
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
