1回答
我想知道是否有任何方法可以使用pyspark对数据进行过采样。 我有10个类的目标变量的数据集。到目前为止，我正在像下面这样对每个类进行过采样以进行匹配 transformed_04=transformed.where(F.col('nps_score')==4)
transformed_0
浏览 121提问于2020-07-03得票数 0
与SMOTE不同的是，RandomUnderSampler选择数据的一个子集。但我不太有信心使用它作为分类数据。
那么，它真的适用于分类数据吗？
浏览 6提问于2022-05-22得票数 0
回答已采纳
3回答
这里有256个目标类。问题是数据集是高度不平衡的。对于目标X1，它有171793条记录，X2有101575条，Xn -1有2条，Xn有2条。考虑目标值计数是按递减顺序排列的。为了处理不平衡的数据集，对多类(比如3类)进行过采样和欠采样。但在我的例子中，有256个类。如何在这种情况下对数据集进行
浏览 0提问于2019-09-28得票数 2
3回答
我想问一下，目前的数据集API是否允许执行过采样算法？我处理的是高度不平衡的类问题。我在想，在数据集解析(即在线生成)过程中对特定类进行过采样会很好。我已经看到了rejection_resample函数的实现，但是这会删除样本而不是复制它们，并且它会减慢批处理的生成速度(当目标分布与初始分布有很大不同时)。我想要实现的事情是:举
浏览 1提问于2017-11-11得票数 11
我正在研究一个二进制分类机器学习问题，并且我正在尝试平衡训练集，因为我有一个不平衡的目标类变量。我正在使用Py-Spark来构建模型。2926上面的代码执行欠采样但是，我不确定如何执行上采样。我还尝试使用示例函数，如下所示：
train_up = train_initial.sam
浏览 0提问于2018-11-13得票数 0
当我使用SMOTE对四类分类问题中的三类进行过采样时，针对少数类的Prec、Recall和F1度量仍然很低(~3%)。我的数据集中有32个分类变量和30个连续变量。所有的分类变量已被转换为二进制列使用一热编码。此外，在进行过采样处理之前，我将使用Iterativeimputer计算所有缺失的值
浏览 0提问于2019-08-09得票数 0
1回答
我正在一个PySpark二进制分类管道上工作，我想在其中使用过采样阶段执行CrossValidation (我的数据集不平衡)。问题是过采样阶段也是在测试数据集上执行的。我查看了spark文档和源代码，没有办法跳过PipelineModel中的一个阶段。我的解决方案是覆盖原始类的_transform方法，以便跳过卵子采样阶段。__class__ = CustomPipelineModel
Custo
浏览 1提问于2019-11-16得票数 1
1回答
忽略过采样中的列
、、
我有六个特性列和一个目标列，这是不平衡的。我是否可以像ADASYN那样进行过采样，或者只为X1、X2、X3、X4四列创建合成记录，方法是复制与常量(月份、年份)完全相同的记录。目前的一项：预期的记录:它可以通过对目标类“1”进行过采样来创建合成记录，但是记录的数量可以增加，但是添加的记录应该有月份和
浏览 2提问于2020-06-23得票数 0
回答已采纳
1回答
在特征选择之前或之后采样
、、、
我对特征选择、采样和交叉验证的顺序感到困惑，我的数据集有468行和23000列，其中269个属于I类，199个属于II类，当拆分训练和测试时，训练.Due中的数据有215个I类和159个II类，以减少样本数量我不得不对训练数据应用或者我应该在这里应用采样，这会导致数据丢失，从而导致更小的样本。I)先应用过采样，然后应用特征选择技术，然后进行交叉验证:在交叉验证过程
浏览 133提问于2020-08-12得票数 1
1回答
我有一个带有1100 samples的数据集，目标类isReturn，有300 isReturn='False'
如何使用PROC SURVEYSELECT对300isReturn='False'进行过采样，以便使用800 isReturn='False'来平衡数据集？
浏览 2提问于2014-05-21得票数 0
1回答
我有一个不平衡的数据集，我使用smote对少数类进行过采样，而对多数类进行欠采样。现在，我想使用模型的predict_proba检查测试AUC。2.我如何校正它(欠采样和过采样的组合！)
浏览 40提问于2019-11-22得票数 0
较少是(6%)和较多(94%)的数据集。所有的分类算法(ANN，C4，CART)在SPSS中都能预测出测试集中的所有值为No。我做什么好？
数据大约有2500行和85列。
浏览 0提问于2016-08-06得票数 0
回答已采纳
我试图解决一个多类不平衡的分类问题。为此，我使用SMOTE表示过采样，而OSS用于过采样.但我有一个疑问，因为我正在研究多类，所以我必须把它转换成二进制分类。所以我们可以用OVA/OAA来转换它。那么，如何使用OVA/OAA同时对同一数据集进行过采样和欠采样？
浏览 0提问于2019-01-28得票数 2
1回答
我有一个977行的小数据集，类比例为77:23。我的输入变量本质上是绝对的。下面是我试过的。然而，我的问题是，当只有如下所示的范畴变量时，SMOTE如何工作/重采样？Admin staff NZ default
FEMALE MS
浏览 0提问于2022-02-20得票数 6
回答已采纳
我希望使用库imblearn.over_sampling在python中使用SMOTE算法执行过采样。我的输入数据有四个目标类。我不想过度抽样所有的少数民族阶级分布，以匹配多数阶级分布。我想以不同的方式对我的每个少数族裔班级进行过抽样。有谁知道我们如何定义一本字典，用SMOTE对数据进行不同的过度采样？
浏览 14提问于2020-09-12得票数 0
3回答
我希望使用来自RandomOverSampler模块的imbalanced-learn函数来对多个类的数据执行过采样。下面是我的三个类的代码：from imblearn.over_sampling import RandomOverSampler
data_res, label_re
浏览 3提问于2017-08-06得票数 3
1回答
关于折叠变量和过采样少数类的问题
、、、、
我有9个类组成的不平衡数据，我计划将它们合并成两个类。我根据这九个班在测试、验证和训练集之间进行分层(比例)抽样。现在，当我对训练数据进行过采样时，是在折叠前对这九个类进行过采样，还是应该先折叠它们，然后再过采样？一般来说，我相信过度抽样然后崩溃会更好，但培训数据中的一些课程很小(5例)，而另一些则相当大(1000例)。因此，我
浏览 0提问于2023-02-08得票数 0
这是我的第一个项目，我正在与预定义的估计。
我有一个非常不平衡的数据集，其中肯定的结果约占总数据的0.1%，我怀疑这种不平衡会对我的模型的性能产生很大的影响。作为解决这个问题的第一次尝试，因为我有大量的数据，为了创建一个平衡的数据集，我想扔掉我的大部分负面信息。我可以看到两种方法:对数据进行预处理，只保留千分之一的底片，然后将其保存在一个新文件中
浏览 0提问于2018-04-09得票数 5
回答已采纳
对不平衡数据进行逻辑分类器的拟合。我的目标变量是5% 1 95% 0。因此，我认为最好使用PR-AUC来评估模型，而不是使用ROC-AUC。我得到了0.1的PR-AUC，这总比什么都没有好。另一种可能提高性能的方法是降低对多数类的采样(或者对少数类或某些组合进行上采样，但让我们坚持向下采样)。
浏览 0提问于2022-01-12得票数 0
回答已采纳
2回答
我有多类分类问题，数据严重倾斜。我的目标变量(y)有3个类，它们在数据中的百分比如下：- 0=3% - 1=90% - 2=7%
我正在寻找包在R，可以做多类过采样，欠采样或这两种技术。PS:我尝试在R中使用ROSE包，但它只适用于二进制类问题。
浏览 1提问于2019-02-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
