我想用GBTClassifier对不平衡的数据集执行二进制分类。我没有看到spark documentation允许这样做的任何选项。有没有人知道如何通过指定我们的数据不平衡的事实来使用GBTClassifier？ 谢谢 注:我使用的是spark 2.3.2
浏览 33提问于2019-05-17得票数 0
在处理班级不平衡问题时，惩罚大多数班级是我在建立机器学习模型时遇到的一种常见做法。因此，我经常使用类权重后再抽样.LightGBM是一种有效的基于决策树的框架，被认为能很好地处理类的不平衡。因此，我使用LightGBM模型来解决二进制分类问题。数据集在34:1的比例上存在较高的类不平衡。
我最初使用的是带有“类权重”参数
浏览 7提问于2020-04-10得票数 5
对于二进制分类问题，我有一个稍微不平衡的数据集，正负比为0.6。最近，我从这个答案中了解到了auc的度量：，并决定使用它。此外，该链接提到，AUC应该使用，只有当你不关心的概率，只关心排名。
然而，由于我使用的是二进制逻辑目标，我认为我应该关心概率，因为我必须为我的预测设定一个门槛。xgboost参数调优指南还建议了一种处理类不平衡的替代方法，方法是不平衡
浏览 0提问于2017-01-10得票数 5
3回答
教程问题以二进制或多类分类的形式出现，其中所有的数据都有适当的标签。在实际应用程序中，有不属于任何类别且不能分类的传入数据。我们如何处理这些属于“未知”类别的数据？“未知”的宇宙可能远不止“已知”。因此，“未知”的数据可能过多，导致阶级不平衡。我们如何训练模型来处理“未知”数据</em
浏览 0提问于2018-09-02得票数 5
回答已采纳
2回答
假设我有一个二进制分类问题，而我的数据是不平衡的，我可以使用任何算法建立一个分类模型，并使用过采样或欠采样技术来处理类的不平衡。
如果我要独立地建立两个独立的模型，每个模型只为一类数据训练。这会是正确的做法吗？
浏览 0提问于2018-08-09得票数 0
1回答
我有一个关于处理多标签分类问题的方法的问题。由于单个标签问题可以被描述为二进制分类(如果有两个标签)或多类分类问题(如果有多个标签，即labels>2)，目前的转换方法似乎都将多标签问题转化为多个二进制问题。但这将导致数据不平衡的问题，因为负类可能比正类有更多的文档。
因此，我的问题，为什么不转化为多类问题，然后应用直接多类分类</
浏览 5提问于2016-03-02得票数 1
3回答
在数据挖掘中，我使用机器学习算法来解决二进制分类问题。好样品与坏样品的比例高达500:1。
可以使用哪些方法来解决不平衡数据的二进制分类？
浏览 2提问于2019-10-15得票数 0
1回答
克利夫兰数据集分类的平衡问题
、、、、
我质疑过著名的克利夫兰心脏病数据集将其对象命名为的方式
此数据集非常不平衡(“无疾病”类的许多对象)。我注意到，使用此数据集的许多论文用于组合所有其他类，并将其简化为二进制分类(疾病与无疾病)。是否有其他方法来处理这个不平衡的类问题，而不是减少类的数量以获得一个分类器的好结果？
浏览 0提问于2019-07-23得票数 0
回答已采纳
1回答
我处理的文本分类使用伯特预先训练的模型与多类不平衡的数据集。当我们使用0.5个默认的分类阈值时，我们得到了一个约为0.7的f1测度。但是我们已经注意到，当我们降低分类阈值时，我们获得了更好的性能。如果我们使用不同的二进制分类器，每类一个作为正，我们有不同的不平衡率。我们注意到，最优分类
浏览 0提问于2023-03-09得票数 1
‘的情感分析”。有五种不同的情绪-极端消极，消极，中立，积极和极端积极。因此，这基本上是NLP问题，因为我必须处理文本数据。哪种算法对这些数据最有效，背后的原因是什么。另外，我可以使用哪些分类度量来检查模型的性能以及选择特定度量的原因？
浏览 0提问于2021-09-25得票数 1
我正在研究一个二进制分类问题，其中数据集有大约5%的正类样本。我拆分了数据集，70%用于培训，30%用于测试。我只使用了一次测试数据来报告模型的性能。由于这种不平衡，我在培训数据集中使用了SMOTE对少数族裔类进行重采样。此外，我还根据如何提升样本、简历和网格搜索的建议，使用CV和网格搜索来优化模型性能，以避免数据泄漏。假设我正确地处理了培训过程，我想知道
浏览 0提问于2022-08-17得票数 0
1回答
我正在研究一个高度不平衡的数据集的二进制分类问题，我想知道是否有人尝试过使用Spark的MLlib实现特定的技术来处理分类问题中的不平衡数据集(例如)。我正在使用MLLib的随机森林实现，并且已经尝试了对较大的类进行随机欠采样的最简单方法，但它的效果并不像我预期的那样好。
如
浏览 89提问于2015-10-28得票数 34
回答已采纳
似乎没有办法在pyspark中设置GBTClassifier模型的阈值。它确实出现在explainparams()中，但不会出现在构造函数或pyspark的set函数中。如果有，请建议如何做，如果没有-我如何调整我的模型，以更好地预测我的二进制分类问题中的类？
浏览 0提问于2019-01-01得票数 1
我正在对不平衡的数据集执行二进制分类任务。，使用：sklearn.metrics.roc_auc_score(y_true, y_score, average='macro')，和我计算ROC，有两个问题：
我不确定平均macro是否受类不平衡的影响，在这种情况下(对不平衡类进行分类时)最佳平均是什么？有没有参考的方法，说明如何科学-学习计算中华民国AUC与不同的</
浏览 2提问于2016-09-19得票数 0
我想将SMOTE应用于包含二进制、分类和连续数据的不平衡数据集。有没有一种方法可以将SMOTE应用于二进制和分类数据？
浏览 2提问于2017-12-05得票数 11
回答已采纳
3回答
我有一个大约20000个训练样本的数据集，我想对其进行二进制分类。问题是数据集严重不平衡，只有大约1000个属于正类。我正在尝试使用xgboost (in R)来做我的预测。我试着阅读了这篇关于如何在xgboost中调优参数的文章。
但它只提到了哪些参数有助于不平衡的数据集，而没有提到如何调整它们。如果任何人对调整xgboost的学习参数以<em
浏览 2提问于2016-12-05得票数 8
回答已采纳
1回答
我正在研究不平衡的学习问题。“不平衡”是指数据集在其类别之间表现出不均匀的分布，例如，您给出了一个具有1000个示例的二进制分类问题。大多数分类算法没有考虑数据集的潜在分布，因此没有处理这种“不平衡的学习问题”。因为如果他们把所有的例子都归为0级，那么他们就有90%的准确率。
类不平衡分类<e
浏览 0提问于2017-10-22得票数 0
我正在训练一个神经网络作为文本分类的二进制分类器。数据非常不平衡，其中真:假的比率约为100:10000。
直觉上，使用所有的负样本会阻止分类器学习无效模式(例如，可能使用欠采样来学习)。我是否低估了不平衡对分类器性能的影响？
浏览 0提问于2019-05-31得票数 1
1回答
微观平均和宏观平均是多类分类的度量标准.然而，对于数据不平衡时的二值分类，微观精度和宏观精度似乎有不同的结果。我的问题是:当类不平衡时，在二进制分类问题中使用微观和宏观精度是否有意义？
📷
浏览 0提问于2020-11-09得票数 3
回答已采纳
我正在使用Roberta训练句子对二进制分类模型，但是这个模型不能学习阳性类(带有标签1的类)。我的数据集不平衡，因此：0- 140623验证数据-一三八四
在验证数据上，训练结果为0真阳性和0假阳性。在评估过程中，我计算了宏观F1，但是如何处理训练中的班级不平衡呢？有几篇文章提到伯特关注失衡本身。但在我
浏览 7提问于2022-06-22得票数 -1
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
腾讯会议活动推荐
腾讯云开发者
