我有一个带有以下参数的LightGBM分类器： lgbmodel_2_wt = LGBMClassifier(boosting_type='gbdt',reg_lambda=0.1, verbose= -1) 以下是模型拟合函数调用_1's binary_logloss: 0.366346 根据上面的图表，最好的AUC得分是0.88844。
浏览 95提问于2020-04-01得票数 0
我对逻辑回归进行了网格搜索，并将评分设置为'roc_auc‘。grid_clf1.best_score_给了我0.7557的auc。在那之后，我想画出最好的模型的中华民国曲线。我看到的中华民国曲线的AUC是0.50，我一点也不明白。 'LR__pe
浏览 0提问于2019-04-04得票数 0
回答已采纳
2回答
如何比较两种分类算法？
、、、
当我使用roc_auc作为我的记分方法时，我得到xgboost为0.75，光梯度提升为0.76。很明显他们很接近！我如何评估它们在统计上是否不同？True)print('p-value:', p)
输出是:x-平方:2.25p-值: 0.13361440253771584，所以我不会拒绝模型性能相等的我见过一些关于使用“抚恤金测试”等的线索。但我不知道如何解释这些，而且我也
浏览 0提问于2020-06-18得票数 1
1回答
我有一个包含3961个不同行和32列的训练数据，我希望将其适合随机森林和梯度提升模型。在训练时，我需要微调模型的超参数，以获得尽可能好的AUC。为此，我使用Scipy中描述的盆地跳跃算法最小化数量1-AUC(Y_real，Y_pred)；因此我的训练和内部验证子样本是相同的。当优化完成后，我得到了随机森林的AUC=0.994，而
浏览 10提问于2021-01-20得票数 0
1回答
给定随机生成的数据(X)和响应(Y)，此代码将执行leave group out交叉验证1000次。因此，Y的每个条目都是CV迭代中预测的平均值。曲线下的计算面积应该为~0.5，因为X和Y是完全随机的。然而，这并不是我们所看到的。曲线下的面积通常明显高于0.5。X的行数非常少，这显然会导致问题。 ansMat[test,i]=as.numeric(predVe
浏览 8提问于2018-08-15得票数 1
我正在进行一个基于分类的项目，我根据不同的ML模型的训练精度、测试精度、混淆矩阵和AUC评分来评估它们。我现在只能理解我通过计算测试集(X_test)上的ML模型的准确性而得到的分数与AUC分数之间的差异。
如果我是对的，这两个指标都会计算出一个ML
浏览 7提问于2020-03-28得票数 0
回答已采纳
我的问题是，我获得了一个结果非常好的模型(训练和交叉验证)，但当我再次测试它(使用不同的数据集)时，出现了很差的结果。我猜在看图片时不存在过度拟合，对应于学习曲线(误差)、学习曲线(分数</e
浏览 4提问于2015-08-24得票数 1
1回答
模型选择采用5倍CV，部分数据作为外部测试/显示集。的最佳结果是使用以下hps：训练AUC = .962外部测试AUC = .870相反，第二次hp配置减少了训练集和测试集之间的差异，但测试性能
浏览 3提问于2021-09-30得票数 0
2回答
我有一个不平衡的分类问题。然后，我使用R包ROSE同时对Dataset A中的多数类进行了欠采样，并对少数类进行了过采样。这产生了一个平衡集(Dataset C)，其行数与Dataset A一样多。
我已经在数据集C和计算训练AUC上训练了我的模型。现在我想使用k倍交叉验证来估计(即不
浏览 0提问于2018-04-04得票数 1
1回答
这两个集合都包含20个自变量(年龄、体重等)，但只有train.csv数据集包含真正的死亡结果(活的为0，死亡的为1)。训练数据集的形状为(650，21)，而测试数据集的形状为(200，20)。我也在使用python，而且数据集不平衡，在训练集中只有大约30人死亡。
我必须使用训练集对模型进行训练，并使用测试数据集预测结果，以及显示性能表等内容。
浏览 0提问于2022-01-05得票数 0
回答已采纳
1回答
我正在使用kaggle的HR Attrition数据集(在班级竞赛中)，它包含1628行和27列。大多数功能在本质上是分类的，我使用随机森林并使用Stratified K fold (10折)进行验证，我的验证AUC相当高，约为0.98-99。在提交时，我无法获得超过0.85的AUC，这是一个巨大的偏差。我尝试了很多方法，比如PCA和特征选择，但我的验证并不可信，提交分数<
浏览 3提问于2020-06-15得票数 0
我正在使用我的测试集作为验证集。我使用了类似于的方法fpr, tpr, _ = roc_curve(test_label, test_prediction)roc_auc = auc(fpr, tpr)
我得到了0.60的auc。据我所知，他们使用不同的
浏览 0提问于2018-09-07得票数 6
回答已采纳
1回答
我在使用tensorflow库的AUC时遇到了问题。我每批训练我的模型(卷积神经网络)(我不使用验证集)，在每个时代之后，我使用一个独立的测试集来获得我的评估。问题在AUC的评价中。在每一批中，我计算训练集的AUC/准确度/丢失/精确/召回/F1_得分，然后汇总这些分数<
浏览 0提问于2018-01-27得票数 0
3回答
我将我的数据集与随机森林分类器相匹配，发现模型的性能在不同的训练和测试数据分割集之间会有所不同。正如我所观察到的，在ROC曲线下，AUC将从0.67上升到0.75 (在相同的参数设置下用相同的模型进行拟合)，下垫范围可能会更宽。那么，这种现象背后的问题是什么
浏览 0提问于2017-01-05得票数 2
回答已采纳
2回答
我已经定义了一个XGBoost模型，并想要调优它的一些超参数。
我正在使用GridSearchCV找到最好的参数。但是，我也尝试在整个训练数据集上拟合模型，并且我注意到“roc_auc”性能度量比我使用网格搜索时要高。我很惊讶，因为我期待着网格搜索能够更好地执行。我想我错过了直觉。我的理解是，对于网格搜索交叉验证，对于k折叠，给定来自param_grid的参数值，gridsearchcv分别在折叠上拟合</e
浏览 0提问于2020-05-12得票数 0
1回答
我尝试使用H2O为二进制分类问题创建了一些机器学习模型，测试结果相当不错。但后来我检查了一下发现了一些奇怪的东西。出于好奇心，我试图打印测试集的模型预测。我发现我的模型实际上一直预测0(负)，但AUC约为0.65，精度不是0.0。然后，我尝试使用Scikit-learn来比较指标得分，结果(正如预期的)它们是不同的。Scikit学习得到了0.0的
浏览 12提问于2018-02-09得票数 3
回答已采纳
1回答
为什么交叉验证的性能比测试差？
、、、、
在下面的代码中，我用X_test (特性)和y_test (标签)数据拟合了一个LogisticRegressionCV模型。然后，使用该模型，我应用了10折的cross_val_predict来使用CV评估性能。我计算了两个不同的AUC分数，一个使用roc_auc_score方法进行预测，另一个使用auc方法进行概率计算。该模型使用相同的训练数据(在CV中使用)
浏览 52提问于2019-06-27得票数 1
我有一个不平衡的数据集，我使用XGBoost进行二进制分类。我使用下采样与目标和一个热编码的列车数据。对于测试数据，我曾经只使用编码，使其不平衡，并且曾经尝试使用平衡的测试数据集。不平衡测试数据的ROC AUC score值明显高于平衡测试数据。这怎麽可能？我觉得ROC AUC的分数不应该有什么不同吗？
浏览 0提问于2019-08-15得票数 1
我有一个名为yeast4的不平衡数据集。记录分为两类目标“积极”和“消极”。正类只占总比例的3%。我使用了kNN算法进行分类，我没有指定k，但我在训练数据上使用了5折交叉验证。我发现: auc_knn_none = 0.7062473。我很感兴趣地添加了一个过采样算法来提高模型的质量。所以我使用了SMOTE算法，而且我没有指定k ok kNN，我在训练数据上使用了5折交叉验证。但这次，我发现: auc_knn_smote = 0.56
浏览 9提问于2020-08-30得票数 0
1回答
2)创建一个模型-> logreg=LogisticRegression(random_state=41)4)拟合模型-> logreg_cv.fit(X_train_std,y_train)现在我的问题是，如何产生10000<e
浏览 0提问于2020-01-07得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
