LightGBM :模型拟合期间的验证AUC分数与相同测试集的手动测试AUC分数不同
LightGBM是一种基于梯度提升决策树（Gradient Boosting Decision Tree）的机器学习算法。它在模型拟合期间使用了一种称为LightGBM的特殊优化技术，该技术可以提高模型的训练速度和准确性。
在模型拟合期间，LightGBM使用了一种称为Leaf-wise的生长策略，与传统的Level-wise生长策略相比，它可以更快地找到最优的分裂点，从而加快了模型的训练速度。此外，LightGBM还使用了直方图算法来对特征进行离散化，减少了内存的使用和计算的复杂度。
由于LightGBM在模型拟合期间使用了特殊的优化技术，因此在验证AUC分数与手动测试AUC分数可能会有所不同。这是因为验证AUC分数是在模型训练过程中计算得出的，而手动测试AUC分数是在模型训练完成后使用相同的测试集进行计算的。
虽然验证AUC分数与手动测试AUC分数可能不完全相同，但它们通常会非常接近。验证AUC分数可以作为模型训练过程中的一个指标，用于评估模型的性能和调整模型的参数。手动测试AUC分数则可以作为最终模型在实际应用中的性能评估指标。
对于LightGBM的应用场景，它适用于各种机器学习任务，包括分类、回归和排序等。由于LightGBM具有高效性和准确性的特点，它在大规模数据集和高维特征下表现出色，特别适用于处理复杂的机器学习问题。
腾讯云提供了LightGBM的相关产品和服务，包括云机器学习平台（https://cloud.tencent.com/product/tiia）和云智能大脑（https://cloud.tencent.com/product/brain）等。这些产品和服务可以帮助用户快速搭建和部署基于LightGBM的机器学习模型，并提供丰富的功能和工具来支持模型的训练、调优和评估。
总结起来，LightGBM是一种基于梯度提升决策树的机器学习算法，它在模型拟合期间使用了特殊的优化技术，可以提高模型的训练速度和准确性。验证AUC分数与手动测试AUC分数可能会有所不同，但通常会非常接近。LightGBM适用于各种机器学习任务，腾讯云提供了相关产品和服务来支持LightGBM的应用。
相关·内容
1回答
如何提高使用LightGBM对项目进行排序的NDCG评分？
目前正在进行一个学校项目，该项目需要学习对每个查询的文档排序功能，我已经使用以下参数对我的模型进行了培训：
objective="lambdarank",
metric="ndcg",
与LGBMRanker一起使用。
最初，我的NDCG分数相当高，但是，通过对教师的正确验证集进行预测的排名，NDCG的分数大幅下降(0.78到0.5)。我调整了我的参数，以减少过度拟合，我还运行了一系列的F分数测试，相互信息测试和随机森林重要性从滑雪到选择功能。然而，我的NDCG评分仍然很低，我发现很难预测正确的NDCG
浏览 11提问于2021-10-07得票数 2
回答已采纳
1回答
为什么交叉验证的性能比测试差？
、、、、
在下面的代码中，我用X_test (特性)和y_test (标签)数据拟合了一个LogisticRegressionCV模型。 然后，使用该模型，我应用了10折的cross_val_predict来使用CV评估性能。我计算了两个不同的AUC分数，一个使用roc_auc_score方法进行预测，另一个使用auc方法进行概率计算。 #CV LOGISTIC REGRESSION
classifier = linear_model.LogisticRegressionCV(penalty='l1',class_weight='balanced', tol=0.01,
浏览 52提问于2019-06-27得票数 1
我正在使用LightGBM的eval_set特性来拟合我的模型。这样就可以提前停止所使用的估计器的数量。
callbacks = [lgb.early_stopping(80, verbose=0), lgb.log_evaluation(period=0)]
fit_params = {"callbacks":callbacks, "eval_metric" : "auc", "eval_set" : [(x_train,y_train), (x_test,y_test)], "eval_names" : [&
浏览 0提问于2022-01-16得票数 1
回答已采纳
1回答
我有一个包含3961个不同行和32列的训练数据，我希望将其适合随机森林和梯度提升模型。在训练时，我需要微调模型的超参数，以获得尽可能好的AUC。为此，我使用Scipy中描述的盆地跳跃算法最小化数量1-AUC(Y_real，Y_pred)；因此我的训练和内部验证子样本是相同的。
当优化完成后，我得到了随机森林的AUC=0.994，而对于梯度提升我得到了AUC=1。我是不是对这些模型过度拟合了？我怎么知道在训练过程中什么时候发生了过拟合？
浏览 10提问于2021-01-20得票数 0
1回答
我有两个数据集(train.csv)和(test.csv)围绕预测疾病的死亡结果。这两个集合都包含20个自变量(年龄、体重等)，但只有train.csv数据集包含真正的死亡结果(活的为0，死亡的为1)。训练数据集的形状为(650，21)，而测试数据集的形状为(200，20)。我也在使用python，而且数据集不平衡，在训练集中只有大约30人死亡。
我必须使用训练集对模型进行训练，并使用测试数据集预测结果，以及显示性能表等内容。然后，我必须将预测的结果放入一个新的.csv文件中提交，该文件将根据不同的数据集进行测试，并给我一个ROC/AUC评分。此提交必须具有与测试数据集相同的观察量，即200。
浏览 0提问于2022-01-05得票数 0
回答已采纳
我有一个带有以下参数的LightGBM分类器： lgbmodel_2_wt = LGBMClassifier(boosting_type='gbdt',
num_leaves= 105,
max_depth= 11,
learning_rate=0.03,
n_estimators= 5000,
categorical_feature=[
浏览 95提问于2020-04-01得票数 0
研究了确定性的GLM模型(OLS模型、Logistic回归模型、零膨胀模型等)与某些CART模型(随机森林模型、LightGBM模型、CatBoost模型等)之间的区别。这是基于随机预测的。
我听说，对于随机模型，我们应该分成训练和测试，以避免过度拟合，这在确定性模型中不会发生，因为它们使用线性规划来寻找最佳参数。
我想开始讨论一下。
我的看法是这是真的。确定性模型只是求解方程，不应过分拟合数据，与基于随机性的随机模型进行预测是不同的。
但我发现的是，每一门课程都说要分割每一个数据集，不管它是否是确定性的，都是独立的。
浏览 0提问于2021-09-22得票数 2
1回答
我有一个附带的项目，我正在用R来做信用评分(对于训练数据和测试数据，样本大小分别在16k和4k左右，另外还有两个20k的数据批用于过期验证)和不平衡的类(3.5%的坏客户类型)。
我正在尝试制作各种模型，以便有足够的模型来制作组件，但为此，让我们关注其中的一个模型，特别是XGBoost。
我读了很多关于如何处理过度适应的文章，但是我还没有找到任何关于如何在实践中一步一步地做这件事的好来源。就目前而言，我最好的两位模特有：
0.799 AUC关于训练数据，约0.799 AUC关于持久战集合，约0.7355和0.7195 AUC在过期分批.
0.764 AUC在训练中，0.7785 AUC在坚持测
浏览 0提问于2019-03-04得票数 4
回答已采纳
3回答
我在这里问这个问题，尽管我在CrossValidated (或DataScience) StackExchange上犹豫不决。我有一个包含60个标记对象(用于培训)和150个未标记对象(用于测试)的数据集。这个问题的目的是预测150个物体的标签(这曾经是一个家庭作业问题)。对于每个对象，我计算了258个特征。考虑到每个对象都是一个示例，我有X_train : (60,258)、y_train : (60,) (用于培训的对象的标签)和X_test : (150,258)。由于家庭作业问题的解决，我也有150个对象的真实标签，在y_test : (150,)。
为了预测150个对象的标签，我选择
浏览 1提问于2016-11-16得票数 1
我正在研究GLM模型(OLS、Logistic回归、零膨胀等)和一些CART模型(随机森林、LightGBM、CatBoost等)之间的差异。它们是基于随机预测的。
我听说，对于随机模型，我们应该分成训练和测试两部分，以避免过度拟合，这一事实在确定性模型中不会发生，因为它们使用线性规划来寻找最佳参数。
我想就此展开一些讨论。
我的观点是这是真的。确定性模型只是求解方程，它根本不应该对数据进行过拟合，而且它不同于基于随机性的随机模型来进行预测。
但我发现每个课程都说要拆分每个数据集，独立于其确定性或非确定性。
浏览 19提问于2021-09-22得票数 1
1回答
我正在一个由41k观测和~60功能组成的数据集上训练catboost。数据集是空间分布的纵向序列(9年)。目前，我只是使用数据的随机重采样，而忽略了空间和时间上的依赖关系。模型选择采用5倍CV，部分数据作为外部测试/显示集。
的最佳结果是使用以下hps：
mtry=37，min_n = 458，tree_depth = 10，学习率= 0.05
训练AUC = .962
内部验证AUC = .867
外部测试AUC = .870
训练和测试AUC之间的差异是相当大的，这意味着过度适应。
相反，第二次hp配置减少了训练集和测试集之间的差异，但测试性能也降低了。
mtry=19，min_n = 9
浏览 3提问于2021-09-30得票数 0
我的问题是，我获得了一个结果非常好的模型(训练和交叉验证)，但当我再次测试它(使用不同的数据集)时，出现了很差的结果。
我得到了一个经过训练和交叉验证测试的模型。该模型展示了AUC=0.933、TPR=0.90和FPR=0.04
我猜在看图片时不存在过度拟合，对应于学习曲线(误差)、学习曲线(分数)和偏差曲线：
问题是，当我使用不同的测试数据集测试这个模型时，我得到的结果很差，与我之前的结果AUC=0.52、TPR=0.165和FPR=0.105没有任何关系
我使用梯度提升分类器来训练我的模型，使用learning_rate=0.01，max_depth=12，max_featu
浏览 4提问于2015-08-24得票数 1
2回答
我目前正在处理一个严重不平衡的数据集的分类问题。更具体地说，它是一个包含大约290 k行数据的欺诈检测数据集，0类(非欺诈)的分布率为99.8%，1类(欺诈)的分布率为0.17%。
我一直使用XGBoost，随机森林和LightBGM作为我的预测模型。我还尝试以不同的方式运行这些模型，方法是调优类权重并重新对数据集进行重采样，以使其达到平衡的规模。此外，我使用F1评分、ROC-AUC评分和精确召回曲线作为我的主要度量标准，因为其他指标似乎不能代表不平衡数据集上的结果。
然而，在我的训练数据上，我仍然显得过于贴切。在所有场景中，我的训练集的F1-分数、ROC-AUC分数和精确召回曲线的AP值要么
浏览 0提问于2023-04-04得票数 0
我有训练数据，我随机分成两部分：
70% -> train_train
30% -> train_cv (用于交叉验证)
我使用train_train拟合glm (glmnet)模型，然后与train_cv交叉验证.
我的问题是，对于train_train和train_cv，不同的随机分割返回不同的交叉验证结果(使用曲线下的面积“AUC”进行评估)：
第一次为0.6381583
第二次AUC = 0.6164524
有没有一种方法可以运行多个交叉验证，而不重复代码？
浏览 5提问于2014-05-14得票数 3
回答已采纳
1回答
将新特性视为模型的新发现的阈值？
、、、、
我正在处理5K记录和60个特征的二进制分类问题。
通过特性选择，我将其缩小到14个特性。
在现有的文献中，我看到了著名的五个特征.
我开始我的项目的目的是寻找新的功能，可以帮助提高模型的预测能力。
然而，我看到了众所周知的特性(在文献中有报道)，它产生的AUC为84-85，而我所有的14个特性都将其降低到82-83。
因此，我尝试了手动添加和删除，发现如果我只添加了一个特性(比如magic feature)，它就会增加AUC to 85-86。
我看到AUC有1分的差别。
( 1)为模型添加一些信息感到高兴是否有用？
( 2)还是我看AUC不是衡量模型性能的正确方法？
( 3)这是否意味着我根
浏览 0提问于2020-01-06得票数 2
回答已采纳
我正在用R中的XGBoost拟合一个二进制分类模型。我的数据集有300k个观察值，有3个连续的预报器和1个具有90个水平的单热编码因子变量。因变量y为True或False。 我做了随机子采样，以找到最优的超参数。对于每个设置，我都做了5折(分组)的CV。下面的超参数设置导致了5折估值数据折叠的最高平均AUC： booster objective max_depth eta subsample colsample_bytree min_child_weight
gbtree binary:logistic 8 0.7708479
浏览 23提问于2021-10-06得票数 0
回答已采纳
对不平衡数据进行逻辑分类器的拟合。我的目标变量是5% 1 95% 0。因此，我认为最好使用PR-AUC来评估模型，而不是使用ROC-AUC。我得到了0.1的PR-AUC，这总比什么都没有好。
另一种可能提高性能的方法是降低对多数类的采样(或者对少数类或某些组合进行上采样，但让我们坚持向下采样)。
问题是，如何判断下采样是否确实有助于模型的性能？与ROC-AUC (随机模型为0.5，大型模型为1)不同，PR相对于正类中的数据百分比。由于在这些模型中，正类的百分比在设计上是不同的，我如何比较它们呢？
浏览 0提问于2022-01-12得票数 0
回答已采纳
请有人告诉我，如果这是正确的方法，计算交叉验证的精度我的分类器？我将我的数据集划分为训练数据的xtrain和ytrain，以及测试集的xtest & ytest。
构建模型：
RFC = RandomForestClassifier(n_estimators=100)
适合于训练集的：
RFC.fit(xtrain, ytrain)
，这是我不确定的部分：
scores = cross_val_score(RFC, xtest, ytest, cv = 10, scoring='precision')
使用上面的代码，“分数”会给我在我的模型上的精确性，而我的模型是关于
浏览 8提问于2015-07-04得票数 3
考试成绩、训练成绩和验证成绩的解释？他们到底告诉了我们什么？
交叉测试分数、验证分数和测试分数之间有什么可接受的差别？
如果考试成绩和训练成绩相差很小，那么这是一个很好的模型/适合吗？
是否根据测试成绩、训练成绩和验证成绩进行过度拟合和不足拟合？
如果我们需要更多的数据(观察)，它们之间的分数或差异是否能告诉我们？
浏览 0提问于2020-03-22得票数 5
回答已采纳
1回答
我有点困惑，因为我正在训练一个模型，这个模型在训练数据上产生大约88%的CV分数，而在我提交测试数据后，相同的模型在测试数据上表现不佳(分数为0.75)。这12个点的精度下降不可能都是由于过度拟合，不是吗？有什么想法吗？你在你的模型/提交中遇到过这样的差距吗？ 有关模型和结果，请参阅所附图像。 ### xgb_clf = XGBClassifier(n_estimators=87, learning_rate=0.05,max_depth = 10,
colsample_bytree =0.8 , n_jobs=-1 , random_state = 7,
scale_pos_weight
浏览 25提问于2020-12-12得票数 0
回答已采纳
3回答
我将我的数据集与随机森林分类器相匹配，发现模型的性能在不同的训练和测试数据分割集之间会有所不同。正如我所观察到的，在ROC曲线下，AUC将从0.67上升到0.75 (在相同的参数设置下用相同的模型进行拟合)，下垫范围可能会更宽。那么，这种现象背后的问题是什么，以及如何处理这个问题呢？据我理解，交叉验证用于特定的列车和测试数据的分割。
浏览 0提问于2017-01-05得票数 2
回答已采纳
1回答
R插入符号保存的样本和测试集
、、、、
我正在构建两个不同的分类器来预测二进制输出。然后用一个ROC曲线和它下的面积(AUC)来比较这两个模型的结果。
我把数据集分成了一个训练和测试集。在训练集上，我执行一种交叉验证形式。从交叉验证的保留样本，我能够建立一个ROC曲线的每个模型。然后在测试集上使用模型，并建立另一组ROC曲线。
结果是矛盾的，这使我很困惑。我不知道哪个结果是正确的，还是我做了什么完全错误的事情。样本ROC曲线表明RF是较好的模型，训练集ROC曲线表明SVM是较好的模型。
分析
library(ggplot2)
library(caret)
library(pROC)
library(ggthemes)
library
浏览 3提问于2016-12-02得票数 0
回答已采纳
1回答
我无法与LGBM的cv评分相匹配。
这是一个MCVE：
from sklearn.datasets import load_breast_cancer
import pandas as pd
from sklearn.model_selection import train_test_split, KFold
from sklearn.metrics import roc_auc_score
import lightgbm as lgb
import numpy as np
data = load_breast_cancer()
X = pd.DataFrame(data.data, col
浏览 0提问于2019-02-15得票数 2
回答已采纳
3回答
过度适应总是一件坏事吗？
、、、
我目前正在参加几个机器学习比赛，因为我试图学习这个领域。
对于回归问题，我使用的是xgboost。下面是我使用的步骤：
在特性工程之后，我像往常一样将我的数据分成2组，一组训练，一组测试。然后，我将我的xgboost放在训练集上，并在测试集上进行验证。以下是我得到的结果：(当我使用经过训练的算法来预测提交的目标时，我还显示了公共集的结果，度量是mae)。
Iteration training score testing score public score
100 8.05 12.14 17.50
150 7.10
浏览 0提问于2018-03-19得票数 2
回答已采纳
4回答
我正在尝试运行我的lightgbm进行功能选择，如下所示；
初始化
# Initialize an empty array to hold feature importances
feature_importances = np.zeros(features_sample.shape[1])
# Create the model with several hyperparameters
model = lgb.LGBMClassifier(objective='binary',
boosting_type = 'goss',
浏览 0提问于2018-11-21得票数 10
1回答
对整个数据集进行K-折叠交叉验证
、、、、
我想知道我当前的程序是否正确，否则我可能会有数据泄露。导入数据集后，我以80/20的比例拆分。
X_train, X_test, y_train, y_test = train_test_split(
X, y, test_size=0.20, random_state=0, stratify=y)
然后，在定义CatBoostClassifier之后，我使用我的训练集执行交叉验证的GridSearch。
clf = CatBoostClassifier(leaf_estimation_iterations=1, border_count=254, scale_pos_weight=1.67)
浏览 21提问于2020-05-24得票数 0
回答已采纳
3回答
我在一个数据集上拟合了一个logistic回归模型，得到了.70的AUC评分。我在模型中添加了一些额外的外热编码分类特性，并且AUC稍微改进了.74。
我如何评估模型是如何改进的？使用哪些情节/其他分析来评估绩效收益？
我知道模型有所改进，但我想解释为什么添加这些特性会改进模型。
这只是一个一般的数据科学问题。
谢谢!
浏览 0提问于2020-07-09得票数 4
我使用cross_val_score来计算回归者的平均分数。这是一个小片段。
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import cross_val_score
cross_val_score(LinearRegression(), X, y_reg, cv = 5)
利用这个，我得到了一系列的分数。我想知道验证集上的分数(如上面的数组中所返回的)与训练集上的分数有什么不同，以了解我的模型是过拟合的还是欠拟合的。
有办法对cross_val_score对象这样做吗？
浏览 3提问于2017-06-21得票数 6
回答已采纳
我有一个逻辑回归，我想知道它的AUC。
我使用statsmodels创建了逻辑回归模型
import statsmodels.api as sm
y = generate_data(dependent_var) # pseudocode
X = generate_data(independent_var) # pseudocode
X['constant'] = 1
logit_model=sm.Logit(y,X)
result=logit_model.fit()
然后，我使用sklearn为我的模型预测获得AUC值：
from sklearn.metrics impo
浏览 2提问于2021-01-07得票数 0
我在火车数据上拟合了LogisticRegression模型，检查了测试中的分数，得到了
test_score 0.802083
之后，出于好奇，我在tets上拟合了模型，并在测试中检查了分数，并以某种方式获得了相同的测试分数。
为什么？
我在使用糖尿病数据
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
diab_cols = ['Pregnancies',
浏览 7提问于2022-08-31得票数 0
回答已采纳
我试图了解测试数据集是否可以用来选择一个经过训练的最终模型。让我们假设这个场景：
我首先分割了整个数据集: 70%的训练，30%的测试。然后我拟合了几个模型(假设NN，RandomForest，AdaBoost，.)在训练数据集上进行交叉验证，对超参数进行调优，以获得最佳的列车数据性能。我知道这些分数是有偏见的，因为我调整了这些数据上的超参数。
然后，使用测试数据集来获得对无偏数据的真实性能，并选择哪个模型的性能最好。
这是使用测试数据集的正确方式吗？一些混淆来自于测试数据集的internet定义：
用于对最终模型进行无偏评估的数据样本，适合于培训数据集。
似乎它应该只用于获得一个最后训练的模
浏览 0提问于2018-12-27得票数 2
回答已采纳
我将GridSearchCV与keras一起使用，我想绘制和分析培训和验证历史。但是，我已经检查了文档并进行了真正的搜索，但是当使用GridSearchCV对模型进行拟合时，我无法找到获得验证历史的方法(即每个时代的分数)。我能够在回调中获得训练历史，但不能获得验证历史。事情是，一些模型过分适合，我想能够看到调整参数如何影响过度拟合。
我是这样使用GridSearchCV的：
class MyCallback(keras_callbacks.Callback):
def on_train_end(self, logs=None):
# here I can get the m
浏览 6提问于2022-01-12得票数 1
回答已采纳
2回答
我试图了解机器学习中的模型评估和验证过程。具体而言，培训、验证和测试集的使用顺序和方式。
假设我有一个数据集，我想使用线性回归。我在各种多项式度(超参数)之间犹豫不决.
在中，这似乎意味着顺序应该是：
将数据拆分为培训集、验证集和测试集
使用训练集来拟合模型(找到最佳参数:多项式系数)。
之后，使用验证集来找到最佳的超参数(在这种情况下，多项式度)(维基百科的文章说：“连续地，拟合模型用于预测第二个数据集中的观测结果，称为验证数据集”)。
最后，使用测试集对与训练集相匹配的模型进行评分。
然而，在我看来，这似乎很奇怪:如果您还没有选择您的超参数(在这种情况下是多项式度)
浏览 1提问于2019-01-10得票数 1
回答已采纳
我正在对python中的随机森林进行调优，并想知道我的模型是否/为什么过于合适。数据集描述如下：
1700例阳性病例/ 54000例总病例~ 3.2% (不平衡)
50个数字特征，~450标签/热编码特征(后数据缩减)
10 hold使用85%的数据，15%用于最终测试
分类度量= AUC或F1 (由于数据不平衡)
我得到的结果倾向于建议使用非常深的树，即深度18，不限制每次分割的样本数=2(默认)。在这种情况下，列车AUC为99.9%，最大测试AUC为84%。在树的最大深度上，我的分数几乎是单调增加的。考虑到结果和树有多深-我怀疑这个模型太合适了？如果是这样的话，为什么我不观察到在深度和mi
浏览 0提问于2018-06-19得票数 3
1回答
python中的梯度增强机器
、、、、
我正在尝试使用python中的梯度增强机(Gbm)来生成我的模型报告
我编写了一些代码来执行该任务，但收到一条错误消息
x_train,x_test,y_train,y_test=train_test_split(ml_Telco.drop(labels=['Churn'],axis=1),
ml_Telco['Churn'],
test_size=0.3,
浏览 0提问于2019-07-26得票数 0
1回答
我们已经在大约15k行的数据集上运行了'gbm‘模型。我们已经直接实现了10折交叉验证，以提出一个交叉验证模型，我们正在使用该模型在同一数据集上再次进行预测。
这导致了可能过拟合的模型约为0.99训练AUC和0.92cv AUC。预测AUC也很高，约为0.99。
审查者要求我们使用坚持数据集来验证模型。我们假设我们会将数据分成坚持数据和训练数据。然后，训练数据将在kfold交叉验证中再次进行。然后将使用保持数据集对模型进行验证。我的最后一个问题是，我们是否可以在整个数据集上再次使用经过验证的模型进行预测？
浏览 1提问于2018-04-18得票数 2
我试着比较了在数据集上运行GridSearchCV的效果，该数据集在选择训练褶皱后被过采样和过采样。我使用的过度抽样方法是随机过抽样。
请理解第一种方法是错误的，因为观察到模型已经流进了测试集。只是好奇这有多大的不同。
我生成了一个二进制分类数据集，其内容如下：
# Generate binary classification dataset with 5% minority class,
# 3 informative features, introduce noise with flip_y = 15%
X, y = make_classification(n_samples=5000
浏览 0提问于2018-06-27得票数 3
1回答
K-折叠交叉验证查询
、、、、
我正在尝试执行K折叠交叉验证和GridSearchCV，以优化我的梯度提升模型-遵循链接- 。
关于示范报告的截图，我有以下几个问题：
1)如何计算0.814365的精度？在脚本中，它在哪里进行火车测试拆分？如果将cv_folds=5更改为cv_folds=any整数，则精度仍为0.814365。事实上，删除cv_folds和输入performCV=False也提供了相同的精度。
(注意:我的sk学习编号CV 80/20列车测试的准确度在0.79-0.80之间)
2)再一次，AUC评分(列车)是如何计算的？这应该是中华民国，而不是澳洲大学吗？我的sk学习模型给出了一个大约0.87的AUC。就像
浏览 1提问于2018-09-14得票数 0
回答已采纳
当我练习经典的kaggle比赛时，比如泰坦尼克号，房屋定价等等，我遵循了我从教科书上学到的传统过程：
将培训数据分为培训集和验证集(按7:3或CV划分)。
带训练集的拟合模型
使用验证集评估模型性能
将训练集和验证集结合起来，用相同的验证集参数对模型进行再训练。
预测测试集的结果
我无法理解的是，为什么模型在验证集上表现得很好，而在公共测试集上却可能不是很好呢？有时甚至公共测试集的分数也可能与私有测试集不同。
如果验证集无法避免在实际预测中过度或不适当，那么它似乎是无用的？
更重要的是，即使模型在私有测试集中表现良好，我们如何才能判断它是否好呢？也许它在“私人-私有测试集”中的表现会很糟糕。
浏览 0提问于2021-11-10得票数 0
回答已采纳
2回答
我想展示一个模型的例子，该模型过度拟合了测试集，并且不能很好地对未来的数据进行泛化。
我将新闻数据集分成3组：
train set length: 11314
test set length: 5500
future set length: 2031
我正在使用一个文本数据集并构建一个CountVectorizer。我正在创建一个网格搜索(没有交叉验证)，每个循环都会测试向量化器上的一些参数('min_df'，'max_df')和我的模型LogisticRegression上的一些参数('C'，'fit_intercept'，&#
浏览 0提问于2018-03-14得票数 1
1回答
我是机器学习的初学者，正在尝试解决一个分类问题。我正在处理一个非常不平衡(顺序)的数据集( 20k条记录中只有2%是正的)，并且我正在使用LSTM/GRUs使用tensorflow在python中建模。
这就是我要做的:加载数据。将数据集分成3个数据集:A用于训练(70%)，B用于验证(15%)，C用于测试(15%)；对于每个数据集(A，B，C)，对阳性类进行过采样，以便将阳性百分比从2%提高到30%。这给了我3个更平衡的新数据集:A‘，B’，C‘
然后，我使用GRU使用数据集A‘训练我的模型。
我的目标:在我的测试集C上获得最高的F分数(有没有更好的指标？据我所见，F分数取决于数据分布，即数
浏览 21提问于2017-07-04得票数 3
1回答
假设我有一个数据文件，如：
索引，product_buying_date，col1，col2
0,2013-01-16,34，Jack
1,2013-01-12,43，莫莉
2013年2，01-21，亚当
2014-01-09，54，Peirce
2014年4月-01-17，38，戈德堡
5,2015-01-05,72，钱德勒
。。
。。
20000,2015-01-27，32，Mike
用更多的数据，我有一个目标变量y，根据你的方便来做一些假设。
现在我知道，我们把数据分成两部分，即训练和测试。然后将列车划分为70:30，用70%建立模型，用30%对模型进行验证。我们调整参数，使模型不过分适
浏览 4提问于2016-02-02得票数 0
回答已采纳
我正在使用滑雪板来训练一些模型(随机森林，决策树)。对于培训，我使用RandomsearchCV与分层k-折叠作为交叉验证。然后我对测试集做了预测，并计算了测试分数。
不过，我想比较一下考试成绩和训练成绩。我以为我可以用来自mean_train_score of _cv_results_的RandomseachCV报告作为模型的训练分数，因为我认为它会显示出对k-折叠的hould out的验证。但是，我不确定这一点，因为也有一个_mean_test_score。
我在寻找mean_train_score和mean_test_score的解释。我知道这些分数也适用于单面折叠。但这些分数是如何计算
浏览 0提问于2019-12-09得票数 2
回答已采纳
1回答
AUC高，但数据不平衡时预测不好
、、、、
我试图在一个非常不平衡的数据集中使用LightGBM构建一个分类器。不平衡是指97:3的比率，即：
Class
0 0.970691
1 0.029309
我使用的Params和训练代码如下所示。
lgb_params = {
'boosting_type': 'gbdt',
'objective': 'binary',
'metric':'auc',
'learning_rate': 0.1,
浏览 1提问于2018-07-05得票数 10
回答已采纳
2回答
我正在开发一个使用不平衡数据集的分类模型。我试图使用不同的抽样技术来提高模型的性能。
对于我的基线模型，我定义了如下所示的AdaBoost模型：
from sklearn.model_selection import KFold
kf = KFold(n_splits=5, shuffle=False)
ada = AdaBoostClassifier(n_estimators=100, random_state=42)
params = {
'n_estimators': [50, 100, 200],
浏览 0提问于2020-09-29得票数 0
回答已采纳
我已经训练了一个lightgbm模型，我想绘制学习曲线。我该怎么做呢？例如，在Keras中，历史记录将返回指标，以便我可以在训练结束后绘制它们。这里是如何处理这项任务的？
我的代码如下：
def f_lgboost(data, params):
model = lgb.LGBMClassifier(**params)
X_train = data['X_train']
y_train = data['y_train']
X_dev = data['X_dev']
y_dev = data[
浏览 5提问于2020-02-09得票数 8
2回答
我有一个不平衡的分类问题。
我首先将数据划分为训练集(数据集A)和测试集(数据集B)。
然后，我使用R包ROSE同时对Dataset A中的多数类进行了欠采样，并对少数类进行了过采样。这产生了一个平衡集(Dataset C)，其行数与Dataset A一样多。
我已经在数据集C和计算训练AUC上训练了我的模型。现在我想使用k倍交叉验证来估计(即不使用Dataset B)测试AUC。我该怎么做才好呢？
浏览 0提问于2018-04-04得票数 1
我搞不懂为什么lightgbm在我实现提前停止时没有保留最好的模型。
我的代码如下：
params = {'num_leaves': 31,
'class_weight' : 'balanced',
'max_depth': -1,
'learning_rate': 0.1,
'n_estimators': 1000,
'subsample_for_bin': 200000,
'objective': 'binary',
浏览 0提问于2020-02-09得票数 0
我一直试图用不同的分类器来建模一个数据集。响应是高度不平衡的(二进制)，我有数值和分类变量，所以我采用了SMOTENC和随机过采样方法的训练集。此外，我还使用了一个验证集来通过GridSearchCV()优化模型参数。由于精确性和回忆性对我来说都很重要，所以我用f1找到了最好的型号。
我应该注意到，我通过聚类分析选择了这三个子集，并从每个集群中通过分层的train_test_split()提取样本；因此，我更有信心这些子集具有更大的相似性。
由于决策树和随机森林或增强技术的复杂性，我通常在训练集上得到高拟合(高f1分数)，在验证集上得到较高的拟合，而在测试集上得到中等到低的拟合。
过度拟合的一
浏览 0提问于2019-12-10得票数 1
回答已采纳
1回答
大家好，我是数据科学世界的新手。所以我想知道我的模特是不是太合适了。通常我是比较训练的准确性和测试的准确性。但在一定的参考资料上，很多人使用roc_auc评分进行训练和测试，并对其进行比较，以判断模型是否过分合适。
哪些指标评价更好？我有不平衡的数据，但已经使用了过度抽样。
我想问的第二个问题是，如果我决定使用精度方法来判断我的模型是否过拟合，我是否应该尝试使用带有评分=“准确性”的k交叉验证来证明更多？
浏览 0提问于2022-10-11得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
