前文回顾:
在Python中开始使用 XGBoost的7步迷你课程
第 01 课:梯度提升简介
第 02 课:XGBoost 简介
第 03 课:开发您的第一个 XGBoost 模型
第 04 课:监控表现和提前停止
梯度提升是应用机器学习最强大的技术之一,因此很快成为最受欢迎的技术之一。 但是,如何为您的问题配置梯度提升?
在原始梯度提升论文中发表了许多配置启发式方法。它们可以概括为:
这些是配置模型时的一个很好的起点。
一个好的通用配置策略如下:
Owen Zhang,前Kaggle排名第一的竞争对手,现在是 Data Robot 的首席技术官提出了一个配置 XGBoost 的有趣策略。
他建议将树木的数量设置为目标值,如 100 或 1000,然后调整学习率以找到最佳模型。这是快速找到好模型的有效策略。
在下一节和最后一节中,我们将看一个调整XGBoost超参数的示例