GBDT回归的原理及Python实现

程序员大咖

点击右侧关注，免费进阶高级！

作者:李小文

Github: https://github.com/tushushu

提到GBDT回归相信大家应该都不会觉得陌生，本文就GBDT回归的基本原理进行讲解，并手把手、肩并肩地带您实现这一算法。完整实现代码请参考本人的github。

一、原理篇

我们用人话而不是大段的数学公式来讲讲GBDT回归是怎么一回事。

1.1 温故知新回归树是GBDT的基础，之前的一篇文章曾经讲过回归树的原理和实现。链接如下：

1.2 预测年龄仍然以预测同事年龄来举例，从《回归树》那篇文章中我们可以知道，如果需要通过一个常量来预测同事的年龄，平均值是最佳选择之一。

1.3 年龄的残差我们不妨假设同事的年龄分别为5岁、6岁、7岁，那么同事的平均年龄就是6岁。所以我们用6岁这个常量来预测同事的年龄，即[6, 6, 6]。每个同事年龄的残差 = 年龄 - 预测值 = [5, 6, 7] - [6, 6, 6]，所以残差为[-1, 0, 1]

1.4 预测年龄的残差为了让模型更加准确，其中一个思路是让残差变小。如何减少残差呢？我们不妨对残差建立一颗回归树，然后预测出准确的残差。假设这棵树预测的残差是[-0.9, 0, 0.9]，将上一轮的预测值和这一轮的预测值求和，每个同事的年龄 = [6, 6, 6] + [-0.9, 0, 0.9] = [5.1, 6, 6.9]，显然与真实值[5, 6, 7]更加接近了， 年龄的残差此时变为[-0.1, 0, 0.1]，预测的准确性得到了提升。

1.5 GBDT重新整理一下思路，假设我们的预测一共迭代3轮 年龄：[5, 6, 7]

第1轮预测：6, 6, 6

第1轮残差：[-1, 0, 1]

第2轮预测：6, 6, 6 + -0.9, 0, 0.9 = [5.1, 6, 6.9]

第2轮残差：[-0.1, 0, 0.1]

第3轮预测：6, 6, 6 + -0.9, 0, 0.9 + -0.08, 0, 0.07 = [5.02, 6, 6.97]

第3轮残差：[-0.08, 0, 0.03]

看上去残差越来越小，而这种预测方式就是GBDT算法。

1.6 公式推导看到这里，相信您对GBDT已经有了直观的认识。这么做有什么科学依据么，为什么残差可以越来越小呢？前方小段数学公式低能预警。

因此，我们需要通过用第m-1轮残差的均值来得到函数fm，进而优化函数Fm。而回归树的原理就是通过最佳划分区域的均值来进行预测。所以fm可以选用回归树作为基础模型，将初始值，m-1颗回归树的预测值相加便可以预测y。

二、实现篇

本人用全宇宙最简单的编程语言——Python实现了GBDT回归算法，没有依赖任何第三方库，便于学习和使用。简单说明一下实现过程，更详细的注释请参考本人github上的代码。

2.1 导入回归树类回归树是我之前已经写好的一个类，在之前的文章详细介绍过，代码请参考：

2.2 创建GradientBoostingBase类初始化，存储回归树、学习率、初始预测值和变换函数。（注：回归不需要做变换，因此函数的返回值等于参数）

2.3 计算初始预测值初始预测值即y的平均值。

2.4 计算残差

2.5 训练模型

训练模型的时候需要注意以下几点： 1. 控制树的最大深度max_depth； 2. 控制分裂时最少的样本量min_samples_split； 3. 训练每一棵回归树的时候要乘以一个学习率lr，防止模型过拟合； 4. 对样本进行抽样的时候要采用有放回的抽样方式。

2.6 预测一个样本

2.7 预测多个样本

三、效果评估

3.1 main函数

使用著名的波士顿房价数据集，按照7:3的比例拆分为训练集和测试集，训练模型，并统计准确度。

3.2 效果展示最终拟合优度0.851，运行时间5.0秒，效果还算不错~

3.3 工具函数本人自定义了一些工具函数，可以在github上查看

run_time - 测试函数运行时间

load_boston_house_prices - 加载波士顿房价数据

train_test_split - 拆分训练集、测试集

get_r2 - 计算拟合优度

四、总结

GBDT回归的原理：平均值加回归树

GBDT回归的实现：加加减减for循环