机器学习之交叉验证

拍摄于英国格拉斯哥

1.交叉验证简介

交叉验证(Cross Validation)是在机器学习建立模型和验证模型参数时常用的方法。顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集。用训练集来训练模型，测试集来评估模型的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的样本，在下次可能成为测试集中的样本，也就是所谓的交叉。

2.为什么用交叉验证？

交叉验证用在数据量不是很充足的情况(比如数据量小于一万条)，能够从有限的数据中获取尽可能多的有效信息。

交叉验证用于评估模型的预测性能，尤其是训练好的模型在新数据上的表现，能够一定程度上减小过拟合。

3.交叉验证方法

3.1 留出法交叉验证

留出法(Hold-Out Cross Validation)是一种简单交叉验证，即针对原始数据集，通常分为训练集、测试集。训练集用于训练模型、测试集对于模型来说是未知数据，用于评估模型的泛化能力。

比如我们随机的将样本数据分为两部分(70%的训练集，30%的测试集)，然后用训练集来训练模型，测试集上验证模型及参数，最后选择损失函数评估最优的模型和参数。

3.2 k折交叉验证

k折交叉验证(k-fold Cross Validation)过程如下所示：

不重复抽样将原始数据随机分成k份。

每次挑选其中1份作为测试集，剩余k-1份作为训练集用于训练模型。

重复第2步k次，在每个训练集上训练后得到一个模型。用这个模型在相应的测试集上测试，计算并保存模型的评估指标。

计算k组测试结果的平均值作为模型准确度的估计，并作为当前k折交叉验证下模型的性能指标。

k一般取10，数据量大的时候，k可以设置的小一些。数据量小的时候，k可以设置的大一些，这样训练集占整体数据的比例就比较大，不过同时训练的模型个数也就相应增加。

3.3 留一法交叉验证

留一法交叉验证(Leave-one-out Cross Validation)是k折交叉验证的特例，此时的k等于样本数N。因此，对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型的好坏。此方法主要适用于数据量非常小的情况，比如N小于50的时候，推荐采用留一交叉验证。

3.4 交叉验证方法选择

那这三种情况，到底应该选择哪一种方法呢？其实很简单，如果我们只是对数据做一个初步的模型建立，不是要做深入分析的话，简单交叉验证就可以。否则就用k折交叉验证。在样本量少的时候，使用留一交叉验证。

你可能还想看