Autosklearn到底做了什么？

Autosklearn是Hutter等人设计的自动调参框架，其核心是使用SMAC算法，一种采用黑箱调优的算法，对超参进行迭代优化从而进一步选出能够使得在这种参数下，模型的某种指标最好的超参。为了更进一步高效地寻找到最有的超参，autosklearn还引入了metalearning等过程加速超参搜索。除了黑箱调优算法外，autosklearn还做了特征工程和数据工程，从而实现了部分的机器学习自动化。从使用者的角度看，在给定一个数据集和期盼最小化的指标（如auc,logloss等）的情况下，autosklearn完全可以出给适当的模型和对应的输入超参，使得对应的指标在指定数据集下最小。

Aotusklearn在一定程度上满足了自动机器学习的要求。单纯就模型结果上看，即便输入给autosklearn的是一组没有经过很详细特征处理的数据集，输出结构都会比当前市场上的一些自动调优框架好。下图就是我们将一些数据集作为基准，使用autosklearn和当前市场上某款自动调优工具的效果对比，这两款产品使用了相同的时间资源并且指定了同一种模型。这里我们使用auc和logloss作为我们的目标指标。标黄的部分是对比优异的项。

这里我们可以看到，autosklearn在大多数数据集和目标指标上，都比市面上这款自动调优产品要好很多。那么autosklean到底做了那些操作，使得一个开源会比商业软件取得更好的结果呢？

整体上说，autosklearn的工作流程如下：

这里我们可以看到autosklearn除了迭代调整输入模型的超参之外，还迭代调整了输入模型所需要的数据处理方法和特征处理方法和参数。最终通过集成不同机器学习模型完成整个自动学习过程。下面我们就会具体讨论每个步骤到底做了些怎么样的操作。

Metalearning:

Metalearning操作的目的是为整个迭代选取一个接近收敛点的初值，从而加快SMAC算法的收敛速度。

在autosklearn中，作者将已有的metalearning数据库存入以下所示的文件夹中，每个文件夹内都存有指标+模型特征+任务类型所对应的超参初始值。这些初始值都是作者通过优化其他类似数据集后（其中可能是手动优化的结果）总结出来的数据库。通过选择与当前训练数据接近的先前的k个优化结果作为初始值，加入到SMAC算法中进行优化，进而加速SMAC收敛的速度。

Metalearning并不能从根本上提升SMAC算法所给出的最优点的性能。但是一个较好的初始值可以大大加快SMAC找到最优点的速度。从而减少时间资源的消耗。同时，当所给时间不足时，autosklearn会直接给出metalearning的值，这个值虽然不是SMAC能给出最好的结果，但是依旧是一个效果不错的超参选择。

数据预处理和特征预处理：

根们我们已有的经验可以看出，数据预处理和特征预处理对于最后结果来说至关重要。很多kaggle竞赛的核心步骤的大部分时间都花在了分析数据，预处理数据集和特征预处理上。如果不经过相关的数据预处理，特征预处理，即便是SMAC算法也难以找到一个可以使得指标很低的超参和模型。

在数据预处理方面SMAC算法主要做了如下四种预处理：

其中balance操作只对特定的one_hot编码选项有效。

在特征预处理方面，SMAC最多做了如下记住特征预处理：

其中除了标红的kernel_pca, kitchen_sinks和nystroem_sampler以外，所有其他特征预处理只对multinomial_nb模型有效。

由此可见，实际上autosklearn并没有对数据集做什么“专业级”的预处理，比如分析数据产生新特征等等。但是autosklearn不同的是他将每种预处理方法的不同参数也带入smac中进行调优，从而充分利用了每种预处理带来的性能提升，从而得到了比市场上大多数自动调优框架更好的结果。

SMAC：

SMAC算法是一种强大的黑箱条又算法，如果单讲SMAC算法可以另起一个主题进行分析。这里考虑到这篇文章的目的是分享autosklearn做了些什么操作，而不是分解每个操作的具体步骤。因此这里只简单体描述一下SMAC算法的流程。

SMAC是SMBO算法的一种算法。SMBO算法的每个迭代步可以分为如下的步骤：1.依据历史信息构造(超参，性能）的性能函数，2.依照性能函数，选取最有可能是最小值的超参，并将这个点对应性能算出。3.将新的（超参，性能）加入历史信息中，进行重复的迭代。

将SMBO算法实例化到SMAC算法，所对应的是则是：1.性能模型是随机森林的高斯过程模型。2.通过局部搜索和全局的随即选点，算出多个最有可能达到最小值的点进行进一步筛选。3.筛选点的过程是一个bandit问题，这里SMAC算法通过intensify过程使用经可能少的资源找到最有超参。

集成模型：

集成模型步是整个Autosklearn除去训练模型外，几乎唯一的多线程部分。除此之外，autosklearn都处在单线程的运转状态。

Autosklearn的集成模型方法使用了Rich Caruana在04年icml上所提出的集成模型方法，具体操作如下：

1.选取一张50个空白项的表，其中表中的每一项权重为0.02。

2.从已有的多个模型中选取一个可以提升表性能的模型加入到表中或替换性能不佳的模型。

3.重复第二步直到达到最大的迭代步骤。

4.将表中相同模型的权重累加得到此模型在集成模型中的权重。

为什么autosklearn效果好：

通过上述分析我们可以看出autosklearn通过一些列看上去很普通的操作流程，就能得到比当前市场上一些自动调参工具好很多的结果。我们认为出现这个现象的原因有2：1.autosklearn通过metalearning在较短时间内找到了相对较好的配置，并以此为基准进行迭代容易超过很多现有工具和平台。2.尽管特征工程和数据预处理方法相对简单，但是每个处理的参数都带入了SMAC整个迭代中进行参数调优，从而将每个简单的处理效果发挥到了极致。

- END -

关注智铀科技公众号