【星球知识卡片】AutoML都有哪些核心技术，如何对其进行长期深入学习

大家好，欢迎来到我们的星球知识小卡片专栏，本期给大家分享AutoML的核心技术点。

作者&编辑 | 言有三

1 AutoML与数据增强

大家都知道数据增强很重要，是深度学习必备良药，写论文刷比赛提指标的大杀器。如果让模型针对具体的任务自动学习数据增强，理论上会更加智能，这便是基于AutoML的数据增强技术，它主要是用于自动学习数据增强策略。

2 AutoML与网络优化参数

随着深度学习技术的发展，激活函数，归一化方法，最大池化方法等都发展出了不少的变种，而最新的研究则集中于如何使用AutoML技术去进行设计。

3 AutoML与模型结构搜索

一直以来，网络结构的设计是一个非常需要经验且具有挑战性的工作，研究人员从设计功能更加强大和更加高效的模型两个方向进行研究，随着各类经典网络设计思想的完善，如今要手工设计出更优秀的模型已经很难，而以AutoML为代表的自动化机器学习技术就成为了大家关注的热点，其中用于搜索的方法包括强化学习，进化算法，贝叶斯优化，而需要优化的包括已有结构的参数搜索，子单元的搜索，整个网络架构的搜索等。

4 AutoML与模型压缩

虽然NAS本身具有模型优化的功能，但是当前也有许多成熟的模型优化方法，比如模型剪枝，量化，蒸馏，AutoML技术也在其中大展宏图。

5 AutoML与模型目标与方法设计

一个有效的损失函数在深度学习任务中起了关键作用，然而损失函数都是人为设定，不仅需要有经验的人员进行反复尝试，也只能获得次优的方案，如果可以让模型自动对优化目标进行学习，将有望以更低的成本学习到更优的模型。另一方面，要成功训练一个深度学习模型，正确的优化策略是非常重要的，如果使用不当结果会产生很大的差异，AutoML也可以在其中进行探索。

6 其他

总的来说，AutoML有非常多的研究方向，包括：

(1) 特征工程。

(2) 数据使用。

(3) 网络参数优化。

(4) 强化学习与网络结构搜索。

(5) 进化算法与网络结构搜索。

(6) 贝叶斯优化等方法与网络结构搜索。

(7) 网络搜索的加速方法。

(8) 其他等等。

以上内容，如果你不想自己学习，可以去我们知识星球的网络结构1000变板块—AutoML板块阅读。

有三AI知识星球

转载文章请后台联系

侵权必究