什么是神经网络架构搜索？

敬请查看2019年4月15日至18日在纽约举行的人工智能会议上的“大规模并行超参数调整”分会场议题。最惠价格将于1月25日结束。

该文章最初发表于Determined AI博客，经许可重新发表于此。

深度学习提供了这样一种承诺：它可以绕过手动特征工程的流程，通过端对端的方式联合学习中间表征与统计模型。 然而，神经网络架构本身通常由专家以艰苦的、一事一议的方式临时设计出来。 神经网络架构搜索（NAS）被誉为一条减轻痛苦之路，它可以自动识别哪些网络优于手工设计的网络。

但是，无论是在研究进展还是炒作方面，这个领域都变得如此之快，很难得到一些基础问题的答案：NAS到底是什么，它与AutoML或超参数优化有什么根本的不同？ 定制化的NAS方法真的有用吗？ 它们使用起来不是很昂贵吗？ 我应该使用定制化的NAS方法吗？ 在这篇文章中，我们将回答每个问题。 我们的讨论涉及几个关键点：

NAS与传统的超参数优化之间存在二分法是错误的； 实际上，NAS是超参数优化的子集。 此外，定制化的NAS方法实际上并不是完全自动化的，因为它们依赖于人工设计的神经网络架构作为搜索的起点。

虽然探索和调整不同的神经网络架构对于开发高质量的深度学习应用至关重要，但我们认为定制化的NAS方法还没到迎来黄金时段的水平：与高质量的超参数优化算法相比，它们引入了显著的算法和计算复杂度（例如ASHA），却无法证明在标准基准测试任务上带来性能提高。

尽管如此，定制化NAS方法在过去几年中，对于提高精度，降低计算成本和降低网络架构尺寸几个方面取得了显着进步，并且最终可能超越人类在神经网络架构设计方面的表现。

宏观而言，让我们首先讨论NAS如何适应更广泛的AutoML（自动机器学习）。

AutoML⊃超参数优化⊃NAS

图1.感谢Determined AI提供图片

AutoML专注于自动化机器学习（ML）工作流程的各个方面，以提高效率，并带来了机器学习民主化，以便非专家可以轻松地将机器学习应用于他们的问题。 虽然AutoML包含与ETL（对数据的提取，转换，加载），模型训练和模型部署相关的各种问题的自动化，但超参数优化问题是AutoML的核心焦点。 此问题涉及对ML模型/算法行为的内部设置进行配置管理，返回高质量的预测模型。

例如，岭回归模型需要设置正则化项的值；随机森林模型要求用户设置每个叶子节点包含的最小样本数，以及总模型树的最大深度；训练任何需要随机梯度下降的模型，需要设置适当的学习率步长。 神经网络还需要设置多个超参数，包括（1）选择优化器及其相关的超参数集; （2）设置dropout比率和其他正则化超参数；如果需要的话还要（3）调整控制网络架构的参数（例如，隐层的层数，卷积核的数量）。

虽然对NAS的阐述可能暗示它是一个全新的问题，但我们上面的最后一个例子暗示了超参数优化和NAS之间的密切关系。 尽管用于NAS的搜索空间通常较大，而且涵盖了控制神经网络架构的方方面面，但是底层问题与超参数优化所解决的问题相同：在搜索空间内，找到在目标任务上表现良好的一组配置。 因此，我们将NAS视为超参数优化中的子问题。

虽然是一个子问题，不过NAS仍然是一个令人兴奋的研究方向，因为专注于一个专门的子问题，提供了利用额外结构来设计定制化解决方案的机会（许多专门的NAS方法都是这么做的） 在下一节中，我们将提供NAS的概述，并深入研究超参数优化和NAS之间的相似点和不同点。

NAS概述

图2. 感谢DeterminedAI提供图片

在Zoph等人的工作之后，对NAS的兴趣激增。他们的工作使用强化学习来设计当时最先进的图像识别和语言模型架构。不过，尽管Zoph等人设计了用于NAS的第一代定制化方法，随之而来的是这种方法需要大量的算力（例如，数以百计的GPU实际运行时长上千天），这使得它们对于除了Google这样的公司以外的所有人而言，都是不切实际的。最近的方法利用各种重用方法来大幅降低计算成本，并且在研究界中还在快速引入新方法。