研究了50篇论文后，他发现AI领域的某些进步其实就是炒作

研究人员评估了81种剪枝算法、程序，它们通过对不需要的连接进行剪枝来提高神经网络的效率。这些方法差别不大，但所有人都宣称自己具有优越性。然而，很少有人对它们进行恰当的比较——当研究人员设法把它们放在一起评估时，并没有明确的证据可以表明近10年来它们的性能有什么改善。

本文最初发布于科学杂志，由InfoQ中文站翻译并分享。

人工智能（AI）似乎变得越来越聪明。每一部iPhone都比上一部更了解你的脸、声音和习惯，人工智能对隐私的威胁也在不断增加，职位也在不断增加。这种激增反映了更快的芯片、更多的数据和更好的算法。但是，麻省理工学院的计算机科学研究生Davis Blalock说，有一些改进是来自微调，而不是发明者声称的核心创新，而有些改进可能根本就不存在。Blalock和他的同事比较了几十种改进神经网络的方法（大致模仿大脑的软件架构）。他说，“在研究了50篇论文之后，事情已经变得很清晰，当时的技术水平到底如何并不是一件显而易见的事情。”

研究人员评估了81种剪枝算法、程序，它们通过对不需要的连接进行剪枝来提高神经网络的效率。这些方法差别不大，但所有人都宣称自己具有优越性。然而，很少有人对它们进行恰当的比较——当研究人员设法把它们放在一起评估时，并没有明确的证据可以表明近10年来它们的性能有什么改善。今年3月，在机器学习与系统大会上公布的这一结果让Blalock的博士生导师、麻省理工学院的计算机科学家John Guttag感到意外，他指出，这种无规则的对比本身就说明了技术发展的停滞。Guttag说，“老话说得好，无法度量就无法改进，对吧？”

研究人员逐渐意识到，人工智能的许多子领域的进展都出现了问题。2019年开展的一项针对搜索引擎中使用的信息检索算法的元分析表明，“最高点……实际上出现在2009年。”2019年的另一项研究再现了7个神经网络推荐系统，这类系统主要用于流媒体服务。研究发现，有六种算法的性能没有超过多年前开发的简单许多的非神经算法（这些早期的技术当时都经过了调优），揭示了该领域的“进展幻象”。

今年3月，来自康奈尔大学的计算机科学家Kevin Musgrave在arXiv网站上发表了一篇论文，他研究了损失函数，这是这类算法的一部分，从数学上明确了算法的目标。Musgrave在一项涉及图像检索的任务中，基于同样的标准对其中的12种方法进行了比较，结果发现，与开发人员的说法相反，准确性自2006年以来就再没有提高。Musgrave说：“这一直以来都是炒作。”

机器学习算法的性能增强可以来自其架构、损失函数或优化策略（如何使用反馈进行改进）的根本性变化。来自卡耐基梅隆大学的计算机科学家Zico Kolter表示，对上述任何一种技术进行细微的调整都可以提高性能。Kolter的研究内容是经过训练后能够对黑客的“对抗性攻击”免疫的图像识别模型。一种被称为投影梯度下降（PGD）的早期对抗性训练方法（该方法会同时在真假样例上进行简单的训练），似乎已经被更复杂的方法所超越。但在今年2月arXiv发表的一篇论文中，Kolter和他的同事们发现，当使用一个简单的技巧来对它们进行增强时，所有方法的效果都差不多。

在经过适度调整后，旧的图像检索算法和新算法的性能一样好，这表明，实际的创新很少。

“这非常令人惊讶，这一点我们以前没有发现，”Kolter的博士生Leslie Rice说。而Kolter表示，他的发现表明，像PGD这样的创新很难做到，而且很少有实质性的改进。“很明显，PGD实际上就是一种正确的算法，”他说，“这显而易见，而人们希望找到更为复杂的解决方案。”

其他主要算法的进步似乎也经受住了时间的考验。1997年，一种被称为长短时记忆（LSTM）的架构在语言翻译方面取得了重大突破。在经过适当的训练后，LSTM的性能可以与20年后开发的更先进的架构相媲美。另一个机器学习的突破出现在2014年的生成对抗网络（GAN）中，举例来说，它可以将网络以生成-判别循环的方式进行配对，以提高它们生成图像的能力。据2018年的一篇论文报道，只要计算能力足够，原始的GAN方法就可以与后续几年的方法相媲美。

Kolter说，与调整现有算法相比，研究人员更愿意去创造一种新的算法，并对其进行调整，直到达到最先进的水平。他指出，调整现有算法可能显得不那么新颖，使得“发表论文的难度大大增加”。

Guttag说，算法的发明者不希望与他人的算法进行彻底的性能比较，结果却发现他们的突破性进展并不是他们所认为的那样。“比较太仔细是有风险的。”同时，那也是一项艰苦的工作：人工智能研究人员使用不同的数据集、调优方法、性能指标和基线。“完全的横向对比是不现实的。”

一些夸大性能的说法可以归因于该领域的爆炸性增长，该领域的论文数量超过了有经验的审稿人。Blalock说，“这似乎是成长的烦恼”。他敦促审稿人，要坚持与基准进行更好地比较，并表示，更好的工具将有所帮助。今年早些时候，Blalock的合著者、麻省理工学院研究员Jose Gonzalez Ortiz发布了一款名为ShrinkBench的软件，它可以让人们更轻松地比较剪枝算法。

研究人员指出，即使新方法在本质上并不比旧方法更好，但他们所实现的调整也可以应用到之前的算法上。每隔一段时间，就会有一个新的算法出现。“这几乎就像一个风险投资组合，”Blalock说，“其中一些业务并没有真正发挥作用，但有些却非常成功。”

查看英文原文：

https://www.sciencemag.org/news/2020/05/eye-catching-advances-some-ai-fields-are-not-real