【Ian Goodfellow 五问】GAN、深度学习，如何与谷歌竞争

【新智元导读】Ian Goodfellow 昨天在 Quora 上回答网友提问。新智元摘选排名最高的 5 大问题编译整理。如何与谷歌、Facebook 的深度学习研究项目竞争？GAN 有哪些有趣的发展和应用？深度学习接下来会如何？研究人工智能和机器学习，你推荐哪10本书？下面是 Goodfellow 的回答。

独立学习者或研究人员如何与谷歌，Facebook、OpenAI这样的公司里快节奏的深度学习研究相竞争？

Ian Goodfellow：在谷歌大脑，我们实际上经常考虑如何选择项目，确保它们值得做，因为世界上有很多人在做很多其他工作。我在OpenAI期间他们战略的重要组成部分也是这样。

全世界对AI的广泛关注意味着AI研究从优化转变为博弈论。研究人员以前能只是根据兴趣选择研究课题。现在，重要的是预测其他研究人员会做什么，并选择一个可以提供独特优势的主题。

对抗机器学习研究有什么新的和令人兴奋的领域？

Ian Goodfellow：

• 防御对抗样本是一个非常热门的话题。如果你也想要这样做，可以看看我们的 Kaggle 比赛——NIPS 2017：有针对性的对抗攻击（https://www.kaggle.com/c/nips-2017-targeted-adversarial-attack/rules）
• Aleksander Madry 等人发现，使用带有随机重新启动（restart）的迭代算法创建的对抗示例，它们对抗训练非常适用于MNIST和CIFAR的防御。Madry 他们有一个公开的挑战：MadryLab / mnist_challenge
• 有很多关于如何窃取远程托管模型，然后攻击它们的工作（https://arxiv.org/abs/1602.02697）
• 如何使不同模型之间的对抗示例更好地转移（https：//arxiv.org/pdf/1611.02770 ），以及如何使他们骗过物理世界中操作的模型（https://arxiv.org/abs/1607.02533），从不同的距离和角度从相机观看对抗性示例（https://blog.openai.com/robust-adversarial-inputs/）
• 我个人在使 GAN 更加稳定，可靠，易于使用这方面做了很多工作
• 很多人对于如何将GAN用于文本非常有兴趣
• 对于隐写术的对抗技术（例如通过对抗训练生成隐写图像）有一些关注
• 半监督学习的对抗方法（https://arxiv.org/abs/1605.07725）

还有很多其他的研究进展；列出所有内容是不可能的！

机器学习领域你推荐哪 3 本书籍？

1. 《深度学习》（Deep Learning），Ian Goodfellow、Bengio 和 Aaron Courville 合著。

回顾十多年前我学习机器学习的过程，那时候我最喜欢的书是：

2. Chris Bishop的《模式识别与机器学习》（Pattern Recognition and Machine Learning）

3. Daphne Koller和Nir Friedman的《概率图模型》（Probabilistic Graphical Models）

不过，我不太熟悉在我已经学会了大部分相关主题之后出现的比较新的书籍，例如 Kevin Murphy 的书籍，所以我很难做出真正全面的排名。

此外你还推荐哪些书籍？

其他我推荐的有助于 AI 和机器学习的书：

4. AI: A Modern Approach by Stuart Russel and Peter Norvig

5. Introduction to Algorithms by Thomas H. Cormen

6. Cracking the Coding Interview by Gayle McDowell

7. Difficult Conversations: How to Discuss what matters most. By Douglas Stone et al. (The social side of an AI career is extremely important too!)

8. Elements of the Theory of Functions and Functional Analysis by A.N. Kolmogorov and S.V. Fromin

9. If you’re interested in generative models or computer vision: Natural Image Statistics

10. Linear Algebra, Georgi E. Shilov

深度学习的未来是什么？

深度学习的下一步还有很多事情要做。需要考虑从许多方向向外扩展，而不是在一个方向前进：

更好的强化学习/深度学习和强化学习的整合。能够可靠地学习如何控制机器人等的强化学习算法。

更好的生成模型。能够可靠地学习如何生成图像，话语，文本的算法，而且人类无法将生成的结果与真实的东西区分。

无处不在的深度学习：能够重新设计自己的架构，调整自己的超参数等的算法。现在，仍然需要人类专家来运行学习算法，但是将来会更容易部署，而且非专门从事AI的各种业务都将能够利用深度学习。

机器学习的安全性，安全所需的机器学习：将有更多网络攻击利用机器学习来制造更自动化的恶意软件，更有效的漏洞等等。也将有更多的网络防御利用机器学习来实现比人类更快的响应，检测更微妙的入侵等。来自对方阵营的ML算法将互相欺骗，进行攻击和防御。

活动的动态路由将导致更大的模型，可以使用相比当前模型更少的计算来处理单个样本。但总体而言，大量的计算将继续是AI的关键; 每当我们使一个模型使用较少的计算时，我们需要并行运行数千个模型来学习它们。

半监督学习和one-shot learning 将减少训练模型所需的数据量，并令AI的使用更广泛。

研究将侧重于制作极强大的模型，这些模型几乎从不犯错误，可用于安全关键型的应用程序。

深度学习将继续渗入到一般文化中，我们将看到艺术家和发明家使用它们来做我们从未想到的事情。我认为Alexei Efros的实验室和CycleGAN之类的项目是这样的开始。