CMU2017年秋季课程：深度学习——Ruslan Salakhutdinov主讲

【导读】本文是对美国卡耐基梅隆大学（CMU）2017年秋季课程——深度学习的介绍，CMU一直走在深度学习领域的前列，虽然该课程是2017年秋季开课的，但是其关于深度学习的讲解确实是非常经典的。主讲老师是CMU副教授Ruslan Salakhutdinov，课程几乎涵盖了深度学习所有的基础内容：图模型、线性模型、自编码器、学习和推理、蒙特卡洛方法、深度生成模型、生成对抗网络等。总之，该课程是非常系统和完善的深度学习系列课程，绝对是读者入门和进一步深刻理解深度学习的不二之选。专知内容组编辑整理。

授课老师 Ruslan Salakhutdinov个人主页

Ruslan Salakhutdinov是来自卡内基梅隆大学（CMU的副教授，2016年被任命为苹果首任AI总监。从整个神经网络和深度学习的历史看，最重要的拐点是2006年7月，Geoffrey Hinton为第一作者的两篇论文《A Fast Learning Algorithm for Deep Belief Nets》和《Reducing the Dimensionality of Data with Neural Networks》的发布，前者首次提出了layerwise greedy pretraining的方法，开创了深度学习方向；后者提出通过最小化函数集对训练集数据的重构误差，自适应地编解码训练数据的算法deep autoencoder，作为非线性降维方法在图像和文本降维实验中明显优于传统方法，证明了深度学习方法的正确性。正是这两篇论文引起了整个学术界对深度学习的兴趣，才有了近十年来深度学习研究的突飞猛进和突破。而Ruslan Salakhutdinov，就是深度学习历史上最重要的标志性论文之一、发布在Nature杂志上的那篇《Reducing the Dimensionality of Data with Neural Networks》的第二作者。此时的他不过是刚刚进入Geoffrey Hinton门下不久的一名博士生（Ruslan Salakhutdinov于2009年获得博士学位），但并不影响其在深度学习领域中的辈分。

Ruslan Salakhutdinov对人工智能的贡献还在于学习深度生成模型的研究上。2007年前后，Ruslan Salakhutdinov与Geoffrey Hinton提出了一种在前馈神经网络中进行有效训练的算法。这一算法将网络中的每一层视为无监督的受限玻尔兹曼机，再使用有监督的反向传播算法进行调优（Ruslan Salakhutdinov的博士论文就是这方面的内容）。在获得博士学位后，Ruslan又花了两年时间从事博士后研究工作，从2011年起在多伦多大学担任助理教授，今年2月，他从多伦多大学转到卡内基梅隆大学，并实现了从助理教授到副教授的跨越。

从2006年的标志性论文发表到现在为止的十年中，Ruslan Salakhutdinov的研究成果层出不穷。截止本文发布之日，Ruslan Salakhutdinov的论文总引用数量达到31049次，其中近5年的引用次数为27568，这也说明了在其一直活跃在深度学习的前沿领域。

CMU2017年秋季课程：深度学习

▌深度学习

课程：

本课程包含了深度学习的理论和方法，涵盖的议题包括：

介绍

背景：线性代数，分布，概率规则。

回归，分类。

前馈神经网络，反向传播算法，流行的优化和正则化技术介绍。

应用于计算机视觉的卷积模型。

深度学习概要

图模型：有向和无向。

线性因子模型，PPCA，FA，ICA，稀疏编码及其扩展。

自动编码器及其扩展。 基于能源的模式，RBMs。

蒙特卡罗方法。

学习和推理：对比散度（CD），随机最大似然估计，分数匹配，比率匹配，伪随机估计，噪声对比估计。

退火重采样，分区函数估计。

深生成模型：深信念网络，深玻尔兹曼机器，Helmholtz机，变分自编码器，重要性加权自编码器，唤醒-睡眠算法。

生成对抗网络（GAN），生成矩匹配网络，神经自回归密度估计（NADE）。

其他内容

更多关于深度网络的正则化和优化。

序列建模：递归神经网络，序列-序列，注意力模型。

深化强化学习。

▌参考图书

Goodfellow和Yoshua Bengio和Aaron Courville（2016）深度学习书籍

http://www.deeplearningbook.org/

Christopher M. Bishop（2006）的模式识别与机器学习

https://www.microsoft.com/en-us/research/people/cmbishop/?from=http%3A%2F%2Fresearch.microsoft.com%2Fen-us%2Fum%2Fpeople%2Fcmbishop%2Fprml%2Findex.htm

你还可以参考其他书籍：

机器学习：从概率的视角理解机器学习，Kevin P. Murphy

统计学习要素：Trevor Hastie，Robert Tibshirani，Jerome Friedman（2009）

https://statistics.stanford.edu/~tibs/ElemStatLearn

信息论，推理和学习算法：David MacKay（2003）

http://www.inference.org.uk/mackay/itila/book.html

Ruslan Salakhutdinov个人主页：

http://www.cs.cmu.edu/~rsalakhu/index.html

▌第一次课PPT详细内容

-END-

专 · 知

人工智能领域主题知识资料查看获取：【专知荟萃】人工智能领域26个主题知识资料全集（入门/进阶/论文/综述/视频/专家等）

同时欢迎各位用户进行专知投稿，详情请点击：