暑期课程八、推理、注意力和记忆（Reasoning, Attention 和 Memory）

受邀专家：Sumit Chopra （Facebook）

过去几十年，在完成基本预测任务方面（比如，文本分类、图像说明以及语音识别），机器学习领域成绩斐然。但是，如何解决更深的（deeper）推理任务，仍然难以捉摸。实现更深的推理的关键因素就是在推论过程中，使用长期依存关系以及短期上下文语境。直到最近，最令人激动的机器学习模型仍然缺少读写部分长期记忆组件、并将此与推论无缝组合起来的简易方法。为了将记忆与推理结合起来，模型必须学会如何访问它，比如对记忆进行「注意」操作。

不过，大约在去年，这方面已经出现了一些值得注意的进展。在一些真实世界任务中，比如机器翻译、图像说明，发展出注意概念的模型已经展现出积极成果。在构造可以探索显示存储不同形式的计算模型方面，也出现激增趋势。为此，我会介绍这类中的一套模型。特别是，我会讨论记忆网络及其在各种给任务中的应用，比如，基于模拟故事的问答，完型填空式问题以及对话建模。我还会讨论其变种，包括，端到端记忆网络以及键值记忆网络。除此之外，我也会论及神经图灵机以及 Stack Augmented Recurrent Neural Networks。这次授课中，我会逐一讨论每个模型及其变种的利与弊。结束时，我会讨论一下这些模型以及潜在开放问题中仍然欠缺的东西。

视频、ppt下载请见文末。

课程ppt如下：

视频，ppt下载地址：https://pan.baidu.com/s/1slb70AT