睡眠与深度学习之间的联系

一个人可以多久不睡？ 世界纪录是11天。 然而，当Randy Gardner在1965年创下这一纪录时，他可能在此期间虽然是醒着的，但他基本上已经处于“认知功能障碍”状态。 如果Randy Gardner不睡眠超过两周，他可能会死亡。

有些动物似乎一直清醒。 鲸鱼和海豚（即鲸类动物）需要保持清醒，因为它们需要定期到水面呼吸氧气。 鲸类只有一半的大脑在任何时候都能入睡，从而保持清醒。

睡眠的认知目的是一个开放的问题。 然而，最近科学家们对睡眠的两个重要阶段的目的有了一个新的猜想（“睡眠中的记忆重现如何促进创造性解决问题”）。

根据研究，大脑经历了90分钟的REM和Non-REM睡眠周期。 非REM睡眠涉及获取的记忆的顺序重放。 相比之下，快速眼动睡眠涉及更多随机关联游戏，涉及不同的记忆。 在深度学习中，这分别类似于优化和探索的搜索算法。 也就是说，我们在非快速眼动睡眠期间强化了我们的记忆，并且我们在快速眼动睡眠期间想象新的关联。 当我们睡觉时，我们的大脑在优化和探索之间交替。 实际上，我们在睡觉时进行学习。

巧合的是，有人建议，少于45分钟的小睡会增强“创造性思维”。这些小睡可以让REM睡眠起作用，并避免慢波睡眠，从而导致头昏眼花和迷失方向。黑客在午睡前喝一杯咖啡，以便咖啡因在45分钟的时间内起作用。

这种在我们睡眠时进行学习的观点对许多人来说可能是一个惊喜。 通过睡眠学习，这是许多受过音乐训练的人的共同经历。 某一个技巧在一天的训练中没有改善，但第二天却突然得到了改善。 在一项西北大学的研究中（“在睡眠中学习某首曲子”），在慢波睡眠期间播放了一首音乐曲调，表现出对曲调的更好记忆。 在德国的一项研究中（“在睡眠中通过口头提示促进词汇学习”），受试者在非REM睡眠期间暴露时会改善德荷语翻译。 这种“睡眠学习”可能是解决现有深度学习架构相对较差泛化能力的关键思路。

David Ha和Jurgen Schmidhuber最近发表了一篇名为“世界模型”的论文，他们描述了一种通过前期获得的记忆进行“梦想”或“幻觉”来学习的系统。 在该论文中，作者描述了学习一个世界的紧凑表示（通过一个自动编码器），然后重建这个压缩环境，以学习改进驱动未来行为所需的策略功能。论文的一个缺点是从先前获得的观察的粗略近似中学习行为的有效性。

由于昂贵的采样成本，强化学习难以扩展。 换句话说，学习代理必须多次与世界（即环境）进行交互，才能获得适当的强化来学习。 然而，如果一个代理人能够创造一个“心理模型”或世界的“模拟”，那么它应该能够以更具成本效益的方式进行这种抽样。 要实现这个目标，需要一个重播记忆，一个好的生成模型或两者兼备。

最终，人们可以将智能视为不仅仅是压缩世界模型并进行预测的能力。 但是，情报的度量应该是“抽样效率”，而不仅仅是压缩。 仅依靠压缩思想的问题在于，它在乔姆斯基层次结构的更高层次上刷新了自动化的要求。 也就是说，人们可以用有限自动机来创建好的压缩算法。 然而，智能可能需要一个图灵机，而作为世界良好表征的模型也需要图灵机来构造和解释。

深度学习领域的最新发展现在开始探索内部“想象世界”的创造。 这与我之前声称的体现式学习对人工智能至关重要。 然而，扩大'感知'和'感知破坏'的唯一真正方法是在白天预留足够的时间来睡觉。 传统强化学习中的盲点是生物系统只有在清醒时才能学习的错误假设。

来源：深度学习实验室

编辑：格格