DQN算法是一种深度强化学习算法（Deep Reinforcement Learning，DRL），DQN算法是深度学习（Deep Learning）与强化学习（Reinforcement learning）结合的产物，利用深度学习的感知能力与强化学习的决策能力，实现了从感知到动作的端到端（End to End）的革命性算法。DQN算法由谷歌的DeepMind团队在NIPS 2013上首次发表，并在Nature 2015上提出由两个网络组成的Nature DQN。
在强化学习(十一) Prioritized Replay DQN中，我们讨论了对DQN的经验回放池按权重采样来优化DQN算法的方法，本文讨论另一种优化方法，Dueling DQN。本章内容主要参考了ICML 2016的deep RL tutorial和Dueling DQN的论文<Dueling Network Architectures for Deep Reinforcement Learning>(ICML 2016)。
强化学习逐渐引起公众的注意要归功于谷歌的DeepMind公司。DeepMind公司最初是由Demis Hassabis, Shane Legg和Mustafa Suleyman于2010年创立的。创始人Hassabis有三重身份：游戏开发者，神经科学家以及人工智能创业者。Hassabis游戏开发者的身份使人不难理解DeepMind在Nature上发表的第一篇论文是以雅达利（atari）游戏为背景的。同时，Hassabis又是国际象棋高手，他在挑战完简单的雅达利游戏后再挑战深奥的围棋游戏也就不难理解了。这就有了AlphaGo和李世石的2016之战，以及他在Nature发表的第二篇论文。一战成名之后，深度强化学习再次博得世人的眼球。当然，DeepMind的成功离不开近几年取得突破进展的深度学习技术。本节主要讲解DQN，也就是DeepMind发表在Nature上的第一篇论文，名字是Human-level Control throughDeep Reinforcement Learning。
在强化学习（八）价值函数的近似表示与Deep Q-Learning中，我们讲到了Deep Q-Learning（NIPS 2013）的算法和代码，在这个算法基础上，有很多Deep Q-Learning(以下简称DQN)的改进版，今天我们来讨论DQN的第一个改进版Nature DQN(NIPS 2015)。
在强化学习（九）Deep Q-Learning进阶之Nature DQN中，我们讨论了Nature DQN的算法流程，它通过使用两个相同的神经网络，以解决数据样本和网络训练之前的相关性。但是还是有其他值得优化的点，文本就关注于Nature DQN的一个改进版本: Double DQN算法（以下简称DDQN）。
在2013年DQN首次被提出后，学者们对其进行了多方面的改进，其中最主要的有六个，分别是： Double-DQN：将动作选择和价值估计分开，避免价值过高估计 Dueling-DQN：将Q值分解为状态价值和优势函数，得到更多有用信息 Prioritized Replay Buffer：将经验池中的经验按照优先级进行采样 Multi-Step Learning：使得目标价值估计更为准确 Distributional DQN(Categorical DQN)：得到价值分布 NoisyNet：增强模型的探索能力
在之前的几篇文章中，我们介绍了基于价值Value的强化学习算法Deep Q Network。有关DQN算法以及各种改进算法的原理和实现，可以参考之前的文章： 实战深度强化学习DQN-理论和实践 DQN三大改进(一)-Double DQN DQN三大改进(二)-Prioritised replay DQN三大改进(三)-Dueling Network 基于值的强化学习算法的基本思想是根据当前的状态，计算采取每个动作的价值，然后根据价值贪心的选择动作。如果我们省略中间的步骤，即直接根据当前的状态来选择动作。基
本篇教程是基于Deep Q network(DQN)的教程，缩减了在DQN方面的介绍，着重强调Double DQN和DQN的不同之处。
之前学习了强化学习的一些内容以及推荐系统的一些内容，二者能否联系起来呢！今天阅读了一篇论文，题目叫《DRN: A Deep Reinforcement Learning Framework for News Recommendation》。该论文便是深度强化学习和推荐系统的一个结合，也算是提供了一个利用强化学习来做推荐的完整的思路和方法吧。本文便是对文章中的内容的一个简单的介绍，希望对大家有所启发。
DQN 算法敲开了深度强化学习的大门，但是作为先驱性的工作，其本身存在着一些问题以及一些可以改进的地方。于是，在 DQN 之后，学术界涌现出了非常多的改进算法。本章将介绍其中两个非常著名的算法：Double DQN 和 Dueling DQN，这两个算法的实现非常简单，只需要在 DQN 的基础上稍加修改，它们能在一定程度上改善 DQN 的效果。如果读者想要了解更多、更详细的 DQN 改进方法，可以阅读 Rainbow 模型的论文及其引用文献。
对于这些连续的动作控制空间，Q-learning、DQN 等算法是没有办法处理的。那我们怎么输出连续的动作呢，这个时候，万能的神经网络又出现了。在上面这个离散动作的场景下，比如说我输出上下或是停止这几个动作。有几个动作，神经网络就输出几个概率值，我们用
DQN 发表于 NIPS 2013，在此之后 DeepMind 不断对 DQN 进行改进，首先在 2015 年初发布了 Nature 文章，提出了 Nature 版本的 DQN，然后接下来在 2015 年一年内提出了 Double DQN，Prioritied Replay，还有 Dueling Network 三种主要方法，又极大的提升了 DQN 的性能，目前的改进型 DQN 算法在 Atari 游戏的平均得分是 Nature 版 DQN 的三倍之多。因此，在本文中，我们将介绍一下各个改进的方法，并在最后给出用 Nature-DQN 的实现方法。
选自arXiv 作者：Melrose Roderick等 机器之心编译 论文的复现一直是很多研究者和开发者关注的重点，近日有研究者详细论述了他们在复现深度 Q 网络所踩过的坑与训练技巧。本论文不仅重点标注了实现过程中的终止条件和优化算法等关键点，同时还讨论了实现的性能改进方案。机器之心简要介绍了该论文，更详细的实现细节请查看原论文。 过去几年来，深度强化学习逐渐流行，因为它在有超大状态空间（state-spaces）的领域上要比先前的方法有更好的表现。DQN 几乎在所有的游戏上超越了之前的强化学习方法，并在
本文介绍了强化学习中的马尔科夫决策过程、模型相关的强化学习、模型无关的策略评价、模型无关的策略学习和价值函数近似等概念。作者通过举例来说明这些概念在强化学习中的应用，并提出了针对这些概念的相关算法。最后，作者对强化学习未来的研究方向进行了展望，包括深度强化学习和策略搜索算法等。
大家好，我是架构君，一个会写代码吟诗的架构师。今天说一说深度强化学习——从DQN到DDPG,希望能够帮助大家进步!!!
连续动作（赛车游戏中方向盘的角度，油门，刹车控制信息，通信中功率控制,可由policy gradient、DDPG、A3C、PPO算法做决策）和离散动作（围棋、贪吃蛇游戏，Alpha Go，可通过算法Q-Learning、DQN、A3C及PPO算法做决策）。
深度强化学习是学术界研制游戏 AI 的主流算法。这篇文章我们将用深度强化学习早期代表算法 DQN 算法探索棋牌 AI。
基于值的强化学习算法的基本思想是根据当前的状态，计算采取每个动作的价值，然后根据价值贪心的选择动作。如果我们省略中间的步骤，即直接根据当前的状态来选择动作。基于这种思想我们就引出了强化学习中另一类很重要的算法，即策略梯度(Policy Gradient)。之前我们已经介绍过策略梯度的基本思想和实现了，大家可以有选择的进行预习和复习：
Double-DQN原文：https://arxiv.org/pdf/1509.06461v3.pdf 代码地址：https://github.com/princewen/tensorflow_practice/tree/master/Double-DQN-demo 1、背景 这篇文章我们会默认大家已经了解了DQN的相关知识，如果大家对于DQN还不是很了解，可以参考文章https://www.jianshu.com/p/10930c371cac。 我们简单回顾一下DQN的过程(这里是2015版的DQN)：
在强化学习（十）Double DQN (DDQN)中，我们讲到了DDQN使用两个Q网络，用当前Q网络计算最大Q值对应的动作，用目标Q网络计算这个最大动作对应的目标Q值，进而消除贪婪法带来的偏差。今天我们在DDQN的基础上，对经验回放部分的逻辑做优化。对应的算法是Prioritized Replay DQN。
随着城市化进程的加快和自动技术的最新发展，交通研究逐渐向智能化方向发展，称为智能交通系统（ITS）。人工智能（AI）试图用最少的人工干预来控制系统。智能交通系统与人工智能的结合为21世纪的交通研究提供了有效的解决方案。ITS 的主要目标是为参与者提供安全、有效和可靠的交通系统。为此，优化交通信号控制（TSC）、自动车辆控制、交通流控制等是研究的重点。
首先是原理上的对比，强化学习研究的目标是训练出一个对应于具体任务的好模型，这两个训练策略的方法是不同的。DQN基于值的方法，简单说就是先学出个值函数 ,然后通过值函数确定策略。而PG基于策略的方法则是，直接通过一个目标函数去训练出一个策略
机器之心原创 作者：Shixin Gu 参与：Hao、Panda 交叉路口是自动驾驶系统所面临的难点之一。今年五月，来自宾夕法尼亚大学、本田研究院和乔治亚理工学院的研究者提出了一种使用深度强化学习帮助自动驾驶汽车通过交叉路口的方法。机器之心技术分析师 Shixin Gu 对这项研究进行了解读，论文原文可访问：https://arxiv.org/abs/1705.01196 对无人汽车的研究已经不再仅仅局限于识别交通灯或交通标志的简单过程，而已经扩展到了多个生活场景中。用于衡量自动汽车的一个关键标准是看自动汽
原因：在普通的Q-Learning中，当状态和动作空间是离散且维数不高的时候可以使用Q-Table来存储每个状态动作对应的Q值，而当状态和动作空间是高维连续时，使用Q-Table不现实。一是因为当问题复杂后状态太多，所需内存太大；二是在这么大的表格中查询对应的状态也是一件很耗时的事情。
之前接触的强化学习算法都是单个智能体的强化学习算法，但是也有很多重要的应用场景牵涉到多个智能体之间的交互，比如说，多个机器人的控制，语言的交流，多玩家的游戏等等。本文，就带你简单了解一下Open-AI的MADDPG(Multi-Agent Deep Deterministic Policy Gradient)算法，来共同体验一下多智能体强化学习的魅力。
【磐创AI导读】：本篇文章是深度强化学习专栏的第三篇，讲了第四节无模型的强化学习方法，希望对大家有所帮助。查看上篇关于本专栏的介绍：深度强化学习（DRL）专栏开篇。想要获取更多的机器学习、深度学习资源，欢迎大家点击上方蓝字关注我们的公众号：磐创AI。
蛮挫败的，所以我决定建立一个深度Q网络，用这个网络学习如何在任一电子游戏中打败我的妹妹。
来源：https://zhuanlan.zhihu.com/p/25239682
李林 编译整理 量子位 报道 | QbitAI 出品 今天，马斯克和YC总裁Altman等创办的人工智能非营利组织OpenAI，发布了DQN及其三个变体的TensorFlow实现，以及根据复现过程总结的强化学习模型最佳实现方法。 以下是OpenAI博客文章的主要内容，量子位编译： 我们宣布开源OpenAI Baselines，这是我们内部对发表论文的复现，结果能与论文所公布的相媲美。今天要发布的，包括DQN和它的三个变体。接下来的几个月里，我们将继续发布这些算法。 复现强化学习的结果并非易事：模型的性能有很
中对应价值最大的动作的Q值进行更新，注意这里只是更新，并不会真的执行这个价值最大的动作。这里的更新策略（评估策略）与我们的行为策略（
本文中我们将一起创建一个深度Q网络（DQN）。它基于我们系列文章中（0）的单层Q网络，如果你是强化学习的初学者，我推荐你到文末跳转到（0）开始阅读。尽管简单的Q网路已经可以在简单的问题上和Q表表现一样出色，但是深度Q网络可以使其变得更强。要将简单的Q网络转化为深度Q网路，我们需要以下改进：
机器之心报道 编辑：陈萍、小舟 DeepMind 提出的 Rainbow 算法，可以让 AI 玩 Atari 游戏的水平提升一大截，但该算法计算成本非常高，一个主要原因是学术研究发布的标准通常是需要在大型基准测试上评估新算法。来自谷歌的研究者通过添加和移除不同组件，在有限的计算预算、中小型环境下，以小规模实验得到与 Rainbow 算法一致的结果。 人们普遍认为，将传统强化学习与深度神经网络结合的深度强化学习，始于 DQN 算法的开创性发布。DQN 的论文展示了这种组合的巨大潜力，表明它可以产生玩 Atar
人们普遍认为，将传统强化学习与深度神经网络相结合的深度强化学习研究的巨大增长始于开创性的DQN算法的发表。这篇论文展示了这种组合的潜力，表明它可以产生可以非常有效地玩许多 Atari 2600 游戏的智能体。从那时起，已经有几种 方法建立在原始 DQN 的基础上并对其进行了改进。流行的Rainbow 算法结合了这些最新进展，在ALE 基准测试中实现了最先进的性能. 然而，这一进步带来了非常高的计算成本，不幸的副作用是扩大了拥有充足计算资源的人和没有计算资源的人之间的差距。
选自Medium 作者：Yash Patel 机器之心编译 参与：Jane W 本文先给出 Q 学习（Q-learning）的基本原理，然后再具体从 DQN 网络的超参数、智能体、模型和训练等方面详细解释了深度 Q 网络，最后，文章给出了该教程的全部代码。 在之前的 Keras/OpenAI 教程中，我们讨论了一个将深度学习应用于强化学习环境的基础案例，它的效果非常显著。想象作为训练数据的完全随机序列（series）。任何两个序列都不可能高度彼此重复，因为这些都是随机产生的。然而，成功的试验之间存在相同的关
这是arxiv上最新发表的一篇前沿交叉综述报告。主要讨论了如何使用深度强化学习方法解决智能交通系统问题，特别是智能信号灯控制问题。本公众号将分4次发布本综述报告的翻译，仅供大家参考学习。获取英文原论文请在本公众号回复关键词"强化学习智能交通"。
在第 5 章讲解的 Q-learning 算法中，我们以矩阵的方式建立了一张存储每个状态下所有动作值的表格。表格中的每一个动作价值
基于经典第一人人称射击游戏毁灭战士DOOM的AI挑战赛“Visual Doom AI Competition @ CIG 2016”尘埃落定，Facebook团队和Intel团队的AI分别拿下两个赛制最佳，同时也涌现出若干优秀的学生参赛AI。本文根据最新的公开信息，对赛事本身和卡耐基梅隆大学参赛团队的AI做出简要介绍。 内容列表 背景介绍 游戏毁灭战士DOOM简介 竞赛平台ViZDOOM简介 赛事介绍 赛制与规则 参赛队伍 赛事结果 卡耐基梅陇大学参赛AI介绍 基本模型与算法 遇到困难与解决问题的创新思路
上期我们一起学习了强化学习中的时间差分学习和近似Q学习的相关知识， 深度学习算法(第36期)----强化学习之时间差分学习与近似Q学习 今天我们一起用毕生所学来训练一个玩游戏的AI智能体。
前面强化学习推送到第十二篇，迷宫问题已使用Q-learning解决过，今天使用另一种方法：深度Q网络，简称DQN网络解决。
最近，基于视觉深度Q的学习在雅达利和视觉Doom AI平台被证明成功的结果。与以前的研究不同，格斗游戏假设两个玩家有相当多的动作，在这项研究中，采用深度Q网络（DQN）用于视觉格斗游戏AI的比赛。动作次数减少到11，并利用视觉格斗平台测试了几个控制参数的灵敏度。实验结果表明，对于双人实时格斗游戏的DQN方法有着很大的潜力！ 格斗游戏是一种国际人工智能竞赛平台，具有两个代理之间的匹配。在比赛中，蒙特卡洛树搜索（MCTS）技术是排名在前面的几种方法。近年来，基于视觉的实时游戏AI的数量有所增加，有可能采用基于视
论文地址： https://arxiv.org/pdf/1509.06461.pdf
深度强化学习可以将深度学习与强化学习相结合：深度学习擅长从原始数据中学习复杂的表示，强化学习则使代理能够通过反复试验在给定环境中学习最佳动作。通过DRL，研究人员和投资者可以开发能够分析历史数据的模型，理解复杂的市场动态，并对股票购买、销售或持有做出明智的决策。
在强化学习(十三) 策略梯度(Policy Gradient)中，我们讲到了基于策略(Policy Based)的强化学习方法的基本思路，并讨论了蒙特卡罗策略梯度reinforce算法。但是由于该算法需要完整的状态序列，同时单独对策略函数进行迭代更新，不太容易收敛。
选自towardsdatascience 作者：Steeve Huang 机器之心编译 参与：Edison Ke、路雪 本文简要介绍了强化学习及其重要概念和术语，并着重介绍了 Q-Learning 算
动物，包括人类在内，在空间认知和行动规划方面具有非凡的能力，与其对应的导航行为也在心理学和神经科学中得到广泛研究．1948年， Tolman提出“认知地图(cognitivemap)”概念用于说明物理环境的内在表达，自此，认知地图的存在和形式一直饱受争议．近年来，通过将电极放置在啮齿类动物脑中及研究其电生理记录，位置细胞(placecells)，网格细胞(gridcells)和头朝向细胞(Head-Directioncells,HDcells)等多种有关环境编码的细胞得以被人们熟知．在空间认知过程中，每种细胞有其特定功能，它们相互合作完成对状态空间的表达，各类细胞连接如图１所示。此外，还有证据表明海马体内嗅皮层脑区不仅参与空间记忆， 在规划路径中也具有重要作用。
AlphaGo的出现,让我对机器学习产生了很大的兴趣，学习了 AnderwNG 大神“史坦福大学公开课：机器学习课程”之后开始尝试自己处理相关问题，并在项目中进行实践（一款横板动作游戏），最初采用的是 QLearning 算法（ DQN 算法的前身），在 Unity 中用 C# 实现了 QLearning 算法核心，神经网络和训练等模块，实际效果如下：
即使你不喜欢玩游戏，深度强化学习也很重要。只用看当前使用深度强化学习进行研究的各种功能就知道了：
本章介绍OpenAI 2017发表在NIPS 上的一篇文章，《Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments》。主要是将AC算法进行了一系列改进，使其能够适用于传统RL算法无法处理的复杂多智能体场景。
这里有一份干货教程，手把手带你入门深度强化学习（Deep Reiforcement Learning），背景理论、代码实现全都有，在线领取无需安装哟！
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
云直播
对象存储
