使用神经网络+遗传算法玩转Flappy Bird | 教程

问耕 编译整理 量子位 出品 | 公众号 QbitAI

震惊！《Flappy Bird》火了这么多年，竟然没有中文名字。

没事。这不妨碍各路AI大触用这款游戏练手。比方说今天这个HTML5教程，就是教你使用神经网络+遗传算法，搭建一个玩转小鸟的AI。

提前说一下，教程最后有这个AI的代码下载。所有的代码都是使用Phaser框架使用HTML5完成的。另外，神经网络使用了突触神经网络（Synaptic Neural Network）库，而不是从零开始搭建。

Demo

上面是Demo演示的截图，访问下面这个网址，能够看到这套算法的实际效果。

http://www.askforgametask.com/html5/tutorials/flappy/

不方便观看上面在线Demo，或者没有耐心的同学，可以选择观看下面这个视频演示短片，中间有几倍速度的画面快进。

算法

这套系统的算法，主要是基于NeuroEvolution（神经进化）。这种机器学习方法，使用遗传算法（GA）等进化方法来训练人工神经网络（ANN）。

也就是说，这个例子中的机器学习=遗传算法+神经网络

人工神经网络

人工神经网络是机器学习算法的一个子集，它受到生物神经网络结构和功能的启发，这些网络是由很多彼此发送信号的神经元组成。

一个神经网络由输入层，一个或多个隐藏层，以及输出层组成。每层都有一些神经元，输入和输出层的神经元直接与外部环境相连。

在这个项目中，每个智能体（也就是小鸟）都有自己的神经网络作为闯关的AI大脑。这些大脑由三层组成，结构如下：

1. 一个输入层，两个神经元，代表小鸟到豁口的水平距离和垂直距离
2. 一个隐藏层，六个神经元
3. 一个输出层，一个神经元，执行如下动作：如果输出>0.5就飞一下

上述文字，也可以用下面这张图表示：

遗传算法

我们在这里使用遗传算法，来训练和改进神经网络。

遗传算法顾名思义，是一种借鉴了自然选择和遗传过程的基于搜索的优化技术。这种算法使用相同的选择、组合交叉和变异的组合，来进行初始的随机演化。

以下是我们遗传算法实现的主要步骤：

1. 使用随机神经网络创建10个初始的小鸟（种群）
2. 让小鸟使用他们自己的神经网络，同时起飞玩游戏
3. 对于每个小鸟，计算适应度函数来衡量飞行质量
4. 当所有小鸟死亡时，使用遗传算子把当前种群评估到下一代
5. 重复步骤2

适应度函数

对于上面的第3步，我们深入谈一下适应度函数的细节，以及如何定义。

由于我们想要使用最好的个体（小鸟）来进化种群，所以需要定义一个适应度函数。

一般来说，适应度函数用来衡量对象的质量。我们队每一只小鸟都进行测量，并从中选择合适的个体，用以生成下一代种群。

在这个项目中，我们按照小鸟的飞行距离给予奖励。另外，我们会根据小鸟和下一个豁口的距离给予惩罚。按照这种方式，就可以区别哪些飞行了同样距离的小鸟。

替代策略

对于上面第4步中遗传算法，下面是实现的步骤。基本上，最好的小鸟个体会生存下来，它们的后代会取代表现最差的那些。

1. 现有种群的个体按照适应度进行排序
2. 选择前四名给予奖励，直接把它们传给下一代种群
3. 排名最高的两个个体，进行交叉组合，生成一个后代
4. 前四名中随机选择两个个体，交叉组合产生三个后代
5. 前四名中随机选择两个个体，生成两个直接复制的后代
6. 对于每个后代，施加一些随机变异

代码

上述代码，可以访问如下地址获取：

https://github.com/ssusnic/Machine-Learning-Flappy-Bird

结论

在这个教程中，我们成功的让AI学会玩Flappy Bird这个游戏。在几次迭代之后，我们可以得到一个几乎无敌的小鸟。为了实现这一目标，我们采用了两种机器学习算法：人工神经网络+遗传算法。

如果你对这个项目感兴趣，未来可以尝试改变代码中的一些参数，看看会发生什么。例如，可以改变隐藏层中的神经元数量或者每一代种群的个体数量。当然还可以对适应度函数进行修改，比方加入障碍物之间的距离、重力等等因素。

以及，你可以尝试把类似的理念应用到其他游戏中去！

祝好运~