教你用python实现游戏图像识别，让计算机全自动替你玩转“跳一跳”

昨天，我们用Excel完成了一个跳一跳的辅助工具，没错，就是那个制表格的家伙噢。。。

不过呢，还是需要一部分手动的，需要人工找出画面上的起跳点和落脚点，告诉了Excel之后，Excel才能控制小人跳跃。

今天，我们来尝试下，能不能用python完全自动化的解决这个问题呢？

里面有各种学习资料和我整理的一份2018最新0基础入门视频，都无偿提供给大家，还有各种资料和开发工具包满足大家，希望搭建一个好的学习环境，每天里面更新最新Python市场行情。‘

二、实际效果

上述流程图中，读取屏幕、计算距离、跳跃，都是稳定的技术手段，相信看看后面简单的介绍你肯定能搞定。

识别小人位置和着落点的算法才是难点，也是实现全自动跳跃的关键环节，并且如果游戏内容发生变化，识别算法还需要跟进做适应性修改。好吧，先看下本代码的实际识别效果

为了调试图片识别算法，我把手机屏幕读入计算机后，取了一个不重复的时间戳放在文件名中，这样每一步的截图都能顺序保留下来。其后执行图像分析识别时，再将识别过程标记在图片上，最后保存识别的结果。这么处理之后，如果算法有问题就很容易发现问题并加以调试了。

三、实现技术

1、实现对手机的控制，基于ADB 命令行实现。这是一个官方的android手机工具包，很小，下载后也无需安装，直接运行命令行就能完成截屏、传文件、点击等任务。

3、实现图片内容的识别

引入PIL(Python Imaging Library)，它能提供基本图像操作,比如图像缩放、裁剪、旋转、颜色转换等，

可以用其中的Image.open 加载图片文件，getpixel读取指定点的颜色，putpixel修改指定点的颜色，save用于保存修改后的图片，show调用Windows照片查看器来显示图片,方便调试。

四、主要算法

1、【从手机读取当前游戏屏幕】

os.system("adb shell screencap -p 手机上的文件名")os.system("adb pull 手机上的文件名 本地磁盘的文件名")

2、【识别出画面中小人位置和目的地中心点位置+计算出两点之间的距离点数】

专门用了一个distance函数，该函数输入的参数是（图片文件名，识别结果文件名），输出就是距离点数

其中图片文件名就是前一步骤的“本地磁盘的文件名”。识别的过程中，在原图片上做辅助线绘图，并把识别的效果保存在新文件中，这样如果有识别错误的场景，就可以对比识别前后的图片，进而调整distance的算法了。

distance函数的具体内容较长，简单讲下思路，具体实现请直接看源码。

distance函数算法：拿到图片后，首先找小人，以脚部颜色为特征，搜索到后取均值。然后以屏幕上方空白处颜色为种子，逐行搜索到最顶部物件的顶点，由于屏幕背景色为渐变色，搜索时逐行替换新的背景色，避免偏差较大。找到物件顶点后，以其为出发点向下逐行判断物件宽度，找到最宽的一行，该行物件宽度中点即为目的地。

3、【需要按压屏幕的时间=距离X经验系数】

按压时间 = int(距离 * 系数)

4、【按照指定的时间模拟按压屏幕】

os.system("adb shell input swipe 10 20 15 {:d} {:d}".format(random.randint(20, 80), int(距离 * 系数))))

五、关于成绩的有效性

写这个代码主要乐趣在完成控制任务本身，而不在于分数能不能保留。所以没做太多掩饰。即便如此，实测现在的代码自动跳跃也是能产生有效成绩的，如果你的成绩无效，请注意检查下:1、分数太高超出人力极限的分数肯定不保留。2、正常分数幅度内的，系统也可分析你的操作是否规律来判断是不是外挂，譬如始终差不多的频率跳一下，每次都能命中中心点，每次模拟滑动都触摸同一个位置，那么也很容易分析出你是机器人操作。

所以，如果你分数丢失的话，请自行调整代码，加随机数让点击屏幕的位置不同，不要每次都命中中心，两次跳跃之间要加一点随机延时。

六、实验代码下载

下载的代码执行时请注意修改这两处

运行界面