“
很多网站登录都需要输入验证码,如果要实现自动登录就不可避免的要识别验证码。本文以一个真实网站的验证码为例,实现了基于 KNN 的验证码识别。
准备工作
这里我们使用 OpenCV 做图像处理,所以需要安装下面两个库:
识别原理
我们采取一种有监督式学习的方法来识别验证码,包含以下几个步骤:
图片处理:对图片进行降噪、二值化处理。
切割图片:将图片切割成单个字符并保存。
人工标注:对切割的字符图片进行人工标注,作为训练集。
训练数据:用 KNN 算法训练数据。
检测结果:用上一步的训练结果识别新的验证码。
下面我们来逐一介绍每一步的过程,并给出具体的代码实现。
图片处理
先来看一下我们要识别的验证码是长什么样的:
上图可以看到,字符做了一些扭曲变换。仔细观察,还可以发现图片中间的部分添加了一些颗粒化的噪声。
我们先读入图片,并将图片转成灰度图,代码如下:
经过上面的处理,我们的彩色图片变成了下面这样:
将图片做二值化处理,代码如下:
127 是我们设定的阈值,像素值大于 127 被置成了 0,小于 127 的被置成了 255。处理后的图片变成了这样:
接下来,我们应用高斯模糊对图片进行降噪。高斯模糊的本质是用高斯核和图像做卷积,代码如下:
降噪后的图片如下:
上图可以看到一些颗粒化的噪声被平滑掉了。降噪后,我们对图片再做一轮二值化处理:
现在图片变成了这样:
好了,接下来,我们要开始切割图片了。
切割图片
这一步是所有步骤里最复杂的一步。我们的目标是把最开始的图片切割成单个字符,并把每个字符保存成如下的灰度图:
首先我们用 OpenCV 的 findContours 来提取轮廓:
我们把提取的轮廓用矩形框起来,画出来是这样的:
可以看到,每个字符都被检测出来了。但这只是理想情况,很多时候,相邻字符有粘连的会被识别成同一个字符,比如像下面的情况:
要处理这种情况,我们就要对上面的图片做进一步的分割。字符粘连会有下面几种情况,我们逐一来看下该怎么处理。
①4 个字符被识别成 3 个字符
这种情况,对粘连的字符轮廓,从中间进行分割,代码如下:
分割后,图片变成了这样:
②4 个字符被识别成 2 个字符
4 个字符被识别成 2 个字符有下面两种情况:
对第一种情况,对于左右两个轮廓,从中间分割即可。对第二种情况,将包含了 3 个字符的轮廓在水平方向上三等分。
具体代码如下:
分割后的图片如下:
③4 个字符被识别成 1 个字符
这种情况对轮廓在水平方向上做四等分即可,代码如下:
分割后的图片如下:
对图片分割完成后,我们将分割后的单个字符的图片存成不同的图片文件,以便下一步做人工标注。
存取字符图片的代码如下:
字符图片保存在名为 char 的目录下面,这个目录里的文件大致是长这样的(文件名用时间戳命名,确保不会重名):
接下来,我们开始标注数据。
人工标注
这一步是所有步骤里最耗费体力的一步了。为节省时间,我们在程序里依次打开 char 目录中的每张图片,键盘输入字符名,程序读取键盘输入并将字符名保存在文件名里。
代码如下:
这里一共标注了大概 800 张字符图片,标注的结果存在名为 label 的目录下,目录下的文件是这样的(文件名由原文件名+标注名组成):
接下来,我们开始训练数据。
训练数据
首先,我们从 label 目录中加载已标注的数据:
接下来,训练我们的模型:
训练完,我们用这个模型来识别一下新的验证码。
检测结果
下面是我们要识别的验证码:
对于每一个要识别的验证码,我们都需要对图片做降噪、二值化、分割的处理(代码和上面的一样,这里不再重复)。
假设处理后的图片存在变量 im_res 中,分割后的字符的轮廓信息存在变量 boxes 中,识别验证码的代码如下:
运行上面的代码,可以看到程序输出:
图片中的验证码被成功地识别出来。我们测试了下识别的准确率,取 100 张验证码图片(存在 test 目录下)进行识别,识别的准确率约为 82%。
看到有人说用神经网络识别验证码,准确率可以达到 90% 以上,下次有机会可以尝试一下。
完整代码已上传 GitHub,所有训练数据、测试数据、已标注图片都已上传百度网盘,后台回复“验证码”可获取地址。
作者:沈仲强
编辑:陶家龙、孙淑娟
沈仲强
资深 Python 程序员,先后供职于 Morgan Stanley 和 ebay,擅长爬虫、Web 开发、数据分析。
领取专属 10元无门槛券
私享最新 技术干货