是时候展示一波花里胡哨了——以图搜图

导读

前段时间分享一个小视频，今天来详细讲解一波如何实现以图搜图，这篇写了好几天，自身能力有限可能没办法写的非常完美，也没有办法把所有点都讲的非常的仔细，但是我都会附上详细的链接，大家有什么不懂的都可以去查一哈，我觉得这个项目还是挺有趣的，最后我还附上了一个视频操作，第一次录视频意外多多，不足之处请大家见谅，如果尝试过后觉得不错的可以帮忙点一波“在看”或者分享朋友圈和群，小编会万分感谢的！！！

全文共 3600 字，16幅图表截屏

预计阅读时间 9分钟。

一、什么是以图搜图

广义上，图像搜索的分类可以分为两种，

（1）基于上下文本的图片搜索

例如：百度，在搜索框中输入“搜索文字”，点击“图片搜索”，即可获得图片搜索结果；

（2）基于图片内容的搜索

基于图片中特征进行搜索

详细内容可以查看：

《当SIFT邂逅CNN：图像检索任务跨越十年的探索历程》https://www.jianshu.com/p/80159860d4e0

图像搜索在现在应用的非常普遍，是一个非常有趣和实用的工具。相对于关键字搜索，以图搜图的方式更加的方便，特别对于特征难以用文字描述的，这个时候图像搜索就能展示出它的强大了。

当然还有很多应用场景： 例如，

你需要的图片有水印，想要找到无水印的版本。 你需要的图片分辨率太低，想要找到高清的图片。 你需要的图片只是一部分，想要找到完整的版本。 逛论坛时发现了一个美女，你想要知道她的资料。 图片是某个电影里的截图，你想要知道它的出处。 你想知道你的原创图片是否被他人转载或者盗用。 你看到一个帅哥或美女穿着十分亮眼，想要买同款。 有一个长得很漂亮的美女主动加你微信，说头像是本人。 朋友送了你一个不知道什么的国外品牌，你好奇到底是什么。 。。。

二、常见的以图搜图的网站

百度识图：https://www.baidu.com/

拍立淘：http://www.pailitao.com/

360图片：http://image.so.com/

更多的可以查考：https://www.runningcheese.com/cbir

例如百度的以图搜图步骤如下：

（1）打开百度（www.baidu.com）

（2）基于文本的图片搜索：

（3）基于图片内容的图片搜索：

1、点击“相机”图标

2、拖拽图片

3、自动显示结果

三、基于内容的图像搜索原理

这里以淘宝的产品拍立淘为例，

拍立淘的原理：

参考：https://www.sohu.com/a/164506831_468650

实际上，拍立淘图像搜索的过程分为两步，

第一步：识别物品种类

第二部：相似度匹配

-------------------------------------------

（1）识别物品种类（目标检测）：当你拿起手机拍照的时候，手机淘宝会对图片中的所有物品进行识别，然后提示让你选择你所需要的找的相似物品类别是什么，这个过程实际上就是一个目标检测（如下图所示）；

对于上面的图中，含有衣服以及书包，此时软件会让你根据需求进行选择相应的类别，在对应类别的库中搜索相似的商品并输出结果；

（2）相似度匹配：第一步的目的找到对应的类别，而找到了对应的类别还不能满足我们的需求，比如找到了书包，但实际上书包的款式多种多样，还是无法满足我们的需求，对于上图中，如果我们用语言去描述这个书包，很难准确的描述并找到目标商品，这时就体现了以图搜图的价值了，通过对目标商品进行特征提取并在图片库中进行对比，找到最相似的结果并输出。

由于淘宝的应用场景复杂，种类繁多，而这里我们只想演示一下而已，所以做了一个简单的展示，截取重点的部分进行代码演示：

原理：

具体步骤：

（1）图片获取——通过关键字，爬取百度上面的图片

（2）对获取的图片提取特征，建立特征索引库

（3）对测试图片进行特征提取，并在索引库中比较，按相似度排序并输出

四、代码实现

所采用的工具python3.6,keras2.2.4

1）图片获取——通过关键字，爬取百度上面的图片

这里不详细说明爬取百度图片的原理和细节，因为我毕竟不是非常懂，重点讲解一下如何使用，具体的原理和代码可以查看下面的链接https://blog.csdn.net/qq_40774175/article/details/81273198

详细操作:

1、新建一个名字为name.txt的文档，并输入需要的关键字（支持多个关键自）

备注：我在name.txt中输入 dasima（换行） wuwukai

这里关键词不要用中文的，不然会对后面的操作会报错

2、运行代码pachong.py，输入每个对应关键字所需要下载的图片数量

此时程序会从网上爬取到图片并保存到对应的文件夹中（以关键词命名的文件夹），获取完毕后新建一个文件夹img，当做图片库的存储，并将爬取的图片都放进去；

-----------------------获取图片完毕-----------------------

（2）对获取的图片提取特征，建立特征索引库

这里参考《python计算机视觉》的作者之一，袁勇github上面的代码

https://github.com/willard-yuan/flask-keras-cnn-image-retrieval

主要的代码为三个，其中index.py用于提取图片的特征和建立索引，query_online.py用于库内搜索

其基本原理是利用VGG16的预训练模型提取图片库的特征（extract_cnn_vgg16_keras.py），同时会将最终输出的特征向量进行归一化，并建立一个索引库

使用方法：

# 建立索引库# python3 index.py -database <path-to-dataset> -index <name-for-output-index>index.py -database <path-to-dataset> -index <name-for-output-index># 对database文件夹内图片进行特征提取，建立索引文件featureCNN.h5python3 index.py -database database -index featureCNN.h5

（3）对测试图片进行特征提取，并在索引库中比较，按相似度排序并输出

这里采用的相似度实际上是利用测试图片的特征向量（VGG16提取）归一化后与索引库相乘，就是由于特征向量都进行了归一化，当测试图片的特征向量如果与索引库中的某一列的乘积等于1，即说明他们是完全相同的。

其他情况，结果由向量积计算结果可知其相似度的值。

# 在线测试# python query_online.py -query <path-to-query-image> -index <path-to-index-flie> -result <path-to-images-for-retrieval># 使用database文件夹内001_accordion_image_0001.jpg作为测试图片，在database内以featureCNN.h5进行近似图片查找，并显示最近似的3张图片python3 query_online.py -query database/001_accordion_image_0001.jpg -index featureCNN.h5 -result database

注意：这里有个地方可能会报错，当然作者也给出了解决方案

这里，我斗胆进行了一点点的修改，

（1）增加了一个异常处理操作，主要是为了方便，即使手误输错也能继续运行，这个在之前的文章中有讲解过；

学会这招再也不怕手误让代码崩掉

（2）作者最终显示的结果只能一张一张的展示，没有对比图，因此我稍微修改了一下，让可视化的效果更加的美观一些，有兴趣的可以参考我的代码；

（3）我对参数输入也进行了修改，将模型名字和图片库的路径都固定了，这样子测试的时候比较方便，大家在使用的时候请注意下，如果修改了名字要对应起来。

#操作汇总# （1）打开终端执行index.py代码python3 index.py -database img -index lol.h5# 此时已经将图片库转成索引库并保存和输出lol.h5模型# (2)继续运行代码 query_online.pypython3 query_online.py# 按照提示，如果要退出输入 exit 查询直接enter# 输入测试图片 名字即可（如果测试图片额代码不在同一路径下需要增加路径——这里 设置EI相对路径）

代码：https://github.com/DWCTOD/flask-keras-cnn-image-retrieval-master

可以的话，也可以点一下下star，感谢