深度学习的半监督遥感图像检索

基于内容的遥感图像检索(Content-Based Remote Sensing Image Retrieval, CBRSIR)是基于内容的图像检索技术在遥感图像上的应用。CBRSIR基于遥感图像本身的特征，由系统代替用户进行遥感图像的描述、提取和分析，是目前遥感图像检索技术研究的重要方向，也是数字地球等重大项目中解决信息检索难题的一项关键技术。

近年来，深度学习方法在传统的语音识别、目标识别和探测、自然语言处理以及其他的一些应用领域都取得了很大的成功。深度学习思想的发展为图像特征的获取提供了新思路。在遥感图像大数据的背景下，通过对大规模遥感图像数据进行训练，更加复杂强大的深度学习模型能从根本上揭示海量遥感图像中潜在的复杂而又丰富的数据信息，得到大量更具代表性的特征信息。

遥感地球所科研人员提出了一种基于深度学习的半监督遥感图像检索方法，处理流程如图1所示。图像预处理主要作用是去除噪声、去除相关性等，以提高后续特征提取的有效性。预处理完成后，采用无监督的稀疏自动编码进行遥感图像的特征提取；然后，对图像进行卷积处理并建立图像特征库，接下来采用有监督的Softmax分类器进行图像分类；最后，通过相似度匹配实现遥感图像检索。

图1. 方法处理流程示意图

模 型 方 法

稀疏自动编码

自动编码算法（Auto-Encoder）是深度学习的一种典型的算法，是由Bourlard（1988）首次提出的，该种算法通过无监督学习进行逐层训练，特征训练时无需有标签的数据集，并且能够很好地表示数据空间的固有几何结构。

稀疏自动编码（Sparse Autoencoder）是在自动编码的基础上加上稀疏性限制，即稀疏模式的自动编码。稀疏自动编码是无监督的，适合在大量的无标注遥感图像上进行特征字典的提取。稀疏自动编码的典型的网络结构如图2所示，包括输入层、隐藏层和输出层，其中，+1为偏置项。

图2. 稀疏自动编码示意图

方法中稀疏自动编码的输入为遥感图像块。图像块的大小是经验值，过小不足以描述图像的特征（如边缘等）；过大会使训练过程中出现过拟合。实验中采用的图像块大小为8*8像素，隐藏层结点设置为400个，训练得到特征字典如图3所示。

图3. 稀疏自动编码特征字典

卷积和池化

卷积神经网络（Convolutional Neural Network, CNN）由加拿大多伦多大学教授Yann LeCun（1989）和他的同事们一起提出。CNN是一种包含卷积层的深度神经网络模型，其权值共享的网络结构降低了网络模型的复杂度，减少了权值的数量。方法采用的CNN如图4所示，将稀疏自动编码学习到的特征字典用于大量的训练图像和测试图像的卷积。通过卷积获取图像的特征规模十分庞大，用这些特征进行图像的分类，很容易出现过拟合的现象，并且会产生很大的计算量。同时，采用池化（Pooling）方法解决卷积神经网络输出维数过大问题，大大减少需要训练的参数。常用的池化方法有最大值池化和均值池化两种，均值池化能减少邻域大小受限而造成的估计方差增大产生的误差，更多的保留图像的背景信息，用于图像检索，因此方法采用的是均值池化的方法。

图4. 遥感图像卷积和池化过程

Softmax分类器

相似度匹配

对于每一幅查询图像，计算其池化后的特征，并通过Softmax分类得到此图像的类别，最后利用欧式距离衡量查询图像与图像集中跟它同类图像的相似度，实现图像检索。

实 验 与 分 析

实验数据与评价准则

实验采用的计算机配置是Intel(R) Core(TM) i5-3470处理器，12G内存，使用的遥感数据来源为Pleiades和Spot5卫星的全色波段数据。Pleiades全色波段分辨率为0.5m，Spot5全色波段分辨率为2.5m，尝试使用不同分辨率遥感图像进行检索，比较图像的分辨率是否影响检索结果，探讨本研究方法是否适用于不同分辨率的遥感图像的检索。从上述两种卫星图像中截取7000幅大小为64×64的图像组成图像库，其中训练图像为3000幅，测试图像为4000幅。按照图像所包含的主要地物类型，将图像块划分为五种地物类型：水体、植被、城市、农田和裸地。

方法的评价准则采用分类准确度和检索准确度，计算公式如下

实验结果分析

1

参数分析

（1）隐藏层神经元个数

由于分类准确度直接影响检索准确度，这里采用分类准确度来度量网络参数的优劣。针对不同个数的隐藏层神经元进行实验，对应的分类准确度如表1所示，方法最终采用400个隐藏层神经元。

表1. SA不同隐藏层结点数的影响

（2）池化区域大小

为了评估池化区域大小对结果的影响，用不同的池化区域进行试验，得到的分类准确度如表2所示。最终方法选取池化区域大小为19*19像素，进行检索实验。

表2. 不同池化区域的影响

2

检索结果分析

（1）检索结果

图6. 遥感图像集检索结果示例

（2）检索准确度

对五类地物分别进行检索，每次检索分别返回20、40、60、80、100幅图像，每类地物取20次检索结果平均值，总的检索结果取五类地物平均值，检索准确度如表3所示。从表中可以看出，随着图像检索数目的增加，检索准确度下降并不明显。当返回图像数量为100时，检索准确度为90.6%。

表3. 检索准确度表

（3）对比实验

图7展示了当输入为同一幅遥感图像时，不分类直接检索和分类后进行类内检索这两种情况下的检索结果（返回前20幅图像）。可以看出进行类内检索有效的减少了相似性高的地物的干扰。在MATLAB中对检索速度进行测试，分别取10次检索时间的平均值，不进行分类的检索平均用时为2.404996s，进行分类时检索平均用时为1.88439s（包括检索图像分类时间），检索速度提高了27.6%，这对于大数据的遥感图像的检索具有重要的意义。

（a）不进行分类时检索结果

（b）进行分类时检索结果

图7. 检索结果对比图（其中红色方框代表错误的检索结果）

基于深度学习的半监督遥感图像检索方法采用稀疏自动编码算法对海量遥感图像进行无监督学习，训练时无需大量标签，避免了对海量遥感图像的标注工作，大大提高方法的自动化程度。同时，方法将卷积神经网络共享权值的思想引入到特征提取过程中，对遥感图像进行卷积处理，并进行池化以减少特征维度，提取出有效的特征对图像进行表示。另外，借助有监督的Softmax分类器将遥感图像分类，在缩小检索范围的同时提高了检索速度。

以上内容摘编自《深度学习的半监督遥感图像检索》，原载于《遥感学报》2017年第3期，原作者张洪群、刘雪莹、杨森、李宇。