大家好，欢迎来到IT知识分享网。

论文：https://ieeexplore.ieee.org/document/9646959

代码：https://github.com/SUST-reynole/DESSN

1. 概述

目前应用于超高分辨率遥感影像变化检测的方法中依然存在两个主要的问题。一是它们要么忽略了双时相图像的原始信息，要么没有充分利用双时相图像之间的差异信息，导致变化目标内部的低紧密性。二是孪生卷积神经网络用于变化检测总是采用的是双分支编码器，这样极大地增加了计算代价。针对以上问题，该论文提出了一种应用于超高分辨率遥感影像变化检测的轻量化的差异增强以及非局部空谱信息融合（DESSN）方法。本文主要做出了三个贡献。首先，我们设计了可以有效学习前景和背景之间差异信息的差异增强（DE）模块，从而减少无关变化对检测结果的影响。其次，我们提出了不同于原始non-local模型的非局部空谱特征融合（SSN）模块，它结合了多尺度空间全局特征来模拟变化检测过程中大范围的变化。这个模块可以用来增强变化目标的边缘完整性和内部紧密性。最后，利用结合Ghost的非对称双卷积（ADCG）模块代替原始的卷积。由于水平和垂直卷积核具有良好的轮廓保留优势，因此ADCG模块可以更好地细化变化对象的边缘信息，另外还可以大大降低所提出模型的计算复杂度。在两个公共的超高分辨率变化检测数据集上的实验表明，我们所提出的方法不仅获得了更高的检测精度，而且降低了内存消耗。

2. 方法

本文利用Siamese的思想在U-Net网络上进行改进，提出了用于超高分辨率遥感影像变化检测的基于差异增强和非局部空谱特征融合网络，其结构如图1所示。

Fig. 1: The framework of the proposed network. The ADCG module aims to refine the extracted features and reduce computations. The DE module is purposed to make full use of differences to emphasize the changed features. The SSN module introduces multi-scale parallel sampling (MPS) module to strengthen the edge integrity and internal tightness of changed objects. out1, out2, and out3 indicate the three outputs of the DE module. 

具体贡献：

1）差异增强（DE）模块：为了进一步有效地构建双时相图像之间的关系，在每一个特征提取层中双时相特征图的差异图上使用注意力机制，然后将所获得的带有权重的差异图与原始特征图相加，从而加强变化目标之间的关系，降低未变化区域对检测结果的影响，并用加强后的差异图像进行跳跃连接，为上采样提供更加准确的位置信息，结构示意图如图2所示。

Fig. 2: Structure of difference enhancement module, where “-” implies difference operation, “+” implies element-wise summation, and “ ×” implies multiplication operation.

2）非局部空谱特征融合（SSN）模块：为了加强变化对象的边界完整性和内部紧密性，且降低特征融合中的冗余，拟采用非局部模块。但非局部模块涉及到矩阵的乘积运算，计算量庞大，于是设计了多尺度并行采样（MPS）模块，将其嵌入到非局部模块中，既能降低运算复杂度，又将空间信息与光谱信息进行了融合，从而提高了检测精度，其结构示意图如图3所示。

Fig. 3: Architecture of the SSN module. MPS is the multi-scale parallel sampling module described in detail on the left side.

3）结合Ghost的非对称双卷积（ADCG）模块：为了降低模型的内存消耗并提高对边缘信息的提取，将原始U-Net网络中的双卷积（DC）替换为非对称双卷积（ADC）模块，即用并联的条形卷积代替原DC中的第二个方形卷积。为进一步降低模型的参数量，引入Ghost的思想。具体地，在每一层卷积操作中，用一半的ADC模块进行特征提取，然后利用所获得的特征图进行线性变换获得新的特征图，具体的结构示意图如图4所示。

Fig. 4: Architecture of the ADCG module. The same color in feature maps indicates similar features.

3. 实验

本文在两个公开的数据集上进行实验，分别为LEVIR-CD数据集、CDD数据集。采用精度（Precision, Pre）、召回率（Recall, Rec）、F1分数（F1-Score, F1）三个评价指标对实验结果进行评价。

3.1 对比实验

本文所提出的方法在LEVIR-CD数据集、CDD数据集上分别与Siam-UNet（baseline）, FC-EF [1], FC-Siam-conc [1], FC-Siam-diff [1], W-Net [2], FCN-PP [3], DSIFN [4], FDCNN [5] 8种方法进行对比，在LEVIR-CD数据集上的实验结果如图5所示，定量分析如表1所示；在CDD数据集上的实验结果如图6所示，定量分析如表2所示。

Fig. 5: Visual comparison of results of three different situations: sparse changes (row 1); large changes (row 2); dense changes (row 3). (a): pre-temporal image; (b): post-temporal image; (c): label; (d): U-Net; (e): FC-EF; (f): FC-Siam-conc; (g): FC-Siam-diff; (h): W-Net; (i): DSIFN; (j): FCN-PP; (k): FDCNN; (l): ours.

TABLE I: QUANTITATIVE ANALYSIS OF LEVIR-CD DATASET CHANGE DETECTION RESULTS, THE BEST VALUES ARE IN BOLD

Fig. 6: Visual comparison of results of three different situations: sparse small changes (row 1); complex changes (row 2); large changes (row 3). (a): pre-temporal image; (b): post-temporal image; (c): label; (d): U-Net; (e): FC-EF; (f): FC-Siam-conc; (g): FC-Siam-diff; (h): W-Net; (i): DSIFN;(j): FCN-PP; (k): FDCNN; (l): ours.

TABLE II: QUANTITATIVE ANALYSIS OF CDD DATASET CHANGE DETECTION RESULTS, THE BEST VALUES ARE IN BOLD

另外，我们还对所提出的方法的效率与其他对比方法进行了比较，定量分析结果如表3所示。实验结果表明，在使用了较多模块后，我们总的模型大小相较于baseline来说，压缩了一半多，参数量以及计算量均得到了有效的降低。

TABLE III: COMPARISON OF THE EFFICIENCY OF DIFFERENT NETWORKS ON LEVIR-CD DATASET, THE BEST VALUES ARE IN BOLD

3.2 消融实验

本文提出了三个模块，表3展示了在LEVIR-CD数据集上的消融实验的结果，验证了我们所提出的各个模块对性能提升的有效性。

TABLE IV: QUANTITATIVE ANALYSIS OF ABLATION EXPERIMENTS ON LEVIR-CD DATASET, THE BEST VALUES ARE IN BOLD

4. 总结与展望

本文从提升超高分辨率遥感影像变化检测精度和降低双分支模型参数量和计算量两个角度出发，提出了基于DE模块、SSN模块以及ADCG模块的DESSN网络，旨在加强检测目标的边缘完整性和内部紧密性。在两个公开的变化检测数据集上的实验结果表明，我们的所提出的网络不仅获得了较高的检测精度，而且大大降低了模型存储的内存消耗。事实上实现模型的轻量化并不一定会提升网络运行速度，因此在未来进一步探究模型压缩问题的同时继续探究模型加速的问题，最终目标是在提升检测精度的前提下，实现一个同时兼顾模型压缩与模型加速的高效方法。

参考文献：

[1] R. C. Daudt, B. L. Saux, A. Boulch, “Fully convolutional Siamese networks for change detection,” in Proc. Int. Conf. Image Process. (ICIP), 2018, pp. 4063-4067.

[2] B. Hou, Q. Liu, H. Wang, et al., “From W-Net to CDGAN: Bitemporal Change Detection via Deep Learning Techniques,” IEEE Trans. Geosci. Remote Sens., vol. 58, no. 3, pp. 1790-1802, 2019.

[3] T. Lei, Y. Zhang, Z. Lv, et al., “Landslide inventory mapping from bitemporal images using deep convolutional neural networks,” IEEE Geosci. Remote Sens. Lett., vol. 16, no. 6, pp. 982-986, 2019.

[4] C. Zhang, P. Yue, D. Tapete, et al., “A deeply supervised image fusion network for change detection in high resolution bi-temporal remote sensing images,” ISPRS J. Photogramm. Remote Sens., vol. 166, pp. 183-200, 2020.

[5] M. Zhang and W. Shi, “A feature difference convolutional neural network-based change detection method,” IEEE Trans. Geosci. Remote Sens., vol. 58, no. 10, pp. 7232-7246, 2020.