改进的U-Net网络及在遥感影像道路提取中的应用

　　摘 要：高分辨率遥感图像分割在军事、民用等领域具有良好的应用前景，但由于复杂的背景条件以及干扰物的遮挡，导致现有算法无法较好地从遥感影像中提取道路细节信息。研究基于改进 U-Net 网络模型，提出了 MDAU-Net(multi dimension attention U-Net)网络结构模型：通过对 U-Net 网络结构加深至七层结构来提升精细分割道路的能力;并提出了一种多维注意力模块 MD-MECA(Multi Dimension Modified Efficient Channel Attention)模块，将其添加至编码部分的特征传递步骤中，以达到对编码部分的特征传递进行优化的目的;其中利用 DropBlock 与 Batch Normalization 解决网络训练过程中出现的过拟合。实验结果表明:改进后算法可以有效提升道路的提取效果，在测试集上的准确率达到了 97.04%。

　　孔嘉嫄; 张和生， 中国空间科学技术 发表时间：2021-08-02

　　关键词：遥感影像;道路提取;U-Net 网络;多维注意力;特征传递

　　近年来，我国遥感卫星事业高速发展，对于遥感影像的获取日益简便快捷。由于高分辨率图像的广泛覆盖和高精度，它已成为地理信息数据的重要来源。从这些图像中提取的道路网络信息具有广泛的适用性，包括在导航、制图，城市规划和地理条件监视中的应用。道路是重要的人工建筑物、现代交通基础设施的主体和地理信息系统中的基本数据。因此，及时更新道路信息将对依赖于这些系统的所有事物产生影响：如制图、路线分析和紧急响应。利用遥感影像，大范围自动提取道路数据吸引了全世界的广泛关注。众多学者经过多年的研究，提出并改进了多种道路提取方法。如张永宏等[1]全面总结分析了现有的道路提取方法，将其分为三类： 1)基于像元的道路提取方法。如罗庆洲等[2]提出了用光谱特征与形状特征相结合的方法提取道路，林祥国等[3]使用角度纹理特征和灰度最小二乘匹配进行最佳量算提取阴影下带状道路。该类方法主要利用道路本身波谱特征的差异进行道路提取，对于背景简单清晰、目标较少的遥感图像提取效果较好，但对于背景信息较为复杂的遥感图像道路提取效果不佳，需要大量后续处理。2)面向对象的道路提取方法。如陈立福等[4]提出的将马尔可夫随机场分割与数学形态学处理融合的方法，曹云刚等[5]提出的融合像元多尺度对象级特征的高分辨率遥感影像道路中心线提取方法。该类方法主要将图像作为整体，将其分割为小像元，再进行道路提取。适用于信息量丰富、特征分明的遥感影像，而对于相似地物容易混分产生粘连现象。3)基于深度学习的道路提取方法。如 Cheng 等 [6]通过将两个卷积网络级联到一个框架中，提出了级联的端到端卷积神经网络(CasNet)的方法。Liu 等 [7]提出的深度解析网络(DPN)将卷积神经网络(CNN)与马尔可夫随机场(MRF)相结合对道路进行提取。这类方法具有高效的学习能力和特征表达能力，在区别道路与其他非道路地物方面有突出优势，但仍存在道路断点，提取效果有待进一步提升。

　　随着计算机技术不断发展进步，不少学者对深度学习方法做出了许多改进，以此提高遥感影像道路的识别精度。其中 U-Net 网络[8]的跨越连接结构实现了多尺度图像信息的融合，在保留了高级的语义信息的同时顾及了低级的细节信息，因其改造性强且训练速度快，目前在图像分割领域最为常用。如袁伟等[9]提出一种新的形态损失函数有效提高道路分割精度。金飞等[10]用双 U-Net 网络联合训练和形态学后处理方式取得不错效果。王卓等[11]通过在 U-Net 网络中利用 Batch Normalization、ELU 与 Dropout 较好地解决了过拟合问题。

　　针对以上分析，研究采用 U-Net 网络模型作为基础结构，提出了一种基于改进 U-Net 的多维度监督特征优化的网络模型 MDAU-Net：通过对 U-Net 进行加深结构处理，采用 7 层卷积和下采样模块进行特征提取;同时，为了优化建筑物目标的浅层细节特征和深层的语义特征，设计了模块 MD-MECA 并将其添加至编码部分到解码部分的特征传递步骤中;并引入Batch Normalization[12] 和DropBlock[13] 解决网络训练过程中出现的过拟合问题。在遥感影像上进行道路提取试验，有效减少了提取中的断裂问题，较好提取细小道路，实现遥感影像道路完整提取。

　　1 网络结构

　　1.1 U-Net 结构

　　U-Net 结构于 2015 年 5 月由 Ronneberger 等 [8] 提出，最初广泛应用于医学图像分割领域。作为一种非常经典的全卷积网络模型，目前在遥感影像分割领域中被广泛采用，其网络结构如图 1 所示。

　　U-Net 分为两部分，左边为特征提取部分也称下采样部分，右边为上采样部分。特征提取部分通过卷积以及池化的计算方式提取图像的深层语义特征，每次过程包括：将图像经过两次卷积后变为通道数增加 64 的矩阵，接着进行最大池化操作，图像长宽缩小至原来的一半。依照相同的过程，经过4次下采样之后，图像变为 32×32×512 的矩阵，再经过两次 3×3 的卷积操作得到最终的特征图。而对于上采样部分，从网络底层信息开始计算，每经过一次 2×2 的反卷积后与同一层的下采样特征图进行拼接，和特征提取部分对应的通道数相同尺度融合，再经过两次 3×3 的卷积操作完成 1 次上采样。通过不断结合特征提取而得到的特征图，来进行信息补充，从而优化分割结果。

　　1.2 MECA 与 MD-MECA

　　受最近提出的 CAR-UNet(Channel Attention Residual U-Net)[14]的启发，研究改进了 CAR-UNet 中的 MECA(Modified Efficient Channel Attention)模块，MECA 模块结构如图 2 所示，该模块在保持性能的同时大大降低了图像分类、对象检测和实例分割中的网络复杂性。本文将优化后的模块命名为多 维 度 监 督 机 制 MD-MECA ( multi dimension Modified Efficient Channel Attention )， 通 过 将 MD-MECA 添加到 U-Net 架构的编码传递特征到解码模块，相比于原始的 U-Net，结构在特征图传递的过程中，进行了特征图优化，将编码部分的特征图进行不同方式的信息监督，然后传递到解码部分进行信息补充。

　　通 道 注 意 力 机 制 CA(Channel Attention mechanism)最初被用作分类中的特征压缩激励网络块 (Squeeze-and-Excitation Networks) [15]，它通过对通道间的依赖关系进行建模，可以自适应的调整各通道的特征响应值。最近研究表明，通道注意力在提高深度卷积神经网络的性能方面有很大的潜力。近来，Guo 等人[14]提出了一种改进高效通道注意力(MECA)模块应用于视网膜血管分割，取得较好效果，MECA 模块利用卷积来避免在 SE 网络块中的降维操作，从而在保持优越性能的同时大大降低了模型的复杂度。MECA 模块是可嵌入的通道监督模块，通过使用不同的全局池化计算来提取全局特征：平均池化计算可以提取空间信息，同时最大值池化可以获取独特的对象特征，从而可以吸引更多精细的通道注意。因此，MECA 模块通过组合两者提取的全局特征来获得更精细的通道监督权重，并且以 C 通道为基础进行通道注意监控，获取不同通道之间的权重参数。

　　MECA 模块中特征图具有不同维度 H、W 和 C，分别代表输入特征的高(height)、宽(width)和通道 (channels)数量,因而可以通过多角度全方面进行监督来强化 MECA 模块，使得特征图能代表更加精细的道路信息。基于特征图的维度特点，本文设计的一种多维度监督机制 MD-MECA(multi dimension Modified Efficient Channel Attention)：在 C 通道维度的基础上，增加 H 维度和 W 维度通道，并分别设计了相同的注意力监督模块，得到不同维度的监督权重参数。

　　本文设计的 MD-MECA 模块结构如图 3 所示， MD-MECA 模块结构：以 MECA 的监督结构，分别提取基于各维度的监督权重。以 C 通道为例，首先，输入特征图 F ∈