基于单阶段实例分割网络的黄土滑坡多任务自动识别

基于单阶段实例分割网络的黄土滑坡多任务自动识别本文内容来源于 测绘通报 2022 年第 4 期 审图号 GS 2022 1760 号基于单阶段实例分割网络的黄土滑坡多任务自动识别师芸 石龙龙 牛敏杰 赵侃西安科技大学测绘科学与技术学院 陕西 西安基金项目 国家自然科学基金 4

大家好,欢迎来到IT知识分享网。

基于单阶段实例分割网络的黄土滑坡多任务自动识别

本文内容来源于《测绘通报》2022年第4期,审图号:GS(2022)1760号

基于单阶段实例分割网络的黄土滑坡多任务自动识别

师芸, 石龙龙, 牛敏杰, 赵侃

西安科技大学测绘科学与技术学院,陕西 西安

基金项目:国家自然科学基金(;)

关键词:滑坡,自动识别,深度学习,实例分割,YOLACT

基于单阶段实例分割网络的黄土滑坡多任务自动识别

基于单阶段实例分割网络的黄土滑坡多任务自动识别
引文格式:师芸, 石龙龙, 牛敏杰, 等. 基于单阶段实例分割网络的黄土滑坡多任务自动识别. 测绘通报,2022(4):26-31. DOI: 10.13474/j.cnki.11-2246.2022.0105.
摘要

摘要 :滑坡自动识别能够解决人工目视解译方法速度慢的问题,现有基于深度学习的自动识别方法多以目标检测和语义分割等单任务识别方法为主。本文基于深度学习实例分割网络探索可同时完成滑坡目标定位和语义分割的多任务识别方法。首先,基于谷歌地球影像构建了包含3822个样本的黄土滑坡样本数据集;然后,采用单阶段实例分割网络(YOLACT)构建了基于小样本学习的黄土滑坡多任务自动识别模型;最后,通过大、中、小3种比例尺度的滑坡测试样本对识别结果进行评价。试验结果表明:①滑坡目标定位框(Box)平均精确度为61.66%,滑坡语义分割掩码(Mask)平均精确度为62.0%,大比例尺测试结果中Mask交并比为0.88;②基于YOLACT构建的滑坡识别模型可同时完成滑坡目标定位和滑坡高精度掩码分割的双任务识别,为滑坡多任务自动识别及快速制图提供了技术支撑。

正文
滑坡灾害是造成人员伤亡和经济损失最严重的地质灾害之一[1], 如1983年发生在甘肃省东乡族自治县洒勒山的黄土滑坡造成人员伤亡[2]。因此,新老滑坡的快速识别对于滑坡灾害的防治有着重要的意义,尤其对历史滑坡的识别有益于减少二次滑坡对人类的威胁。
目前,根据自动化程度的不同,可将滑坡识别方法大致分为3类:①传统的人工目视解译方法。这种方法主观性太强且识别速度慢,因此在遥感影像大数据时代背景下目视解译方法已无法成为主流的应用方法。②人机交互的半自动识别方法。这种方法以计算机识别结合目视判读为主要研究手段,通过目视判读的方法设计滑坡特征,再利用计算机算法实现滑坡提取。文献[3]利用光谱、空间、纹理及领域等特征人工设计滑坡识别规则,采用面向对象技术实现滑坡识别。这种人机交互的半自动识别方法较目视解译方法识别速度有较大提升,但人工设计滑坡识别规则的方式依然使得该方法的自动化程度不够高。③自学特征的自动化方法。深度学习方法[4]是目前在滑坡自动识别中应用较好的自动化方法。与前两种方法相比, 深度学习方法以卷积神经网络自动提取滑坡特征的方式,彻底摆脱了人为设计特征的烦琐操作,从而大幅提升了滑坡识别的自动化程度。该方法具有更快的检测速度,可为地质灾害实时调查和滑坡多任务自动识别及快速制图提供技术支撑[5]
由于黄土历史滑坡发生时间较久、植被覆盖少、自然侵蚀及人为改造等原因,使得滑坡边界模糊,滑坡体纹理淡化,从而很难通过浅层特征识别黄土历史滑坡[6]。已有的研究中多以滑坡目标检测和语义分割单任务为主,缺少可同时完成目标定位和语义分割的滑坡多任务识别方法[7]。深度学习方法需要以庞大的数据为驱动实现特征学习,要构建一个庞大的滑坡样本数据集是十分困难的。在已有的研究中缺少公开的黄土滑坡样本数据集。针对以上问题,本文基于实例分割网络提出对黄土滑坡目标定位的同时进行语义分割的多任务识别思想,构建基于小样本学习的黄土滑坡多任务自动识别模型。以黄土高原地区为研究区,利用高分辨率的谷歌地球开源影像,构建黄土滑坡样本数据集。在此样本数据集的基础上采用经典单阶段实例分割网络YOLACT(you only look at coefficients)进行黄土历史滑坡多任务自动识别研究。


1 数据源与研究方法

1.1 研究区及研究数据


本文以黄土高原为主要研究区,由于黄土颗粒细、土质松软且植被覆盖少等原因,该地区成为黄土滑坡重灾区且形成了滑坡集群分布的特征。如甘肃黑方台黄土台塬滑坡群[8],黄河峡谷和吕梁山西坡呈南北分布的条状滑坡群等[9]
考虑数据获取的经济性和便捷性,本文以谷歌地球开源影像为数据源,以Labelme软件为人工解译和滑坡样本标注工具,结合多种数据增强方式,在黄土高原地区构建了包含3822个样本的黄土滑坡样本数据集,滑坡样本分布如
图 1
所示。


基于单阶段实例分割网络的黄土滑坡多任务自动识别
图 1 研究区位置及滑坡样本分布


深度学习方法依赖样本大数据,为了进一步提高滑坡识别精度,本文利用谷歌地球长时间序列保存历史影像的特点,设计了3种数据增强的方式提高样本库数据量,具体如下:
(1) 滑坡发育差异增强。滑坡在不同的发育阶段其形状和纹理具有差异,如
图 2(a)
所示。这对于机器而言属于不同的滑坡样本,结合谷歌地球的历史影像储存功能,可获得同一滑坡不同发育阶段的影像,从而达到数据增强目的。


基于单阶段实例分割网络的黄土滑坡多任务自动识别
图 2 黄土滑坡样本


(2) 滑坡季节差异增强。在光学遥感影像上,由于受植被覆盖变化、冻土冻融等影响,同一滑坡在不同季节滑坡边界和滑坡体纹理也有不同,如图 2(b)
所示。因此通过获取谷歌地球不同季节的历史影像可达到数据增强的目的。
(3) 滑坡姿态差异增强。滑坡具有一定的方向性,在获取谷歌地球数据时,通过环视功能可调整滑坡分布方向和姿态,从而获取同一滑坡不同方向和不同姿态下的样本,如
图 2(c)
所示,同样可以达到数据增强的目的。
借助以上多种数据增强方式,构建了黄土滑坡样本数据集。将数据集按9∶1∶2划分为训练集、验证集和测试集,其中训练样本2870个、验证样本300个、测试样本652个。
1.2 基于深度卷积神经网络的实例分割方法
深度卷积神经网络对处理图像更有优势,通过多个卷积层形成深层网络结构提取图像中的高级抽象特征[1011]。在一定的条件下,越深层的特征越具有唯一性,因此同时考虑浅层特征和深层抽象特征完成图像中目标物的识别,其准确率会更高。对于浅层特征不明显的黄土历史滑坡识别,深度卷积神经网络提取滑坡特征的方式更符合应用逻辑。
基于深度卷积神经网络的实例分割方法可同时完成目标定位和语义分割的双任务[12]。实例分割方法是在目标检测方法的基础上进一步发展而来的。目标检测分为双阶段检测器和单阶段检测器两类,因此实例分割方法也有双阶段实例分割和单阶段实例分割。如经典的双阶段实例分割网络Mask R-CNN[13]是在两阶段目标检测器Faster R-CNN[14]基础上增加了目标掩码预测分支。首先利用RoI Align进行特征定位; 然后将局部化特征输入掩码预测分支完成实例分割,这种串联处理方式使得双阶段实例分割方法虽然精度较高,但处理速度相对较慢。YOLACT[15]是单阶段实例分割网络的代表,被视为实时性实例分割的开端。这是因为受实时性单阶段目标检测网络的启示,YOLACT以一种并联的方式将原型掩码生成并与实例掩码系数预测两个子任务并行处理[16]。这种处理方式不仅能生成高精度的掩码还提高了实例分割速度,达到实时实例分割的目的。因此,考虑实时快速的滑坡自动识别对地质灾害调查及防治的重要性,本文选用实时性单阶段实例分割网络YOLACT完成滑坡分割任务,分割流程如
图 3
所示。


基于单阶段实例分割网络的黄土滑坡多任务自动识别
图 3 YOLACT滑坡分割流程


YOLACT沿用了Mask R-CNN中深度残差网络(ResNet)结合特征金字塔结构
[17
]
的特征提取模块,将实例分割任务划分为两个并行的子任务,通过两个平行子任务结果的融合得到最终的实例分割结果。分割任务划分如下:
(1) 利用全卷积网络生成一系列原型掩码,原型掩码的方式保证了这一分支没有掩码损失。
(2) 在目标检测分支上增设一个预测模块,利用这个预测模块针对每个锚预测1个掩码系数,再通过非极大抑制(NMS)得到所有的实例。
试验的硬件环境为英特尔Core(TM) i5-10400F处理器,16 GB内存,GPU是NVIDIA GeForce GTX 1050 Ti(4 GB)。实例分割模型选择了PyTorch框架下部署的YOLACT,代码源于Github, 模型主干网络采用ResNet-101。为了进一步提高模型训练精度,降低训练的时间成本,采用基于参数的迁移学习方法,利用COCO预训练模型对网络进行预训练[18]
1.3 精度评价
采用平均精确度(AP)和交并比(IoU)对本文滑坡实例分割结果进行精度评价。
(1) 精确率(precision):正确分割的滑坡数量与滑坡分割总量的比值。计算公式如下
基于单阶段实例分割网络的黄土滑坡多任务自动识别
(1)


式中,TP为正确预测的正样本数; FP为错误预测的正样本数。
(2) 召回率(recall):正确分割的滑坡数量与滑坡真值总量的比值。计算公式如下
基于单阶段实例分割网络的黄土滑坡多任务自动识别
(2)
式中,FN为错误预测为负样本的个数。
(3) 平均精确度(AP):同一类目标在不同的召回率(R)下精确率(P)的平均值,几何解释为PR曲线下方的面积。计算公式如下
基于单阶段实例分割网络的黄土滑坡多任务自动识别
(3)


(4) 交并比(IoU):两个面域的交集与并集的比值。
本文采用AP50即IoU大于0.5的AP值作为滑坡分割结果的综合评价指标[19]。YOLACT实例分割结果中包括滑坡定位框和滑坡语义分割掩码两部分,针对掩码部分通过计算掩码预测值和掩码真值的交并比对结果进行评价。
为了多尺度验证滑坡分割结果精度,如
图 4
所示,将测试集划分为大比例尺、中比例尺和小比例尺3种尺度,其中大比例尺样本为单体滑坡。对3种尺度下的测试样本分别计算滑定位框(Box)和滑坡语义分割掩码(Mask)的AP值。同时,对大比例尺单体滑坡样本,计算滑坡语义分割掩码的交并比(Mask_IoU)。


基于单阶段实例分割网络的黄土滑坡多任务自动识别

图 4 测试样本多尺度划分


2 滑坡识别结果
测试集共有652个滑坡样本,将测试集以大比例尺、中比例尺和小比例尺3种尺度划分,样本数分别为112、199、341个。根据IoU阈值对结果进行划分,阈值≥0.5的为正确预测,<0.5的为错误预测。测试集各尺度具体分割精度见
表 1



表 1 测试集精度

基于单阶段实例分割网络的黄土滑坡多任务自动识别

图 5
为不同尺度下滑坡识别结果,给出了滑坡自动识别结果及各尺度样本对应的滑坡真值。从大比例尺滑坡样本测试结果来看,YOLACT在预测滑坡定位框的同时还能对滑坡进行精细化的语义分割,生成高精度的Mask,这为后续视觉分析及滑坡快速制图提供了便利。从中、小比例尺滑坡样本测试结果看,YOLACT在不同尺度下均能实现滑坡多任务自动识别,具有较强的泛化能力。



基于单阶段实例分割网络的黄土滑坡多任务自动识别

图5 多尺度滑坡识别结果


3 讨论与分析

图 5
大比例尺样本识别结果可以看出,识别结果中滑坡目标定位框和滑坡语义分割掩码与目视解译结果基本吻合。针对大比例尺滑坡测试样本识别结果计算了Mask_IoU,结果显示为0.88,预测结果与真值具有较高的一致性,说明实例分割方法在滑坡自动识别过程中可同时完成滑坡位置定位和滑坡高精度的掩码分割任务。
图 6
为中比例尺滑坡样本未识别结果,可以看出错误识别较少,未识别滑坡较多。通过对比分析发现,未识别滑坡多为发生时间较久且未经人为改造的老滑坡体。这种滑坡在影像上边界模糊,受自然侵蚀作用的影响滑坡体纹理已经与周围环境几乎一致,使得滑坡浅层特征丢失严重,而且这种滑坡样本也相对较少,因此深度卷积神经网络也较难获取其深层特征,从而导致无法被识别。


基于单阶段实例分割网络的黄土滑坡多任务自动识别




图6 中比例尺样本未识别结果


图 7
为小比例尺滑坡样本错误识别结果,相比中比例尺滑坡样本,识别结果中错误识别较多。从错误识别结果来看,错误识别原因为:①小比例尺滑坡测试样本分辨率较低,识别目标无法表现出较多的识别特征,从而导致被误判; ②模型误将梯田识别为滑坡的情况较多,通过对比已改造为农田的老滑坡体和错误识别结果发现,已改造为农田的老滑坡体虽然具有明显的滑坡边界,但其滑坡体后期多被改造为梯田,使得滑坡体与周围梯田具有一致特征,从而增加了识别难度。


基于单阶段实例分割网络的黄土滑坡多任务自动识别

图7 小比例尺样本错误识别结果


4 结论与展望
本文基于深度卷积神经网络的单阶段实例分割网络YOLACT构建了基于小样本学习的黄土滑坡多任务自动识别模型。利用3种比例尺度的滑坡测试样本对识别结果进行了评价。结果表明:①基于YOLACT构建的黄土滑坡多任务自动识别模型有较好的黄土滑坡识别能力,在3种测试尺度下均能实现滑坡自动识别,并且可同时完成滑坡位置定位和滑坡高精度的掩码分割双任务。②本文构建的黄土滑坡样本数据集采样于黄土高原地区,主要分布在黄土滑坡发育的青海省、甘肃省、陕西省等。样本分布范围较广,具有较强的普适性,可为黄土滑坡自动识别研究提供数据基础。
从试验结果来看,数据和方法上依然存在一定的局限性。数据方面由于样本量较少,较难使模型训练达到最佳状态。因此在以后的工作中需进一步对样本量进行扩充。在方法上,深度卷积神经网络虽然能够提取滑坡更深层次的特征,提高识别精度,但其训练的时间成本过高。因此在未来工作中需进一步探索更加轻量化的网络模型,以实现滑坡的快速准确识别。


作者简介
作者简介
:师芸(1974—),女,博士,教授,主要从事环境遥感与防灾减灾研究工作。E-mail: shiyun0908@hotmail.com
通信作者
:石龙龙。E-mail: @.com


初审:纪银晓
复审:宋启凡

终审:金 君

往期推荐


资讯



○《测绘学报》青年科学家沙龙(第1辑)报告日程

○ 今天开始!“测绘大讲堂”第三季第三期:“实景三维中国建设”高端论坛抢先看

○ 事业编聘用!上海师范大学诚邀您共建高水平大学

○ 招聘启事丨沈阳建筑大学 2022年面向社会公开招聘高层次及急需紧缺人才公告


会议




关于举办《测绘学报》青年科学家沙龙(第1辑)的通知
○ 中国测绘科学研究院与南方数码召开“新型基础测绘与实景三维中国建设汇报交流会”


○ 会议丨2022年地理信息与遥感技术国际学术会议(GIRST 2022)


○ 2022(第五届)GIS软件技术大会1号通知




《测绘学报》



○《测绘学报》同济专刊 | 龚健雅:智能遥感深度学习框架与模型设计

○《测绘学报》同济专刊(2022年第4期)目录

○ 测绘学报 | 廖章回:高分辨率遥感影像快速去雾

○ 测绘学报 | 鄢咏折:行星探测器导航相机着陆后参数标定方法


《测绘通报》



○ 《测绘通报》2022年第3期目录

《测绘通报》2022年第2期目录

○ 深度学习网络支持下的农房侵占耕地自动化监测

○ 基于GIS的东川区生态环境敏感性分析


《北京测绘》


《北京测绘》2022年第3期摘要推荐

《北京测绘》2022年第4期摘要推荐

○《北京测绘》2022年第1期摘要推荐

○《北京测绘》2021年第12期摘要推荐


《测绘科学技术学报》



○ 摘要 |《测绘科学技术学报》2021年第2期摘要推荐

○ 摘要 |《测绘科学技术学报》2021年第4期摘要推荐

○ 摘要 |《测绘科学技术学报》2021年第5期摘要推荐

○ 摘要 |《测绘科学技术学报》2021年第6期摘要推荐


《地球信息科学学报》


○ 《地球信息科学学报》2022年第5期佳文推介

○ 《地球信息科学学报》2022年第4期佳文推介

○ 龚健雅院士:全球位置信息叠加协议与位置服务网技术研究进展与展望

○ 专刊征稿:社会感知与地理大数据挖掘(征稿中)


《测绘工程》


○ 摘要 |《测绘工程》2022年第2期摘要推荐

○ 摘要 |《测绘工程》2022年第1期摘要推荐

○ 摘要 |《测绘工程》2021年第6期摘要推荐

佳文推介 | 单目视觉技术在室内定位中的应用研究


《中国空间科学技术》


○《中国空间科学技术》2022年第2期摘要

○《中国空间科学技术》2022年第1期摘要

○《中国空间科学技术》“巨型星座/低轨大规模星座”专栏征文通知

○《中国空间科学技术》第四届编委会第二次全体会议顺利召开


《卫星应用》


○《卫星应用》2022年第02期摘要

○《卫星应用》2022年第01期摘要

○《卫星应用》2021年第12期摘要

○《卫星应用》2021年第11期摘要


《Journal of Geodesy and Geoinformation Science》



○ 《测绘学报(英文版)》被中国科学引文数据库CSCD收录

○《测绘学报(英文版)》专刊征稿 | 地图学与地球空间信息教育:理论与实践

○ 《测绘学报(英文版)》专刊征稿 | 用于三维地理信息的摄影测量和计算机视觉

○ 长安大学—李振洪教授 | 《测绘学报(英文版)》InSAR专刊


《Satellite Navigation》



○ 杨飞博士:GNSS天顶对流层精化模型的构建与分析| SANA佳文速递

○ 2022征文| SatNav“普适定位、室内导航与基于位置服务”专题

○ 2022征文| SatNav“GNSS地学应用”专题

○ 李昕博士:多频多星座PPP-RTK原理及性能| SANA佳文速递


《自然资源遥感》



摘要 |《自然资源遥感》2022年第1期摘要推荐

《自然资源遥感》征稿:“海岸带空间资源及生态健康遥感监测”专栏

摘要 |《自然资源遥感》2021年第3期摘要推荐

摘要 |《自然资源遥感》2021年第4期摘要推荐


Journal of Geovisualization and Spatial Analysis



○《Journal of Geovisualization and Spatial Analysis》入驻“智绘科服”融媒体平台!

○ JGSA国际期刊2021年第5卷第2期论文摘要

○ 高被引论文推荐 | Journal of Geovisualization and Spatial Analysis

JGSA论文推荐 | 地理信息科学研究在过去几十年中都在关注什么?


全球定位系统



《全球定位系统》入驻“智绘科服”融媒体平台!

○《全球定位系统》入选《世界期刊影响力指数(WJCI)报告(2021科技版)》

○《全球定位系统》2022年第1期目次

○《全球定位系统》2022年“卫星导航与增强”专栏征文


导航定位与授时



○《导航定位与授时》入驻“智绘科服”融媒体平台!

○《导航定位与授时》2022年第1期摘要推荐

○《导航定位与授时》2022年第6期“飞行器智能导航与控制技术”专栏征稿

○《导航定位与授时》2022年第2期“通信导航一体化技术”专栏出版

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/94168.html

(0)

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

关注微信