基于稀疏邻接注意力的图像分割算法

寇志伟; 孔哲; 耿玉龙; 崔啸鸣; 齐咏生

doi:10.12404/j.issn.1671-1815.2501385

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (6) :2464-2473 DOI: 10.12404/j.issn.1671-1815.2501385

自动化技术、计算机技术

基于稀疏邻接注意力的图像分割算法

寇志伟 ¹^,² ,
孔哲 ¹ ,
耿玉龙 ¹ ,
崔啸鸣 ¹ ,
齐咏生 ¹^,²^,³

作者信息 +

Image Segmentation Algorithm Based on Sparse Neighbor Attention

KOU Zhi-wei ¹^,² ,
KONG Zhe ¹ ,
GENG Yu-long ¹ ,
CUI Xiao-ming ¹ ,
QI Yong-sheng ¹^,²^,³

Author information +

文章历史 +

摘要

语义同步定位与地图构建(simultaneous localization and mapping, SLAM)能够帮助移动机器人实现对未知环境更高层次的语义信息感知,已经成为解决移动机器人适应未来发展的关键技术之一。针对移动机器人在弱纹理、存在动态物体的未知境下环境感知能力弱的问题,提出了一种基于稀疏邻接注意力的图像分割算法(SNA-Seg)。首先,设计了基于稀疏邻接窗口自注意机制的全景分割网络结构,在不增加计算复杂度的前提下,充分挖掘全局信息,增强了网络对边缘细节的分割效果。其次,选取Cityscapes数据集作为训练与测试数据集,采用全景质量(panoptic quality,PQ)、分割质量(segmentation quality,SQ)和平均交并比(mIoU)等指标对算法性能进行了评估,并且采集本地视觉图像数据验证了算法的实际有效性。实验结果表明,SNA-Seg算法与基于滑窗注意力(Swin)和邻接注意力(NA)图像分割算法比较,各项评价指标均有不同程度的提升,其中mIoU指标提升幅度达到了11.17%,反映了掩膜分类准确性提升最为显著;在实例分割任务中,SNA-Seg算法展现出更高的分割精度,其输出掩膜与原始图像在边缘细节和语义类别上一致性较强,分割结果更加符合真实场景的语义结构。本文方法为语义SLAM中的全景图像分割任务提供了新的技术思路。

Abstract

Semantic SLAM(semantic simultaneous localization and mapping) enables mobile robots to perceive high-level semantic information in unknown environments and has become one of the key technologies for adapting to future developments. SNA-Seg (sparse neighborhood attention-based image segmentation algorithm) was proposed to address the problem of weak environmental perception in mobile robots under unknown scenes with low texture and dynamic objects. First, a panoramic segmentation network based on a sparse neighborhood window self-attention mechanism was first constructed to capture global information effectively and enhance the segmentation of edge details without increasing computational complexity. Then, the Cityscapes dataset was selected for training and testing. The algorithm’s performance was evaluated using metrics such as PQ (panoptic quality), SQ(segmentation quality), and mIoU (mean Intersection over union).In addition, local visual image data were collected to verify the practical effectiveness of the proposed algorithm. Experimental results show that, compared with image segmentation algorithms based on Swin (sliding window attention) and NA (neighborhood attention), the proposed SNA-Seg algorithm achieves improvements across all evaluation metrics. In particular, the mIoU was improved by 11.17%, indicating a significant enhancement in mask classification accuracy. In instance segmentation tasks, the SNA-Seg algorithm demonstrates higher segmentation precision, with output masks showing stronger consistency with original images in terms of edge details and semantic categories. The segmentation results better reflect the semantic structure of real-world scenes. The proposed method provides a novel technical approach for panoramic image segmentation in semantic SLAM.

Graphical abstract

关键词

语义SLAM / 稀疏邻接注意力 / 图像分割 / 语义信息感知 / SNA-Seg算法

Key words

semantic SLAM(semantic simultaneous localization and mapping) / sparse neighbor attention / image segmentation / semantic information perception / SNA-Seg algorithm

引用本文

引用格式 ▾

寇志伟, 孔哲, 耿玉龙, 崔啸鸣, 齐咏生. 基于稀疏邻接注意力的图像分割算法[J]. 科学技术与工程, 2026, 26(6): 2464-2473 DOI:10.12404/j.issn.1671-1815.2501385

KOU Zhi-wei, KONG Zhe, GENG Yu-long, CUI Xiao-ming, QI Yong-sheng. Image Segmentation Algorithm Based on Sparse Neighbor Attention[J]. Science Technology and Engineering, 2026, 26(6): 2464-2473 DOI:10.12404/j.issn.1671-1815.2501385

登录浏览全文

4963

注册一个新账户忘记密码

随着人工智能技术的飞速发展,移动机器人的研究与应用将向着交互性更好、智能化水平更高、自适应能力更强的方向发展。为了适应机器人未来的发展趋势,需要对其环境感知方法的相关技术进行进一步的研究,特别是其在未知环境中的同步定位与地图构建(simultaneous localization and mapping, SLAM)技术^[1]。SLAM是移动机器人能够在未知环境中自主移动和实时导引的关键技术,其可以在没有环境先验信息的条件下,通过对自身携带传感器信息的感知与处理,估计自身位置的同时建立周围环境的地图^[2-3]。

目前,移动机器人SLAM技术根据信息获取使用传感器的不同主要分为激光SLAM、视觉SLAM等^[4]。激光SLAM以激光雷达为主要传感器,具有精度高、抗干扰能力强的优点,但构建地图的结构相对简单,在运动过程中易产生点云畸变和误匹配。视觉SLAM以相机为基础传感器,其获取信息丰富、成本较低,具有目标分辨率高、可视化程度好、能实时构建语义图等特点,但其建图和定位精度相对激光SLAM较差^[5]。传统SLAM技术只能构建环境的几何结构化地图,实现机器人基本的定位和导航任务,无法理解所在环境的语义信息,也无法进行更高层面的人机交互。

随着深度学习与人工智能技术的发展,逐渐出现了一种传统SLAM与语义信息融合的新型同步定位与地图构建技术,即语义SLAM^[6]。语义SLAM根据驱动数据的不同可以分为基于激光雷达点云的语义SLAM和基于视觉图像的语义SLAM^[7]。基于激光雷达点云的语义SLAM应用三维激光雷达采集的三维点云信息进行训练和分割,为移动机器人提供环境中物体的语义信息,存在提取的语义信息误差较大、建立语义地图耗时较长等问题^[8]。基于视觉图像语义SLAM应用视觉传感器的图像信息数据构建环境地图的同时提取了对环境图像的语义信息,语义信息提取精度相对较高,能够为移动机器人提供较为精确的环境语义信息^[9]。视觉图像语义SLAM可以更好地利用获取到的图像信息,优化图像帧间漂移,有效实现语义地图构建和场景语义理解,使移动机器人拥有一定的泛化能力,能够在弱纹理、暗光照等复杂未知非结构化环境中工作,实现了机器人对未知环境更高层次的语义信息感知^[10]。

基于视觉图像的语义SLAM可以获得丰富的环境信息并且结合深度学习网络对环境中的目标对象进行分类和像素级别的语义分割,从而使实现周围环境的语义信息提取与语义地图构建^[11]。语义分割算法采用数据驱动的方式,通过对不同场景下的二维图像视觉信息数据进行训练,将图像中属于同一类物体的所有像素都分配同一种类别标签。语义分割对同一类型的事物不会进一步细分,实例分割是在语义分割基础上对同一类别的不同个体进一步区分^[12]。全景分割将语义分割和实例分割结合,将图像中的所有像素进行分类并对图像中的所有物体进行分割,然后将属于同一物体的像素分配同一语义标签,生成了全局的图像像素点预测^[13],是目前图像分割对场景理解最细致最全面的分割方法,成为语义SLAM研究热点之一。例如,Long等^[14]提出了全卷积网络(FCN)语义分割方法,通过反卷积实现了与原始图像大小相等的分割结果,构建端到端、像素到像素的语义分割网络,卷积神经网络成为图像分割算法的新技术。Chen等^[15]提出DeepLab语义分割网络,采用解码加编码的形式解析图像特征,实现了目标图像的精准分割。Sun等^[16]提出了多尺度融合的HRNet语义分割网络,同时关注了多个尺度的特征,实现了更好的特征提取。Wang等^[17]提出RdsNet语义分割网络,采用目标帧辅助、掩码分割、目标定位等模块实现语义分割。语义分割算法将图像的全部区域分配对应的类别,但是卷积神经网络只能关注到局部像素之间的关系,捕获不到全局上下文信息,因此引入了注意力机制。Fu等^[18]提出了基于自注意力捕获全局上下文信息的DANet分割算法,强化了像素之间与通道之间的关注。Dosovitskiy等^[19]提出了视觉 Transformer概念,将Transformer机制引入到语义分割领域,实现了不同空间位置或通道之间的依赖关系的捕捉,提高了模型的性能^[20]。

随着技术的进步,基于Transformer的网络架构逐渐应用于图像分割领域。Xie等^[21]提出了MAESTER(masked autoEncoder guided segmenTation at pixel resolution)模型,通过自监督学习引导像素级细胞结构分割,解决了生物学图像中标注困难的问题。Li等^[22]提出了Mask DINO,该模型结合了DETR和掩码预测分支,在COCO数据集上展示了强大的实例分割性能。此外,Jain等^[23]提出的OneFormer模型通过统一的Transformer架构,能够同时处理语义分割、实例分割和全景分割任务,显示了Transformer在多任务分割中的优势。

综上所述,语义SLAM使用深度学习的方法,直接使用图像或点云分割结果来实现场景识别与地图构建,可以为机器人的后续任务提供高层次的语义理解、高鲁棒性环境感知,已逐步成为解决移动机器人SLAM问题的全新范式之一。因此,现针对移动机器人在未知环境下存在易受外部环境因素影响,在弱纹理、动态物体等方面环境感知能力弱等问题,提出一种基于分散邻接注意力机制的图像全景分割算法,以期充分挖掘输入图像中蕴含的丰富语义信息,增强未知环境感知和理解能力,实现移动机器人的智能化。

1 稀疏邻接全景分割算法设计

1.1 算法整体结构

全景分割结合了语义分割和实例分割两者优点,不仅能够区分原始图像中不同语义类别的物体,而且可以将同一类别中的不同实例相互区分,其实现难度相较于语义分割与实例分割来说更高^[24-25]。

设计了基于稀疏邻接窗口自注意机制的全景分割算法(sparse neighborhood attention panora-mic segmentation algorithm,SNA-Seg),其整体结构包含了骨干网络、像素解码器、逐级递减机制、展平与标签化、掩膜解码器、掩膜及类别输出等模块,从底层实现了归一化的融合全景分割,避免了在不同子任务上“先分割后融合”的情况,整体结构如图1所示。其中,掩膜及类别输出模块设计了包含全景词元位置查询向量和语义查询向量的展平与标签化模块,通过掩膜解码器可以一次性输出全部掩膜及类别信息。

1.2 骨干网络模块设计

全景分割关注的是全局信息,采用更大的注意力区域有利于充分挖掘图片蕴含的特征信息。但更大的注意力区域,会使计算复杂度成倍增加,因此设计了基于稀疏邻接窗口注意力(sparse neighborhood attention,SNA)机制的骨干网络,在邻接窗口自注意力机制基础上添加了稀疏模块,其感受野如图2所示。由图2可知,稀疏邻接注意力感受野相较于未加入稀疏特性的感受野,其注意力机制由不加区分地关注全局的全局注意力,变为只关注目标本身及其邻接区域的稀疏邻接注意力。稀疏邻接注意力在不增加额外计算负担的前提下,拓展了注意力区域的范围^[26]。

对于给定输入

$X\in {\mathrm{R}}^{\mathrm{n}\times \mathrm{d}}$

,其第i个k邻域的注意力权重为

(1)

${A}_{i}^{k}=\left[\begin{array}{l}{Q}_{i}{{K}^{\mathrm{T}}}_{{\rho }_{1}\left(i\right)}+{B}_{(i,{\rho }_{1}(i\left)\right)}\\ {Q}_{i}{{K}^{\mathrm{T}}}_{{\rho }_{2}\left(i\right)}+{B}_{(i,{\rho }_{2}(i\left)\right)}\\ ︙\\ {Q}_{i}{{K}^{\mathrm{T}}}_{{\rho }_{k}\left(i\right)}+{B}_{(i,{\rho }_{k}(i\left)\right)}\end{array}\right]$

式中:Q_i和K_{ρ_k(i)}为查询向量和键向量;

${B}_{(\mathrm{i},{\mathrm{\rho }}_{\mathrm{j}}(i\left)\right)}$

为任意两个标记i和j之间的相对位置偏差关系向量;ρ_j(i)为第i个的第j最近邻,其中j=1,2,…,k。

则第i标记在第k最近邻上投影邻域值向量为

(2)

${V}_{i}^{k}=[{{V}^{\mathrm{T}}}_{{\mathrm{\rho }}_{1}\left(i\right)}　{{V}^{\mathrm{T}}}_{{\mathrm{\rho }}_{2}\left(i\right)}　\dots 　{{V}^{\mathrm{T}}}_{{\mathrm{\rho }}_{\mathrm{k}}\left(i\right)}{]}^{\mathrm{T}}$

对于给定输入

$X\in {\mathrm{R}}^{\mathrm{n}\times \mathrm{d}}$

,在查询向量Q和键向量K上做线性投影。则邻域大小为k的第i个邻域注意输出NA_k(i)为

(3)

$\mathrm{N}{\mathrm{A}}_{k}\left(i\right)=\mathrm{S}\mathrm{M}\left(\frac{{A}_{i}^{k}}{\sqrt{d}}\right){V}_{i}^{k}$

式(3)中:

$\sqrt{d}$

和d分别为缩放参数和输入维数;SM表示执行softmax运算。

为了将邻接窗口注意力定义扩展到稀疏邻接窗口注意力,给定一个间隔n,将

${\rho }_{j}^{n}\left(i\right)$

定义为第i的第j最近邻。则大小为k的邻域

${A}_{i}^{(\mathrm{k},\mathrm{n})}$

的第i个离散度的邻接自注意力权重为

(4)

${A}_{i}^{(\mathrm{k},\mathrm{\delta })}=\left[\begin{array}{l}{Q}_{i}{{K}^{\mathrm{T}}}_{{\rho }_{1}^{n}\left(i\right)}+{B}_{(i,{\rho }_{1}^{n}(i\left)\right)}\\ {Q}_{i}{{K}^{\mathrm{T}}}_{{\rho }_{2}^{n}\left(i\right)}+{B}_{(i,{\rho }_{2}^{n}(i\left)\right)}\\ ︙\\ {Q}_{i}{{K}^{\mathrm{T}}}_{{\rho }_{k}^{n}\left(i\right)}+{B}_{(i,{\rho }_{k}^{n}(i\left)\right)}\end{array}\right]$

邻域大小为k的第i个标记定义为间隔为n的邻域值

${V}_{i}^{\mathrm{n}}$

为

(5)

${V}_{i}^{(\mathrm{k},\mathrm{n})}=[{{V}^{\mathrm{T}}}_{{\mathrm{\rho }}_{1}^{\mathrm{n}}\left(i\right)}　{{V}^{\mathrm{T}}}_{{\mathrm{\rho }}_{2}^{\mathrm{n}}\left(i\right)}　\dots 　{{V}^{\mathrm{T}}}_{{\mathrm{\rho }}_{\mathrm{k}}^{\mathrm{n}}\left(i\right)}{]}^{\mathrm{T}}$

第i个邻域大小为k的稀疏邻接自注意力输出

$\mathrm{S}\mathrm{N}{\mathrm{A}}_{k}^{n}\left(i\right)$

为

(6)

$\mathrm{S}\mathrm{N}{\mathrm{A}}_{k}^{n}\left(i\right)=\mathrm{S}\mathrm{M}\left[\frac{{A}_{i}^{(\mathrm{k},\mathrm{n})}}{\sqrt{{d}_{k}}}\right]{V}_{i}^{(\mathrm{k},\mathrm{n})}$

稀疏邻接注意力块从层间正则化开始,利用Q、K、V向量进行自注意力的计算,通过层间正则化与多层感知器输出。每次经过自注意力层、多层感知器时,都以激励后的特征与原始特征相加作为输出,实现了注意力对原始特征的增强,算法过程如图3所示。

1.3 像素解码器设计

为了充分挖掘原始图像中不同尺度的细节,选用多尺度可变自注意力架构作为像素解码器的基础架构,对骨干网络特征向量进行解码,以获取多尺度特征图^[27]。

设

$\{{x}^{l}{\}}_{l=1}^{L}$

为输入的多尺度特征图,其中

${x}^{l}\in {\mathrm{R}}^{\mathrm{C}\times {\mathrm{H}}_{\mathrm{l}}\times {\mathrm{W}}_{\mathrm{l}}}$

${\hat{P}}_{q}\in {\left[\mathrm{0,1}\right]}^{2}$

为每个查询元素q的参考点归一化坐标,归一化坐标(0,0)和(1,1)分别表示左上角和右下角,则多尺度可变形像素解码器表达式为

(7)

$\begin{array}{l}\mathrm{F}({z}_{q},{\hat{P}}_{q},\{{x}^{l}{\}}_{l=1}^{L})=\\ \stackrel{M}{\sum _{m=1}}{W}_{m}\left\{\stackrel{L}{\sum _{l=1}}\stackrel{K}{\sum _{k=1}}{A}_{mlqk}W{\text{'}}_{m}{x}^{l}\right[{\varphi }_{l}\left({\hat{P}}_{q}\right)+\mathrm{\Delta }{P}_{mlqk}\left]\right\}\end{array}$

式(7)中:m为注意力头的数量;l和k为输入特征水平和采样点数;ΔP_mlqk为第l个特征水平和第m个注意力头的第k个采样点的偏移量;A_mlqk为第l个特征水平和第m个注意力头的第k个采样点的注意权值。

注意权值标量A_mlqk归一化表示为

(8)

$\stackrel{L}{\sum _{l=1}}\stackrel{K}{\sum _{k=1}}{A}_{mlqk}=1$

1.4 逐级递减机制设计

在解码后图像生成特征向量时,引入了逐级递减机制。当解码后图像输入到编码器网络时,首先对其采取较高的离散度,在更大范围上提取全局图像特征。随着图像分辨率的降低,离散度逐级递减,稀疏邻接注意力逐渐向邻接注意力靠近。在较小的范围时只关注目标本身的细节。当离散度n=0时,稀疏邻接自注意力变为邻接自注意力,如图4所示。

1.5 展平与标签化模块设计

展平与标签化模块使用了位置对象查询向量Q_loc和语义对象查询向量Q_sem两组查询向量,如图5所示。

位置对象查询向量Q_loc表示图像中片段的像素位置。首先将1/4分辨率特征向量进行展平,并将展平后的表示传递给位置编码器,编码后的位置对象查询向量Q_loc表示输入图像中所有可能的二进制掩膜。语义对象查询向量Q_sem表示图像中片段的语义类别,首先将可能存在的全景词元标签化,并将标签化的表示传递给文本编码器,编码后的语义对象查询向量Q_sem表示输入图像中二进制掩码对应的类别。然后将语义对象查询向量Q_sem嵌入到可学习的位置对象查询向量Q_loc中,获得最终的掩膜解码器的目标查询向量Q_obj。

1.6 掩膜解码模块设计

掩膜解码模块的主要作用接受组合的位置-语义查询向量对(Q_loc,Q_sem),即目标查询向量Q_obj,然后计算交叉注意力并输出细化的目标查询结果,生成掩膜及类别输出。掩膜解码模块采用与Mask2former类似的结构,在目标查询向量Q_obj上使用多尺度特征进行交叉掩膜注意力,掩码及类别覆盖结果通过目标查询结果和1/4分辨率特征图的点积运算得到结构如图6所示。

1.7 模型复杂度与计算效率分析

SNA-Seg算法注重了指标性能提升与计算资源开销之间的平衡。基于自注意力机制的图像分割模型存在计算量较大的问题,尤其是在输入高分辨率图像时,其注意力计算开销呈指数级增长,导致实时性能受限。在邻接窗口注意力机制的基础上引入稀疏性设计,仅对目标像素邻域内的关键区域进行注意力建模,有效降低了无效区域的计算冗余。此外,SNA-Seg在骨干网络中采用模块化稀疏注意机制,在像素解码器中引入多尺度变形注意力结构,并结合逐级递减机制,在保证全局特征建模能力的同时进一步减小了计算资源的消耗。整体网络在参数量、计算量和运行速度方面保持了与现有主流模型相当的水平,但在分割性能上实现了有效提升,体现出更优的效率-性能比。因此,SNA-Seg算法具备良好的工程可部署性,可以适用于计算资源有限但对语义理解要求较高的机器人或嵌入式场景。

2 算法验证

2.1 数据集选取与评价指标

实验数据使用德国奔驰公司的城市街道场景数据集Cityscape, 该数据集包括地面类、天空类、自然类、建筑类、人类、车辆类、小物体类、道路标志类等19类物体,其中有背景语义类别11个和前景实例类别8个,标注了较为精细的图像分割标注,能够精确量化图像分割结果,符合移动机器人大部分的使用场景^[28]。

为保证模型训练的有效性与泛化能力,采用了常见的8∶2训练验证集划分比例。该划分策略在图像分割任务中广泛应用,能够在有限的数据规模下兼顾模型拟合能力与泛化性能。具体划分时,参考Cityscapes数据集的地理标签,按城市类别对图像进行分布均衡抽样,确保训练集与验证集覆盖多种典型街景场景,避免因过拟合某一类场景而影响模型整体性能评估的客观性。根据不同地理位置标签,各选取Cityscape数据集中约1 000张图片,80%组成训练集,20%组成验证集,如表1所示。

在其他地理位置标签下,各选取500张图片组成测试集,如表2所示。

使用全景质量(panoptic quality,PQ)、分割质量(segmentation quality,SQ)、平均交并比(mean intersection over union,mIoU)作为评价指标。其中,PQ、SQ用来评估全景分割结果,mIoU用来评估语义分割性能。

全景质量是综合衡量全景分割的关键性能指标,其以统一的方式评价所有的实例对象和未定形区域,其计算公式为

(9)

$\begin{array}{l}PQ=\frac{\sum _{(P,G)\in \mathrm{T}\mathrm{P}}IoU(\mathrm{P},\mathrm{G})}{\left|\mathrm{T}\mathrm{P}\right|}\times \\ \frac{\left|\mathrm{T}\mathrm{P}\right|}{\left|\mathrm{T}\mathrm{P}\right|+\frac{1}{2}\left|\mathrm{F}\mathrm{P}\right|+\frac{1}{2}\left|\mathrm{F}\mathrm{N}\right|}\end{array}$

式(9)中:IoU(P,G)为预测对象P和真值G之间的交并比;TP为正确匹配的区块,即预测块与真值标注块之间的IoU(P,G)达到阈值0.5以上的区域;FP为被模型判定为正值的负样本;FN为被模型判定为负值的正样本。

为了更好地评价全景分割结果,可将全景质量 (PQ)分解为分割质量(SQ)与识别质量(recognition quality, RQ)的乘积,则SQ、RQ表示为

(10)

$SQ=\frac{\sum _{(P,G)\in \mathrm{T}\mathrm{P}}IoU(\mathrm{P},\mathrm{G})}{\left|\mathrm{T}\mathrm{P}\right|}$

(11)

$\mathrm{R}\mathrm{Q}=\frac{\left|\mathrm{T}\mathrm{P}\right|}{\left|\mathrm{T}\mathrm{P}\right|+\frac{1}{2}\left|\mathrm{F}\mathrm{P}\right|+\frac{1}{2}\left|\mathrm{F}\mathrm{N}\right|}$

式中:SQ为匹配后的预测块与真值标注块之间的平均交并比;RQ为全景分割中每个实例对象识别的准确性。

评价全景质量时针对每一类实例对象和未定形区域,先计算单个类别的PQ、SQ和RQ,然后再将得到的所有类别的相应值取均值。

平均交并比(mIoU)是检测相应物体准确率的一个测量标准,用来评估预测图像中覆盖掩码的质量,是对象类别分割问题的标准性能度量。mIoU通过计算模型预测的结果与实际数据的差异评估分割的准确性,分为前景平均交并比mIoU_th和背景平均交并比mIoU_st,计算方法为

(12)

$mIo{\mathrm{U}}_{\mathrm{t}\mathrm{h}}=\frac{\sum _{(P,G)\in \mathrm{T}\mathrm{P}}IoU({P}_{\mathrm{t}\mathrm{h}},{G}_{\mathrm{t}\mathrm{h}})}{\left|\mathrm{T}\mathrm{P}\right|}$

(13)

$mIo{\mathrm{U}}_{\mathrm{s}\mathrm{t}}=\frac{\sum _{(P,G)\in \mathrm{T}\mathrm{P}}IoU({P}_{\mathrm{s}\mathrm{t}},{G}_{\mathrm{s}\mathrm{t}})}{\left|\mathrm{T}\mathrm{P}\right|}$

式中:P_th与G_th分别为对前景实例分割的预测掩码与目标真值掩码;P_st与G_st分别为对背景实例分割的目标真值掩码与预测掩码。

尽管Cityscapes数据集整体规模有限,但其图像质量高、语义类别标注精细,涵盖了典型的城市道路、行人、建筑、车辆等多种语义场景,具备较强的代表性与挑战性,被广泛应用于语义分割和全景分割等研究中。后续研究可以引入BDD100K、Mapillary Vistas等大规模、多样化的开放数据集,以进一步提升模型泛化能力和复杂环境适应能力。

2.2 网络参数设置

实验所用网络采用基于Nvidia T4 GPU的Google Colab服务器进行在线训练。NVIDIA T4 GPU每个单元都有16 GB内存,可以提供一系列精度支持,包括FP32、FP16、INT8和INT4。当Tensor Core以混合精度启用时,与仅在FP32中运行相比,GCP上的T4 GPU可以通过Tensor RT将ResNet-50上的推理速度提高10倍以上。

在算法训练前将各部分模块基于Pytorch实现,构建SNA-Seg、NA-Seg、Swin-Seg共3类网络,其网络参数设置如表3所示。

2.3 消融实验

在测试集数据中挑选3个具有代表性的序列进行消融实验,以验证骨干网络中的稀疏特性、逐级递减机制模块所起的作用^[26]。实验时,将SNA-Seg算法的上述模块分别隔离,以验证其有效性。实验数据使用前文所述的全景质量(PQ)、分割质量(SQ)、背景平均交并比(背景mIoU)、前景平均交并比(前景mIoU)等指标进行评估,实验结果的数据如表4所示。

由表4的3个典型序列的实验结果可知,仅加入稀疏特性模块时,全景质量、分割质量、背景平均交并比指标在所有序列上均是提升的,最大提升幅度达到了8.24%;前景平均交并比在Jena、Düsseldorf序列有一定程度的提升。仅加入逐级递减机制模块时,全景质量、分割质量指标在所有序列上均是提升的,最大提升幅度达到了5.93%;背景平均交并比指标、前景平均交并比指标在Erfurt、Düsseldorf序列有一定程度的提升。稀疏特性、逐级递减机制模块均加入时,4个评价指标均有不同程度的提升,最大提升幅度达到了10.03%。表明加入稀疏特性、逐级递减机制模块在尽可能保持语义分割性能的同时,促进了实例分割性能的改善。

2.4 算法对比实验

为了验证SNA-Seg算法的有效性,设计了同其他注意力机制算法的对照实验,包括滑动窗口注意力(Swin)和邻接窗口注意力(NA)。SNA-Seg算法与滑动窗口注意力、邻接窗口注意力算法的对比实验数据如表5所示。

由表5可知,SNA-Seg算法相较于滑动窗口注意力(Swin)、邻接窗口注意力(NA)算法在全景质量、分割质量、平均交并比等指标在数据集Erfurt等6个数据序列上均表现出了较好的性能指标。其中,全景质量的提升幅度为3.77%~6.38%,在Weimar数据序列上效果最好;分割质量提升幅度为1.97%~5.96%,在Lindau数据序列的表现较好;背景平均交并比的提升幅度为1.55%~11.17%,在Düsseldorf数据序列的效果较好;前景平均交并比的提升幅度为1.07%~6.48%,在Jena数据序列的性能较好。

3 实验测试与分析

3.1 实验测试

为了直观地展示不同算法之间的性能差异,采集本地视觉数据进行算法的分割实验测试,效果可视化实验结果如图7~图9所示。

由图7可知,相较于Swin算法的全景图像分割,SNA-Seg算法分割结果精度较高,对道路表面的路障、树坑等小型物体的分割效果更好。

由图8可知,相较于Swin算法的图像分割,SNA-Seg算法对树木等弱纹理的分割和处理较好,但是对积雪路面的处理有一定的缺陷和不足。

由图9可知,相较于Swin算法的全景图像分割,SNA-Seg算法对道路上出现的快递小车等动态物体的识别和处理更加准确。

从上述分割结果与原始图像覆盖输出可以看出,SNA-Seg算法能够正确输出掩膜及类别,且输出的掩膜及类别与原始图像的一致性较好。实验测试表明,采用稀疏邻接注意力的SNA-Seg算法全景图像分割效果更好,特别是在弱纹理、存在动态物体等方面分割的精细度更高。

3.2 稳定性与鲁棒性分析

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	何家峰, 陈宏伟, 骆德汉. 深度学习实时语义分割算法研究综述[J]. 计算机工程与应用, 2023, 59(8): 13-27.

[2]	HeJiafeng, Chen Hongwei, Luo Ddehan. A survey on deep learning-based real-time semantic segmentation algorithms[J]. Computer Engineering and Applications, 2023, 59(8): 13-27.

[3]	Kazerouni I A, Fitzgerald L, Dooly G. A survey of state-of-the-art on visual SLAM[J]. Expert Systems with Applications, 2022, 205: 1-17.

[4]	陈明方, 黄良恩, 王森, 等. 移动机器人视觉里程计技术研究综述[J]. 农业机械学报, 2024, 55(3): 1-20.

[5]	Chen Mingfang, Huang Liangen, Wang Sen, et al. A survey on visual odometry technologies for mobile robots[J]. Journal of Agricultural Machinery, 2024, 55(3): 1-20.

[6]	马峥嵘, 吴俊杰, 李强, 等. 基于深度学习的室内语义SLAM系统研究[J]. 科学技术与工程, 2021, 21(20): 8346-8351.

[7]	Ma Zhenrong, Wu Junjie, Li Qiang, et al. Research on indoor semantic SLAM system based on deep learning[J]. Science Techno-logy and Engineering, 2021, 21(20): 8346-8351.

[8]	刘庆运, 杨华阳, 刘涛, 等. 基于激光雷达与深度相机融合的SLAM算法[J]. 农业机械学报, 2023, 54 (11): 29-38.

[9]	Liu Qingyun, Yang Huayang, Liu Tao, et al. SLAM algorithms based on fusion of LiDAR and depth cameras[J]. Journal of Agricultural Machinery, 2023, 54(11): 29-38.

[10]	李小倩, 何伟, 朱世强, 等. 基于环境语义信息的同步定位与地图构建方法综述[J]. 工程科学学报, 2021, 43(6): 754-767.

[11]	Li Xiaoqian, He Wei, Zhu Shiqiang, et al. A survey on SLAM methods based on environmental semantic information[J]. Journal of Engineering Sciences, 2021, 43(6): 754-767.

[12]	Crespo J, Castillo J C, Mozos O M, et al. Semantic information for robot navigation: a survey[J]. Applied Sciences, 2020, 10(2): 497-525.

[13]	王杰, 陈正伟, 徐照胜, 等. 基于相机与激光雷达融合的温室机器人行间导航方法[J]. 农业机械学报, 2023, 54(3): 32-40.

[14]	Wang Jie, Chen Zhengwei, Xu Zhaosheng, et al. Inter-rows navigation method of greenhouse robot based on fusion of camera and LiDAR[J]. Transactions of the Chinese Society for Agricultural Machinery, 2023, 54(3): 32-40.

[15]	青晨, 禹晶, 肖创柏, 等. 深度卷积神经网络图像语义分割研究进展[J]. 中国图象图形学报, 2020, 25(6): 1069-1090.

[16]	Qing Chen, Yu Jing, Xiao Chuangbo, et al. Research progress on deep convolutional neural network image semantic segmentation[J]. Journal of Image and Graphics, 2020, 25(6): 1069-1090.

[17]	刘培刚, 薛开欣, 袁昊, 等. 基于局部感知的点云语义分割方法[J]. 科学技术与工程, 2024, 24(15): 6329-6337.

[18]	Liu Peigang, Xue Kaixin, Yuan Hao, et al. Point cloud semantic segmentation method based on local perception[J]. Science Technology and Engineering, 2024, 24(15):6329-6337.

[19]	Li X Y, Chen D. A survey on deep learning-based panoptic segmentation[J]. Digital Signal Processing, 2022, 120: 1-20.

[20]	朱琪, 王自力, 张景峰, 等. 基于注意力机制的图像语义分割模型性能研究[J]. 科学技术与工程, 2022, 22(16): 6597-6604.

[21]	Zhu Qi, Wang Zili, Zhang Jingfeng, et al. Performance analysis of semantic segmentation model based on attention mechanism[J]. Science Technology and Engineering, 2022, 22(16): 6597-6604.

[22]	Yan B, Niu X J, Bare B, et al. Semantic segmentation guided pixel fusion for image retargeting[J]. IEEE Transactions on Multimedia, 2020, 22(3): 676-687.

[23]	Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 39(4): 640-651.

[24]	Chen L C, Zhu Y, Papandreou G, et al. Encoder decoder with atrous separable convolution for semantic image segmentation[C]// Proceedings of the 15th European Conference on Computer Vision. Munich: Springer, 2018: 801-818.

[25]	Sun K, Xiao B, Liu D, et al. Deep high-resolution representation learning for human pose estimation[J]. arXiv Preprint, arXiv: 2601.00584,2019.

[26]	Wang S, Gong Y, Xing J, et al. RDSNet: a new deep architecture for reciprocal object detection and instance segmentation[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2020: 12208-12215.

[27]	Fu J, Liu J, Tian H, et al. Dual attention network for scene segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 3146-3154.

[28]	Dosovitskiy A, Beyer L, Kolesnikov A, et al. An image is worth 16×16 words: transformers for image recognition at scale[C]// International Conference on Learning Representations. San Diego: ICLR, 2021: 1-10.

[29]	Xie E, Wang W, Yu Z, et al. SegFormer: simple and efficient design for semantic segmentation with transformers[J]. Advances in Neural Information Processing Systems. Red Hook: Curran Associates Inc., 2021, 34: 12077-12090.

[30]	Xie R, Pang K, Bader G D, et al. MAESTER: masked autoencoder guided segmentation at pixel resolution for accurate, self-supervised subcellular structure recognition[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 3292-3301.

[31]	Li F, Zhang H, Xu H, et al. Mask DINO: towards a unified transformer-based framework for object detection and segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 3041-3050.

[32]	Jain J, Li J, Chiu M T, et al. OneFormer: one transformer to rule universal image segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 2989-2998.

[33]	徐鹏斌, 瞿安国, 王坤峰, 等. 全景分割研究综述[J]. 自动化学报, 2021, 47(3): 549-568.

[34]	Xu Pengbin, Qu Anguo, Wang Kunfeng, et al. A survey on panoptic segmentation[J]. Acta Automatica Sinica, 2021, 47(3): 549-568.

[35]	毕阳阳, 郑远帆, 史彩娟, 等. 基于深度学习的图像全景分割综述[J]. 计算机科学与探索, 2023, 17(11): 2605-2619.

[36]	Bi Yangyang, Zheng Yuanfan, Shi Caijuan, et al. A survey on deep learning-based image panoptic segmentation[J]. Journal of Computer Science and Exploration, 2023, 17(11): 2605-2619.

[37]	李佳, 王猛, 胡劲松, 等. 面向嵌入式设备的轻量化语义分割模型研究[J]. 科学技术与工程, 2023, 23(22): 9490-9496.

[38]	Li Jia, Wang Meng, Hu Jinsong, et al. Research on lightweight semantic segmentation model for embedded devices[J]. Science Technology and Engineering, 2023, 23(22): 9490-9496.

[39]	刘畅, 张洪波, 王英英, 等. 基于改进注意力机制的遥感图像语义分割方法[J]. 科学技术与工程, 2022, 22(27): 11561-11568.

[40]	Liu Chang, Zhang Hongbo, Wang Yingying, et al. Semantic segmentation of remote sensing images based on improved attention mechanism[J]. Science Technology and Engineering, 2022, 22(27): 11561-11568.

[41]	Cordts M, Omran M, Ramos S, et al. The cityscapes dataset[EB/OL]. [2025-11-22]. https://www.cityscapes-dataset.com.

基金资助

内蒙古自然科学基金(2024LHMS06023)

内蒙古科技计划(2021GG025)

内蒙古自治区首批英才兴蒙工程团队项目(DC2500000541)

PDF (11500KB)

访问

被引

详细

导航

Received	Published	Revised
2025-03-03	2026-02-28	2025-11-21
Online Date
2026-05-30

摘要