基于改进DeepLabV3+的城市街景语义分割研究

吴进; 谢兴军; 罗俊航; 孙培艺

doi:10.12404/j.issn.1671-1815.2505785

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (18) :7759-7768 DOI: 10.12404/j.issn.1671-1815.2505785

自动化技术、计算机技术

基于改进DeepLabV3+的城市街景语义分割研究

作者信息 +

Semantic Segmentation of Urban Street Scenes Based on Improved DeepLabV3+

Author information +

文章历史 +

摘要

针对于现有的自动驾驶领域街景分割算法普遍存在的小目标分割不准确,模型计算量大等问题,基于DeepLabV3+网络提出了融合注意力机制和多尺度特征的街景分割方法。首先,在DeepLabV3+网络的基础上,用经过预训练的MobileNetV3替换原来的主干提取网络Xception,减少模型计算量;其次在空洞空间金字塔池化结构中加入条形池化SPM以捕捉细长条形的特征,同时针对条形池化只能检测单一尺度的物体,提出了多尺度条形池化模块(multi-scale strip pooling module,MSPM),帮助模型提取到更多的物体特征;最后,利用内容引导注意力(content-guided attention, CGA)内容引导的注意力机制对网络的深层特征和浅层特征融合,确保融合过程中不会丢失主要特征并利用Focal Loss损失函数有效地解决数据集类别分布不均匀的问题,提升模型预测精度。实验结果表明:改进后的模型在Cityscapes数据集上的平均交并比、类别平均像素准确率分别为 59.9%、90.9%,与原模型相比,分别提高了9.73%、0.3%;模型参数相比于原模型减少了21.06×10⁶,且效果均优于FCN、SegNet、PSPNet等主流的语义分割模型,在实现模型轻量化的同时还提升了对街景图像的分割精度。

Abstract

An improved street scene segmentation method was proposed to address the challenges of inaccurate small-object segmentation and high computational cost in autonomous driving. The method was developed based on the DeepLabV3+ framework with integrated attention mechanisms and multi-scale feature extraction. Firstly, the original Xception backbone was replaced by a pre-trained MobileNetV3 network to reduce computational complexity. Secondly, SPM (strip pooling module) was incorporated into ASPP (atrous spatial pyramid pooling) structure to capture elongated spatial features. To address the limitation of single-scale object detection in strip pooling, MSPM (multi-scale strip pooling module) was designed. Finally, deep and shallow features were fused using CGA (content-guided attention) mechanism to preserve essential features, and the Focal Loss function was employed to alleviate class imbalance in the dataset.Experimental results on the Cityscapes dataset indicate that the proposed model achieves mIoU (mean intersection over union) of 59.9% and mPA (mean pixel accuracy) of 90.9%. These represent improvements of 9.73% in mIoU and 0.3% in mPA over the original DeepLabV3+ model. Moreover, the parameter count is reduced by 21.06×10⁶. Comparative evaluations demonstrate that the proposed approach outperforms mainstream semantic segmentation models, including FCN, SegNet, and PSPNet. The study concludes that the method effectively achieves model lightweighting while improving segmentation accuracy for urban street scenes.

Graphical abstract

关键词

街景语义分割 / DeepLabV3+ / 轻量化 / 多尺度融合 / 多尺度条形池化

Key words

urban street scene segmentation / DeepLabV3+ / lightweight model / multi-scale feature fusion / multi-scale strip pooling

引用本文

引用格式 ▾

吴进, 谢兴军, 罗俊航, 孙培艺. 基于改进DeepLabV3+的城市街景语义分割研究[J]. 科学技术与工程, 2026, 26(18): 7759-7768 DOI:10.12404/j.issn.1671-1815.2505785

WU Jin, XIE Xing-jun, LUO Jun-hang, SUN Pei-yi. Semantic Segmentation of Urban Street Scenes Based on Improved DeepLabV3+[J]. Science Technology and Engineering, 2026, 26(18): 7759-7768 DOI:10.12404/j.issn.1671-1815.2505785

登录浏览全文

4963

注册一个新账户忘记密码

随着人工智能的发展,自动驾驶已经成了当下的一个热门研究课题。在自动驾驶感知任务中,道路场景语义分割(semantic segmentation, SS)是自动驾驶系统感知环境的重要手段之一,它能够对道路、车辆、行人、交通标志等关键目标进行像素级分类,为决策规划提供精确的环境信息。近年来,深度学习在街道景观分割中的应用取得了显著进展,图像分割网络的起源就是Long等^[1]提出的全卷积神经网络(fully convolutional networks for semantic segmentation,FCN-8s),FCN-8s将全连接层替换为全卷积层来实现端到端图像分割并引入跳跃结构增强定位精度; Ronneberger等^[2]提出了UNet网络应用于图像分割,其主要通过编码器-解码器结构,使用大量的跳跃连接来融合浅层和深层的语义信息; Zhao等^[3]提出了PSPNet从不同尺度上获取上下文信息,解决了图像尺度变化大的问题,大幅提升了网络的全景理解能力;文献[4 -7]提出了DeepLab系列,其中DeepLabV1使用空洞卷积(atrous convolution, AC)保持分辨率的同时增大感受野并引入全连接条件随机场(fully connected CRF)作为后处理模块,增强边缘清晰度和细节恢复能力;DeepLabV2提出空洞空间金字塔池化(atrous spatial pyramid pooling, ASPP),结合不同膨胀率的卷积核提取多尺度上下文信息;DeepLabV3去除了CRF后处理,对ASPP模块进行增强,引入了图像级特征;DeepLabV3+使用了深度可分离空洞卷积(depthwise separable atrous convolution,DSAC),提升速度和效率。杨海红^[8]提出了改进的DeepLabV3+模型,在原有模型的基础上,嵌入了坐标注意力模块并对其特征融合进行校正。张秀再等^[9]提出了一种基于DeepLabV3+网络的轻量化语义分割模型——Faster-DeepLabV3+,引入MobileNetV2轻量化主干网络,并且提出了改进的双注意力机制模块增强网络对不同维度特征提取的敏感性和准确性。谷湘煜等^[10]提出了一种多特征融合的轻量级道路场景语义分割网络模型,通过深度可分离卷积搭建特征提取结构,引入边缘检测支路对分割图像的目标边界信息进行细化。高昕等^[11]提出一种基于TPH-YOLOv5的道路目标检测方法,在YOLOV5中加入了微小物体检测头和Transform预测全局信息,并且引入多尺度融合提高物体识别的精度。

上述语义分割网络改进从不同的角度对模型进行优化,但是,在实际的街景识别中,对于DeepLabV3+网络而言,还要考虑多尺度目标物体检测以及随着网络层数加深导致的模型感受野变小的问题,在此基础上,现提出改进后的CG-DeepLabV3+网络以实现对街景的准确分割。采用轻量化的MobileNetV3代替原有的主干网络Xception,大大减少模型计算的参数量;在编码器阶段引入多尺度条形池化增加模型对细长物体的分割精度;在浅层和深层语义特征融合时引入内容引导的注意力机制,防止由于特征融合造成部分细节丢失,模型的分割精度显著提高;使用加权损失函数代替普通的交叉熵损失^[12],减小由于正负样本不平衡导致的精度下降。采用主干网络替换以及对小目标和细长条状物体的增强方式,可以有效地减小街景图像分割的计算量,增加检测精度,以便于较好地应用于自动驾驶场景当中。

1 DepLabV3+模型

DeepLabV3+网络是目前图像分割领域最常见并且分割效果最优秀的分割算法之一^[13],其结构如图1所示。DeepLabV3+的整体网络结构为常见的编码-解码结构,编码器部分首先通过Xception主干提取网络提取特征,然后将提取到的特征网络生成浅层特征图,将这些特征输入到空洞空间金字塔池化,利用空洞卷积从不同角度提取特征^[14],并将其堆积叠加后通过1×1的卷积调整通道数将其通道数调整为256。解码器部分首先对ASPP模块输出的堆叠特征块进行上采样,使其特征图像分辨率与输入图像一致,然后将其与主干网络提取的浅层特征融合,最后对融合后的特征通过3×3的卷积层进行整合后再通过上采样将图像恢复到原图大小并输出得到图像分割结果。

DeepLabV3+通过独特的编码-解码结构和空洞金字塔池化模块能够实现较好的分割精度,但是对于小目标和物体细小边缘检测任务,DeepLabV3+容易丢失底层信息、分割速度慢、融合机制不全面等问题。针对上述问题,对DeepLabV3+网络进行改进,使其更适合用于街景分割中。

2 CG-DeepLabV3+模型

为解决DeepLabV3+模型对小目标物体分割精度不高、特征融合机制不完善等问题,对DeepLabV3+网络进行改进,改进后的网络结构图如图2所示,在特征提取部分,采用轻量化的MobileNetV3替换原来的主干提取网络Xception,较好地减少了网络参数量,使得训练时间大大减少。在网络的编码器部分,添加多尺度条形池化增强特征图的横向和纵向特征^[15]。在解码器部分,为了进一步增强浅层特征融合,引入了CGA融合机制,在空间、通道和像素3个方面对特征图进行特征融合。最后,网络整体使用Focal Loss损失函数^[16],可以较好地解决Cityscapes数据集类别分布不均匀的问题,能够很好地提高网络的分割精度和速度。

2.1 骨干网络MobileNetV3

DeepLabV3+网络的主干提取网络一般为ResNet50和Xception,虽然上述主干网络可以较好地提取浅层和深层特征,但是参数计算量很大,在设备受限的情况下较难实现。因此,用MobileNetV3作为主干网络,MobileNetV3^[17]是一种高效轻量级卷积神经网络,它是在MobileNetV1^[18]和MobileNetV2^[19]的基础上进行改进和扩展。MobileNetV3网络结构集成了SE模块,可以通过计算通道注意力权重增强网络的特征提取能力;并且在原网络的基础上更新了激活函数,使用全新的激活函数H-swish有效地提升了模型的分割精度,如图3所示,为了减少计算资源开销和对于高维特征提取的精度,MobileNetV3在Avg-pool之后采用倒置残差结构和变体模型,并且以1×1的卷积层作为最后一层,可以更有利于扩展到高纬度的特征空间^[20]。

MobileNetV3网络结构参数如表1所示。MobileNetV3通过Block模块能够很好地减少参数量的计算,在Block模块中包含逐点卷积用于特征融合,先用1×1的卷积核对输入特征逐点卷积,然后用K×K的卷积核对升维后的特征进行深度卷积,可以较好地保留低维特征^[21];并且Block模块还结合了线性瓶颈和倒置残差结构,在浅层结构中减小特征维度的同时进行特征提取,而在深层结构中则通过残差结构和其特有的结构特征扩大模型的表征能力并提取高级的语义特征。在Attention Mechanism中,MobileNetV3在Block中加入了SE机制,如图4所示,对输入特征进行DW卷积后经过池化和全连接层,然后再经ReLU函数激活后再次经过全连接层和H-swish激活函数,计算公式为

(1)

$\mathrm{H}-\mathrm{s}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{h}\left(\mathit{x}\right)=\mathit{x}\frac{\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(\mathit{x}+3)}{6}$

(2)

$\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}6\left(\mathit{x}\right)=\mathrm{m}\mathrm{i}\mathrm{n}\left[\mathrm{m}\mathrm{a}\mathrm{x}\right(\mathit{x},0),6]$

式中:x为输入值;min为取最小值;max为取最大值。

此外,MobileNetV3采用SE机制和NAM机制交叉使用的方式,将SE模块集成于低分辨率层,使得在有限的计算复杂度的前提之下提高特征提取能力,而NAM被用于高分辨率层也可以进一步提高模型对重要特征的关注能力。

2.2 多尺度条形池化(MSPM)

空间空洞金字塔池化(atrous spatial pyramid pooling,ASPP)被用于多种物体检测和图像分割的模型中。该模块通过引入多尺度的空洞卷积(dilated convolution,DC)并行处理特征图,有效捕获多尺度上下文信息,帮助模型获得多尺度感受野^[22]。但其膨胀卷积的特点会导致参数量、计算量增加。在街景分割模型中,ASPP对于对边缘和条状特征提取精度不高,因此,提出了改进的ASPP模块,在ASPP的分支中加入多尺度条形池化(multi-scale strip pooling module,MSPM)模块,提取条形特征信息。多尺度条形池化模块是基于条形池化(strip pooling module,SPM)^[23]的改进。SPM的计算公式为

(3)

${{\mathit{y}}^{\mathrm{h}}}_{\mathit{i}}=\frac{1}{\mathit{W}}\sum _{0\le \mathit{j}\le \mathit{W}}{\mathit{x}}_{\mathit{i},\mathit{j}}$

(4)

${{\mathit{y}}^{\mathrm{v}}}_{\mathit{j}}=\frac{1}{\mathit{H}}\sum _{0\le \mathit{i}\le \mathit{H}}{\mathit{x}}_{\mathit{i},\mathit{j}}$

式中:y^h_i和y^v_j分别为水平方向和垂直方向的多尺度条形池化输出;W和H为图像的宽度和高度;x_i_,_j 为原图像素点。

在传统的条形池化模块中,是直接对特征图进行池化,SPM的结构图如图5所示。其通过提取1×W的水平特征图和H×1的垂直特征图后拼接得到一个新的特征图,然后通过1×1卷积通道调整和原特征图融合后得到输出张量。但是,在街景图像分割中会存在行人、路灯等长短规模不同的线性目标,基于原始的条形池化模块只能根据输入特征图的尺寸做单一的细长物体检测,对于街景图像的分割精度的提升不大。因此,提出了多尺度条形池化(multi-scale strip pooling module,MSPM)^[24],多尺度条形池化的结构图如图6所示。为了能够进行多尺度的特征提取,将原特征图均分为4份,将特征图在长度和宽度上分别切分为两块,然后对4块大小相同的特征图分别进行条形池化操作,最后将池化后的特征图按原图位置拼接后再进行特征融合和通道调整。MSPM可以通过设置原特征图划分的位置以及份数来确定池化的大小,对更加适用于街景分割中的条状物体的分割。

在加入MSPM的基础上重新设置了膨胀系数,根据特征提取网络MobileNetV3的特性,将膨胀率设定为[0,6,12,18],通过卷积膨胀率的改变可以在不增加模型参数的条件下增大在水平和垂直方向上的感受野,使得多尺度的图像特征可以被提取。

2.3 CGA多尺度融合

由于主干提取网络对于小目标信息捕捉能力较弱,在特征融合阶段容易丢失部分信息,为了更好地实现特征融合,引入了内容引导的注意力机制^[25](content-guided attention,CGA)内容引导的注意力机制,用于提高特征融合时神经网络的性能。该模块首先会生成粗略的空间注意力图,然后根据前级网络提取的特征图进行通道细化,最终产生较为完整的空间注意力图。CGA的结构图如图7所示,该模块通过交叉引导注意力机制,利用低层和高层特征之间的互补性从而去关注通道的每一个特征,可以很好地融合低维和高维通道特征图,并且,通过计算空间权重对特征调制可以有效缓解梯度爆炸的问题,提高小目标分割精度^[26]。

CGA通过计算空间权重进行特征融合,融合过程的公式为

(5)

${\mathit{F}}_{\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{e}}={\mathit{C}}_{1\times 1}[{\mathit{F}}_{\mathrm{l}\mathrm{o}\mathrm{w}}\mathit{W}+{\mathit{F}}_{\mathrm{h}\mathrm{i}\mathrm{g}\mathrm{h}}(1-\mathit{W})+{\mathit{F}}_{\mathrm{l}\mathrm{o}\mathrm{w}}+{\mathit{F}}_{\mathrm{h}\mathrm{i}\mathrm{g}\mathrm{h}}]$

式(5)中:F_low和F_high分别为底层和高层特征;C_1×1为卷积大小,用来调整输出通道;ω为融合权重。

将主干提取网络中的低级特征和经过ASPP与MSPM的高级特征输入CGA中进行权重计算,然后通过加权求和的方式得到输出特征并且采用从输入特征到输出的跳跃残差结构来增强融合特征,将低级特征直接传递到高层,可以更好地促进模型的训练和收敛^[27]。CGA的融合过程如图8所示。

CGA注意力机制首先通过卷积和池化得到特征图中的空间通道注意力权重,其表达式为

(6)

${\mathit{S}}_{\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{n}}=\mathit{\sigma }\left(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{7\times 7}\right([{\mathit{x}}_{\mathrm{a}\mathrm{v}\mathrm{g}},{\mathit{x}}_{\mathrm{m}\mathrm{a}\mathrm{x}}]\left)\right)$

式(6)中:σ为Sigmoid激活函数;[x_avg,x_max]为平均池化和最大池化之后得到的特征图;S_attn为空间通道注意力权重。

随后CGA通过通道注意力对图像进行全局池化和卷积操作去学习各通道的重要性权重公式为

(7)

${\mathit{C}}_{\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{n}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{1\times 1}\left\{\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\right[\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{1\times 1}\left({\mathit{x}}_{\mathrm{g}\mathrm{a}\mathrm{p}}\right)\left]\right\}$

式(7)中:ReLU为激活函数;x_gap为对输入特征图进行自适应全局平均池化;C_attn为通道重要性权重。

然后将通道注意力机制和空间注意力机制相加后与原始特征图拼接形成新的特征图后重新通过卷积学习像素注意力权重,其表达式为

(8)P_attn=σ(Con${\mathrm{v}}_{7\times 7}^{\mathrm{d}\mathrm{e}\mathrm{p}\mathrm{t}\mathrm{h}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}}${Concat[x,(S_attn+C_attn)]})

式(8)中:x为输入特征图;Conv_7×7为大小为7×7的深度可分离卷积。

最后将得到的主特征图和辅助特征图进行特征融合并通过1×1卷积整合特征,融合过程的公式为

(9)F_out=x₁+Conv_1×1[Interpolate(x₂)]+P_attn☉x₁+(1-P_attn)☉Interpolate(x₂)

式(9)中:x₁、x₂分别为输入主特征图和辅助特征图;Interpolate表示对特征图进行上采样操作;F_out为输出特征;☉为逐点卷积。

2.4 损失函数

在对街道景观图像分割的过程中存在着类别不均衡的问题,即模型对于像素点较少的物体分割精度较低,所以,采用Focal Loss损失函数可以有效地解决该类别分布不均匀的问题。提高模型性能。Focal Loss的表达式为

(10)

$\mathrm{F}\mathrm{L}\left({\mathit{P}}_{\mathrm{t}}\right)=-\mathit{\alpha }(1-{\mathit{P}}_{\mathrm{t}}{)}^{\mathit{\gamma }}\mathrm{l}\mathrm{g}({\mathit{P}}_{\mathrm{t}})$

式(10)中:P_t为模型预测的置信度;α为平衡因子,用于调整正负样本的重要性;γ为聚焦因子(focusing parameter, FP),控制对易分类样本的抑制程度,当γ=0时,Focal Loss 退化为标准的交叉熵损失。

3 实验结果及分析

3.1 数据集描述

为了验证所提出的改进的DeepLabV3+分割网络,采用Cityscapes^[28]数据并通过对比实验取验证。Cityscapes数据集是国际公开的针对于城市街景分割的图片数据集,其包含了2 975张训练图片,500张验证图片以及测试样本的图片数量1 500张。并且共有5 000个精细标注图像和20 000个粗略标注图像。由于原数据集图片分辨率较高,硬件设备不能够很好地满足,为了避免实验资源浪费,将原有的数据集图片缩放为398×196。

3.2 实验环境

实验平台为Windows 11系统,实验环境为PyTorch 1.13.0、Cuda 12.5、RTX4060、Python 3.8,显存大小为24 GB。其余各项实验参数如表2所示。

3.3 评价指标

为了验证所提出的优化网络结构,基于以下4个评估指标对模型进行评估。

(1)均交并比(mean intersection over union,mIoU)。通过计算预测值与目标值之间的交集与并集的比值评估模型的分割效果,交并比(IoU)是最常用的语义分割模型的评估指标,均交并比就是计算每个类别的交并比取平均。

(11)IoU=$\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}$

(12)

$\mathit{m}\mathit{I}\mathit{o}\mathit{U}=\frac{1}{\mathit{N}}\stackrel{\mathit{N}}{\sum _{\mathit{i}=1}}{\mathit{I}}_{\mathit{i}}$

式中:TP表示模型正确预测为正类;FP表示模型错误地将负类预测为正类;FN表示模型错误地将正类预测为负类;TN表示模型正确预测为负类。

(2)均像素精度(mean pixel accuracy,MPA)。均像素精度是通过对于每一个类别的像素精度取平均后得到,其可以反映语义分割的整体效果,其定义如式(12)所示。

(13)

$\mathit{M}\mathit{P}\mathit{A}=\frac{1}{\mathit{N}}\stackrel{\mathit{N}}{\sum _{\mathit{i}=1}}\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}$

(3)频率加权交并比(frequency weighted intersection over union, FWIoU)。FWIoU是通过在mIoU指标的基础上加入频率权重,可以更好地反映类别像素不均匀的问题。

(14)

$\mathit{F}\mathit{W}\mathit{I}\mathit{o}\mathit{U}=\frac{1}{\stackrel{\mathit{k}}{\sum _{\mathit{i}=0}}\stackrel{\mathit{k}}{\sum _{\mathit{j}=0}}{\mathit{P}}_{\mathit{i}\mathit{j}}}\stackrel{\mathit{k}}{\sum _{\mathit{i}=0}}\frac{{\mathit{p}}_{\mathit{i}\mathit{i}}}{\stackrel{\mathit{k}}{\sum _{\mathit{j}=0}}{\mathit{P}}_{\mathit{i}\mathit{j}}+\stackrel{\mathit{k}}{\sum _{\mathit{j}=0}}{\mathit{P}}_{\mathit{j}\mathit{i}}-{\mathit{P}}_{\mathit{i}\mathit{i}}}$

3.4 对比试验

为了验证本文模型的有效性,利用平均像素精度、均交并比和频域均交并比对模型进行评估。将本文模型与目前主流的分割模型FCN-8s、SegNet、UNet、PSPNet、DeepLabV3+的实验结果进行对比。如表3所示,本文模型的mIoU比主流模型FCN-8S高了12.63%,比SegNet高了19.53%,比UNet高了5.96%,比PSPNet高了4.32%,比DeepLabV3+高了9.73%,并且在均像素精度MPA上比主流模型FCN-8S高了0.3%,比SegNet高了3.1%,比PSPNet高了7.5%,比DeepLabV3+高了0.3%。从实验结果可以看出,UNet在Cityscapes上的训练结果MPA值高于本文模型,这主要是因为Cityscapes数据集中背景类像素占比较大,而UNet网络适用于需要较高空间分辨率和对细节保留的应用,特别是当背景类占比较高时,能搞达到较高的MPA,所以在实际应用时,DeepLabV3+会有较高的mIoU,而UNet则会表现出来较高的MPA。

为了验证本文模型在Cityscapes上不同类别的预测效果,对模型在每一个类别上的mIoU进行统计,实验统计结果如表4所示,其中本文模型优于其他模型的结果已加粗,表示从实验结果可以看出,CG-DeepLabV3+在处理大规模结构目标和自然场景时具备更强的特征表征能力,例如在“building”和“vegetation”类别中,其mIoU均高于目前的主流图像分割网络。在“fence”和“pole”等细长型目标的分割任务中,其mIoU比SegNet和FCN-8s分别提升15.3%和1.4%,说明本文模型通过加入多尺度条形池化有效的增强了对于细长目标的特征提取。

用Cityscapes的验证集作为测试集对模型效果进行测试,图9所示为测试的可视化结果以及本文模型的对比。从图9可以看出,本文模型条形物体以及中小物体的识别有独特的优势,比原始模型的分割效果更接近于标签。

3.5 消融实验

为了验证本文模型使用轻量化网络MobileNetV3,加入融合机制CGA和多尺度条形池化的引入的有效性,在Cityscapes上的测试结果如表5所示。由表5可以看出,改进后的模型比原DeepLabV3+模型的MIoU提高了9.73%,FWMIoU提高了9.46%,改进后的模型在提高分割精度的同时还减小了模型的参数量,改进后的CG-DeepLabV3+的计算量相比与原模型减少了21.06×10⁶。该实验结果表明,本文所提模型在数据集中的分割效果以及参数量的减少都有较大的提升。

4 结论

针对街景图像分割任务中的小目标识别难、样本分布不均衡以及模型复杂度高的问题,提出了一种融合轻量化主干网络与多种特征增强模块的改进方法。采用 MobileNetV3作为主干特征提取网络代替原有的主干网络Xception,有效的减小了参数量;在编码器阶段引入多尺度条形池化机制,可以使得模型对条形物体分割精度更高,达到对复杂街景中细粒度结构的识别效果;并且所引入内容引导注意力机制CGA促进浅层与深层特征之间的信息融合,在尽可能保留原始特征细节的同时,增强了全局上下文理解能力;最后,使用损失函数Focal Loss解决了数据集中样本分布不平衡的问题,有效缓解了类别不平衡带来的训练偏差。通过实验对比得到以下结论。

(1)所提的CG-DeepLabV3+模型在街景图像分割任务中模型计算参数大大减小,更适用部署于实际工程应用系统。

(2)所提的CG-DeepLabV3+模型在街景图像分割任务中对于细长物体的识别精度更高,对于行人、路灯等物体可以准确识别。

(3)所提的CG-DeepLabV3+模型在街景图像分割任务中表现出的准确率和均交并比均高于目前主流模型。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Long J, Shelhamer E, Darrell T. Fully convolutional networks for semantic segmentation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Boston: CVRR, 2015: 3431-3440.

[2]	Ronneberger O, Fischer P, Brox T. U-Net: convolutional networks for biomedical image segmentation[C]// Medical Image Computing and Computer-Assisted Intervention (MICCAI). Munich: MICCAI, 2015: 234-241.

[3]	Zhao H, Shi J, Qi X, et al. Pyramid scene parsing network[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 2881-2890.

[4]	Chen L C, Zhu Y K, Papandreou G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]// Proceedings of the European Conference on Computer Vision (ECCV). Munich: Springer Verlag, 2018: 801-818.

[5]	Chang Y, Yan L, Zhong S. Hyper-laplacian regularized unidirectional low-rank tensor recovery for multispectral image denoising[C]// IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Honolulu: IEEE, 2017: 5901-5909.

[6]	Chen L C, Papandreou G, Kokkinos I, et al. Deeplab: semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected CRFs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(4): 834-848.

[7]	Chen Y, Pont-Tuset J, Montes A, et al. Blazingly fast video object segmentation with pixel-wise metric learning[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 1189-1198.

[8]	杨海红. 基于卷积神经网络的城市街景图像语义分割研究[D]. 济南: 山东工商学院, 2023.

[9]	Yang Haihong. Research on semantic segmentation of urban street scene Images based on convolutional neural networks[D]. Jinan: Shandong Institute of Business and Technology, 2023.

[10]	张秀再, 张昊, 杨昌军. 基于DeepLabV3+网络的轻量化语义分割算法[J]. 科学技术与工程, 2024, 24(24): 10382-10393.

[11]	Zhang Xiuzai, Zhang Hao, Yang Changjun. Lightweight semantic segmentation algorithm based onDeepLabV3+ network[J]. Science Technology and Engineering, 2024, 24(24): 10382-10393.

[12]	谷湘煜, 刘晓熠, 周仁彬. 多特征融合的道路场景语义分割算法[J]. 科学技术与工程, 2021, 21(33): 14251-14257.

[13]	Gu Xiangyu, Liu Xiaoyi, Zhou Renbin. Road scene semantic segmentation algorithm based on multi-feature fusion[J]. Science Technology and Engineering, 2021, 21(33): 14251-14257.

[14]	高昕, 甄国涌, 储成群, 等. 基于改进YOLOv5的自动驾驶目标检测方法[J]. 科学技术与工程, 2024, 24(16): 6757-6765.

[15]	Gao Xin, Zhen Guoyong, Chu Chengqun, et al. Autonomous driving object detection method based on improved YOLOv5[J]. Science Technology and Engineering, 2024, 24(16): 6757-6765.

[16]	熊炜, 赵迪, 孙鹏, 等. 基于Transformer架构的城市街景语义分割方法研究[J]. 光电子·激光, 2024, 35(12): 1240-1249.

[17]	Xiong Wei, Zhao Di, Sun Peng, et al. Research on urban street scene semantic segmentation method based on transformer architecture[J]. Opto-Electronics Laser, 2024, 35(12):1240-1249.

[18]	王喜笑, 陈辉. 融合注意力机制和多尺度特征的无人机图像分割方法[J]. 山东理工大学学报(自然科学版), 2025, 39(2): 22-29, 36.

[19]	Wang Xixiao, Chen Hui. Drone image segmentation method integrating attention mechanism and multi-scale features[J]. Journal of Shandong University of Technology (Natural Science Edition), 2025, 39(2): 22-29, 36.

[20]	李梓铭. 基于深度学习的实时街景图像语义分割研究[D]. 广州: 广州大学, 2024.

[21]	Li Ziming. Research on real-time urban street scene semantic segmentation based on deep learning[D]. Guangzhou: Guangzhou University, 2024.

[22]	孟庆成, 张发, 熊爽, 等. 基于改进DeepLabV3+的既有钢结构表面锈蚀图像分割方法[J]. 土木与环境工程学报(中英文), 2025.DOI:10.11835/j.issn.2096-6717.2025.004.

[23]	Meng Qingcheng, Zhang Fa, Xiong Shuang, et al. Surface rust image segmentation method for existing steel structures based on improved DeepLabV3+[J]. Journal of Civil and Environmental Engineering (Chinese and English), 2025.DOI:10.11835/j.issn.2096-6717.2025.004.

[24]	Li M, Wei L S. Surface defect segmentation of magnetic tiles based on improved DeepLabV3+[J]. Journal of Electronic Mea-surement and Instrumentation, 2025, 39(1): 50-56.

[25]	Howard A, Sandler M, Chen B, et al. Searching for MobileNetV3[C]// IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019: 1314-1324.

[26]	汪国平, 胡博, 陈仲生, 等. 基于边缘计算改进的MobileNetV1-SSD表面缺陷视觉检测方法[J]. 船电技术, 2024, 44(3): 9-14.

[27]	Wang Guoping, Hu Bo, Chen Zhongsheng, et al. Surface defect visual detection method based on edge computing improved MobileNetV1-SSD[J]. Marine Electric & Electronic Technology, 2024, 44(3): 9-14.

[28]	Sandler M, Howard A, Zhu M, et al. MobileNetV2: inverted residuals and linear bottlenecks[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 4510-4520.

[29]	胡名琪, 陈辉明, 徐伟, 等. 融合MobileNetV3的轻量级YOLOv8钢材表面缺陷检测[J]. 科学技术与工程, 2025, 25(16): 6831-6840.

[30]	Hu Mingqi, Chen Huiming, Xu Wei, et al. Lightweight YOLOv8 steel surface defect detection integrating MobileNetV3[J]. Science Technology and Engineering, 2025, 25(16): 6831-6840.

[31]	岳永恒, 宁睿厚. 基于轻量化CenterNet的智能车辆目标检测算法[J]. 华南理工大学学报(自然科学版), 2024, 52(8): 45-55.

[32]	Yue Yongheng, Ning Ruihou. Object detection algorithm for intelligent vehicles based on lightweight CenterNet[J]. Journal of South China University of Technology (Natural Science Edition), 2024, 52(8): 45-55.

[33]	Wang Z, Chen Y, Wang F, et al. Improved unet model for brain tumor image segmentation based on ASPP-coordinate attention mechanism[C]// 5th International Conference on Big Data & Artificial Intelligence & Software Engineering (ICBASE). Wenzhou: ICBASE, 2024: 393-397.

[34]	Hou Q, Zhang L, Cheng M M, et al. Strip pooling: rethinking spatial pooling for scene parsing[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 4003-4012.

[35]	张昊, 何灵敏, 潘晨. 改进的SegFormer遥感图像语义分割网络[J]. 计算机工程与应用, 2023, 59(24): 248-258.

[36]	Zhang Hao, He Lingmin, Pan Chen. Improved SegFormer network for semantic segmentation of remote sensing images[J]. Computer Engineering and Applications, 2023, 59(24): 248-258.

[37]	Chen Z X, He Z W, Lu Z M. DEA-Net: single image dehazing based on detail-enhanced convolution and content-guided attention[J]. IEEE Transactions on Image Processing, 2024 (33): 1002-1015.

[38]	Zhang Y, Li S, Yao T, et al. A drone detection network based on multi-scale feature fusion and content-guided attention mechanism[C]// 8th International Conference on Artificial Intelligence and Big Data (ICAIBD). Chengdu: ICAIBD, 2025: 219-224.

[39]	罗芯. 面向自动驾驶的语义分割与目标检测多任务模型研究[D]. 杭州: 浙江大学, 2023.

[40]	Luo Xin. Research on multi-task model of semantic segmentation and object detection for autonomous driving[D]. Hangzhou: Zhejiang University, 2023.

[41]	Xia Y, Qiu J. SFC DeepLabV3+: a lightweight grape image segmentation method based on content-guided attention fusion[J]. Computers, Materials & Continua, 2025, 84(2): 2531-2547.