融合双重注意力机制的高效卷积图像超分辨率网络

闫航; 王家兴; 宋振峰

doi:10.12404/j.issn.1671-1815.2504162

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (15) :6457-6467 DOI: 10.12404/j.issn.1671-1815.2504162

电子技术、通信技术

融合双重注意力机制的高效卷积图像超分辨率网络

作者信息 +

Efficient Convolutional Image Super-resolution Network with Dual Attention Mechanism Fusion

Author information +

文章历史 +

摘要

数字化时代,低分辨率图像对公共安全与信息可信度构成严峻挑战,现有超分辨率模型因参数量大、计算复杂度高难以部署至边缘设备,且深层网络架构易导致高频细节丢失。针对上述问题,提出一种融合双重注意力机制的高效卷积图像超分辨率网络。该模型通过构建轻量化通道注意力模块与增强空间注意力模块的双重注意力融合机制,实现通道维度动态权重分配与空间关键区域增强的协同优化,结合基于部分卷积的前馈网络约束局部特征提取范围,有效抑制无效感受野扩张对纹理重建的干扰。网络采用端到端架构设计,引入单全局残差连接与模块化结构,在降低参数量的同时强化跨尺度特征融合能力。实验表明,所提模型在Set5、Set14等5个基准测试集的30项核心指标中取得22项最优结果,PSNR(peak signal-to-noise ratio)平均提升0.13 dB,参数量平均缩减37.5%。局部归因图分析进一步验证,该模型在保持较大有效感受野的同时,能更精准利用关键像素信息,显著改善高频细节重建质量,充分证明本文所提模型优越的效能平衡特性。

Abstract

In the digital era, significant challenges are posed to public safety and information credibility by low-resolution images. Existing super-resolution models are hindered by excessive parameters and high computational complexity, making them difficult to be deployed on edge devices, while deep network architectures often lead to the loss of high-frequency details. To address these issues, an efficient convolutional image super-resolution network integrated with a dual attention mechanism was proposed. A lightweight channel attention module and an enhanced spatial attention module were constructed to achieve cooperative optimization of dynamic channel-wise weight allocation and spatial key region enhancement. Combined with a partial convolution-based feed-forward network, the local feature extraction range was constrained, effectively suppressing interference from redundant receptive field expansion on texture reconstruction. The end-to-end architecture was designed with a single global residual connection and modular structure, which reduced parameters while enhancing cross-scale feature fusion capability. Experimental results demonstrate that the proposed model achieves 22 optimal results out of 30 core metrics across five benchmark datasets including Set5 and Set14, with an average PSNR(peak signal-to-noise ratio) improvement of 0.13 dB and an average parameter reduction of 37.5%. Local attribution map analysis further confirms that the model maintains a larger effective receptive field while key pixel information is utilized more precisely, significantly improving the reconstruction quality of high-frequency details. These findings adequately validate the superior efficiency-performance balance of the proposed model.

Graphical abstract

关键词

图像超分辨率重建 / 注意力机制融合 / 轻量化 / 卷积神经网络

Key words

image super-resolution reconstruction / attention mechanism fusion / lightweight / convolutional neural networks

引用本文

引用格式 ▾

闫航, 王家兴, 宋振峰. 融合双重注意力机制的高效卷积图像超分辨率网络[J]. 科学技术与工程, 2026, 26(15): 6457-6467 DOI:10.12404/j.issn.1671-1815.2504162

YAN Hang, WANG Jia-xing, SONG Zhen-feng. Efficient Convolutional Image Super-resolution Network with Dual Attention Mechanism Fusion[J]. Science Technology and Engineering, 2026, 26(15): 6457-6467 DOI:10.12404/j.issn.1671-1815.2504162

登录浏览全文

4963

注册一个新账户忘记密码

在当今数字化时代,图像信息在社会各个领域扮演着至关重要的角色。受拍摄设备的性能、拍摄环境的复杂性、图像传输过程中的压缩等^[1]多种因素的限制,图像的清晰度和分辨率往往不够,严苛条件下甚至会生成低分辨率图像,这不仅影响信息的准确传递,也会影响公安机关对于案件判断决策的正确性和及时性,导致犯罪行为难以被清晰识别,影响案件侦破效率。同时,在舆情传播中,模糊的图像容易被恶意利用,通过篡改或虚假传播引发公众恐慌或误导公众舆论。图像超分辨率重建技术可以将低质量图像信息进行细节与清晰度的增强,揭示图像背后真相。这对于长久维护公众合法权益,社会信任体系,国家信息安全具有深远意义。

现有基于卷积神经网络的超分辨率图像模型通过残差连接不断加深网络规模,在性能和视觉效果上取得了明显效果。但是实际应用中大部分设备性能配置远远落后于深度学习部署条件,深层网络通常包含大量的参数和复杂的网络结构,导致计算成本高、内存占用大,无法在资源受限的设备上实时运行。例如,RCAN(residual channel attention networks)^[2]拥有1 559万参数,超过400层,无法应用于城市的监控系统,关键基础设施的安防监控等设备。同时依赖层数堆叠组成的深层网络来提升的感受野会导致远距离像素建模低效,过大的感受野也会导致模型过度关注全局信息,忽略高频细节(纹理,边缘等)。例如,SAN(second-order attention network)^[3]、DRLN(densely residual laplacian network)^[4]感受野范围大,涉及像素广,但依然重建错误纹理,无法精确重建。

针对上述问题,现提出一种融合双重注意力机制的高效卷积图像超分辨率网络模型(efficient convolutional image super-resolution network with dual attention mechanism fusion,ECDAnet),这是一种轻量化协同的注意力结构,而非单一注意力机制,具体如下:

(1)在注意力协同机制方面,设计了轻量化通道注意力与增强空间注意力双模块协同工作的新型结构。轻量化通道注意力模块通过“压缩-激励”策略实现通道维度的智能加权,而增强空间注意力模块则通过多尺度上下文提取机制强化空间细节恢复。二者协同工作,从通道到空间的多维度精细化特征调控,在降低计算量的同时保证特征多样性。

(2)在局部特征处理方面,创新性地提出了基于部分卷积的前馈网络。该网络通过“特征分块-局部处理-动态融合”的三步流程,在保持全局特征完整性的同时,显著提升了局部特征的表达能力,有效平衡了计算效率与特征保留。

(3)在整体架构设计方面,采用极简的全局残差连接与模块化堆叠策略。整个网络仅在高分辨率重建阶段前设置单一全局残差连接,既保证了梯度传播的稳定性,又大幅降低了参数数量,使模型在保持轻量化的同时具备强大的高频信息学习能力。

研究结果可望为解决资源受限环境下的图像超分辨率重建难题提供一种高效、可行的技术方案。一方面,可望能够在保证轻量化低功耗的前提下,显著提升低质量图像的重建质量与细节恢复能力,使其能够广泛部署于城市监控系统、移动终端及边缘计算设备中,从而有效辅助公安机关快速获取清晰线索,提升案件侦破效率与决策准确性;另一方面,可望能够有效遏制因图像模糊导致的虚假信息传播与恶意篡改,增强舆情管控中的信息鉴别能力,进而为维护社会公共安全、构建诚信的社会信任体系以及保障国家信息安全提供坚实的技术支撑。

1 相关工作

1.1 卷积神经网络图像超分辨率重建

传统图像超分辨率技术大都基于插值、重建、学习等方法实现。随着深度学习的引入,Dong等^[5]首次将CNN(convolutional neural network)引入图像超分辨率任务,提出了SRCNN(super-resolution convolutional neural network),仅采用简单的三层卷积神经网络,其性能便大幅领先传统方法。随后,Kim等^[6]提出了VDSR(very deep convolutional networks),引入残差学习,解决了深层网络性能提升的瓶颈问题,从此堆叠网络层数便可提取更多图像细节特征。EDSR(enhanced deep residual networks)^[7]进一步增加了网络的深度和宽度,网络深度达到69层;RDN(residual dense network)^[8]通过堆叠残差稠密块构建,神经网络深度达到了149层;RCAN则构建了多达400层的神经网络。这些模型在图像重建质量上均取得了优异性能,但在实际应用中难以部署,如何进行优化成为研究的一个重要方向。SCNet(shift-conv-based network)^[9]将标准残差结构中的3×3卷积全部替换成逐点卷积,嵌入空间移位操作,减少参数数量和计算量。ShuffleMixer^[10]通过结合大核深度卷积和通道拆分混洗策略,将输入特征图沿通道维度分为两部分,仅对其中一部分进行1×1 逐点卷积,另一部分进行恒等映射,复杂度大幅减小,体积缩小,为当时SOTA(state-of-the-art)的1/6。WTConv(wavelet convolutions)^[11]使用一种基于小波变换的新型卷积层,该层的训练参数量对于k×k大小区域的感受野仅随k大小成对数增长,而不是传统的二次方增长,因此可以在不增加过多参数的情况下获得非常大的感受野。

1.2 基于注意力机制的图像超分辨率重建

注意力机制可以为输入数据的不同部分分配不同的权重,使得模型能够动态地关注输入数据中更重要的信息,无关信息由于权重低被忽略,从而提高模型的性能和效率,因此被广泛,应用于计算机视觉中。根据注意力机制的设计角度,可以分为三类:通道注意力(channel attention,CA)、空间注意力(spatial attention,SA)和混合注意力机制。通道注意力关注不同通道对重建图像的贡献,而空间注意力关注同一通道下不同像素区域对重建图像的贡献^[12]。RCAN引入通道注意力机制,在不改变特征图的通道和尺寸的情况下,通过计算每个通道的权重,重要通道赋予高权重,反之亦然,显著提升了超分辨率性能。与RCAN不同,SAN设计了一种新颖的二阶通道注意力模块,将全局一阶统计量的平均池化操作替换为协方差归一化的二阶统计量计算,通过自适应特征缩放机制,使网络能够更聚焦于信息丰富的特征通道。Niu等^[13]提出整体注意力网络HAN(holistic attention network),其中层注意力模块将超分辨网络中不同卷积层之间建立相关性,通道空间注意力模块增强了通道像素连接的建模能力,使整个网络能提取更全面更高级别的特征。Chen等^[14]设计了多注意力网络MAAN(multi-attention augmented network),从多个维度增强网络的表征能力,空间注意力模块与多尺度融合相结合以提取图像内容信息,并采用稀疏卷积核实现多方向特征感知。在上采样模块中设计了位置注意力以消除图像伪影,但是重建效果与原图像存在显著差异,并且参数量过大导致推理速度慢和内存占用高。Zhang等^[15]提出级联视觉注意力网络MAN(multi-scale attention network),集成多种注意力机制实现优异的细节重建效果,该网络包含可学习的特征注意力模块、通道注意力模块和像素注意力模块,符合人类视觉感知特性。相较于HAN通过引入层注意力等复杂机制建立全局依赖,模块间耦合度高,计算开销大,本文中提出的双重注意力机制采用一种更直接、高效的分治策略,通道注意力专攻通道维度的特征重标定,空间注意力专注于空间维度的区域增强。两个模块以串联方式协同工作,结构清晰、功能解耦,避免了复杂交互带来的参数冗余。与经典的双注意力CBAM(convolutional block attention module)^[16]相比,吸收了CBAM串行结构的简洁性,并通过专业化设计,摒弃简单的池化-拼接-卷积流程,创新性地采用卷积下采样与双线性插值上采样的组合来提取多尺度上下文信息。这种方式不仅能更有效地扩大感受野,还能显著缓解CBAM中因最大池化等操作可能带来的锯齿效应,从而生成更平滑、更准确的空间权重图,专门用于锐化边缘和纹理。

1.3 高效的图像超分辨率重建

在资源受限的边缘设备中,轻量高效的图像超分辨率模型对于部署起到决定性作用。而注意力机制的复杂性以及神经网络的冗余导致模型规模庞大,计算量显著增加,对硬件要求极高^[17]。Xia等^[18]针对非局部注意力对噪声敏感和计算量大的问题,提出ENLCA(efficient non-local contrastive attention),实现了图像特征的聚合并消除无关特征干扰,通过核函数拟合指数函数实现线性计算复杂度,在保持性能的同时突破非局部操作的算力瓶颈。EPSCN(efficient sub-pixel convolutional neural network)^[19]通过子像素卷积操作,进行高效上采样,能够有效减少上采样过程中的信息冗余,提高图像的重建质量。Zhao等^[20]提出新颖的像素注意力机制PA(pixel attention),不同于传统的通道注意力和空间注意力机制,PA可以生成一个3维矩阵作为注意力特征,能够对特征图中的每个像素进行加权,从而更有效地提升特征表达能力,并减少计算复杂度。

2 方法内容

2.1 网络总体架构

ECDAnet(efficient convolutional image super-resolution network with dual attention mechanism fusion)整体由三个主要部分组成:特征初提取阶段、特征深度提取阶段和高分辨率重建阶段^[21],如图1所示。首先,低分辨率图像作为输入,进入一个由3×3卷积层构成的特征初提取阶段,提取浅层特征;之后浅层特征进入一系列ECDA模块进行深度特征提取;最后高分辨率重建阶段的3×3卷积层在将维度进行转换的同时优化了特征表示,采用亚像素卷积层(PixelShuffle层)完成图像的高分辨率重建。该网络仅在高分辨率重建阶段前加入一个全局残差连接,模型不仅简洁高效,而且可以减轻梯度消失问题,有利于网络的高频信息学习。

2.2 双重注意力高效卷积模块

本文中提出的ECDA(efficient convolutional image super-resolution with dual attention mechanism fusion)模块主要由轻量化通道注意力模块(light channel attention block,LCAB)、基于部分卷积的前馈网络(feed-forward network based on partial convolution,FNPC)和增强空间注意力模块(enhanced spatial attention,ESA)三个模块组成^[22],如图2所示。输入特征F_in 进入ECDA后,FNPC对其进行局部特征提取操作。然后,对卷积后操作进行归一化得到归一化特征F_o,此过程表示为

(1) F_o=LN[FNPC(F_in)]

式(1)中:LN(·)表示层归一化。

F_o被传递给三个并行的全连接层。第一个全连接层FC₁的输出通过ReLU6激活函数处理得到F₁。第二个全连接层FC₂的输出不做处理得到F₂。第三个全连接层FC₃的输出经ESA模块处理得到F₃。F₁ 与F₂逐元素相乘(⊗),然后将该乘法结果与F₃逐元素相加(⊕)得到融合特征F₄, 此过程可以表示为

(2) F₁=RELU6[FC₁(F_o)]

(3) F₂=FC₂(F_o)

(4) F₃=ESA[FC₃(F_o)]

(5) F₄=F₁⊗F₂⊕F₃

最后,融合特征F₄再次经过一个全连接层FC₄和FNPC模块以提取更多特征,输出的结果与输入特征F_in通过残差连接后,经LCAB模块处理获得最终输出特征F_out。此过程可表示为

(6) F_out=LCAB{FNPC[FC(F₄)+F_in]}

2.2.1 轻量化通道注意力模块

LCAB(lightweight channel attention block)是一个结合通道注意力机制的轻量级特征增强模块,主要通过通道压缩-激励策略,动态学习各通道的重要性权重^[23],从而增强有用特征、抑制冗余信息,如图3所示。特征图x∈R^C^×^H^×^W(C、H、W分别为特征图的通道数、高和宽)首先通过一个3×3卷积将输入特征通道数压缩至原1/3,经GELU激活后,再用3×3卷积恢复原始通道数,先降维再升维,在减少计算量的同时保留非线性表达能力。局部特征提取过程可以表示为

(7) x₁=GELU[Conv_3×3(x)]

(8) x₂=Conv_3×3(x₁)

式中:x₁∈R^C/^3×^H^×^W,x₂∈R^C^×^H^×^W。

通过ChannelAttention子模块计算通道注意力权重:先对特征进行全局平均池化压缩空间信息,再通过两层全连接层,ReLU激活函数和Sigmoid激活生成各通道的[0,1]权重;最终将权重与原特征逐通道相乘输出,实现通道维度的自适应特征增强。通道注意力加权过程可以表示为

(9)x₃=$\frac{1}{\mathit{H}\mathit{W}}\stackrel{\mathit{H}}{\sum _{\mathit{i}=1}}\stackrel{\mathit{W}}{\sum _{\mathit{j}=1}}$x₂(c,i,j)

(10) x_out=x₂⊗σ(FC{ReLU[FC(x₃)]})

式中:c为通道数;i,j为具体位置坐标;σ为Sigmoid函数,将权重限制在[0,1]区间。

2.2.2 增强空间注意力模块

ESA(enhanced spatial attention module)的空间注意力机制用于动态增强图像特征图中的重要区域,突出图像中高频细节区域(如边缘、纹理),抑制平坦区域的噪声干扰,与LCAB形成优势互补,增强超分辨率网络的重建能力,如图4所示。特征图x∈R^C^×^H^×^W通过1×1卷积压缩通道数,减少后续3×3卷积计算量。通道压缩的过程可表示为

(11) x₁=Conv_1×1(x)

式(11)中:x₁∈R^C/^6×^H^×^W。

随后使用3×3卷积下采样并结合最大池化提取多尺度上下文信息,扩大感受野,捕获区域级特征。对池化后的特征进行3×3卷积并通过双线性插值上采样恢复分辨率,消除下采样导致的锯齿效应,同时保留原始压缩特征作为残差连接。此多尺度上下文提取过程表示为

(12) x₂=Conv_3×3(x₁)

(13) x₃=MAXPool2d(x₂)

(14) x₄=Conv_3×3(x₃)

(15) x₅=Upsampling(x₄)

最后将上下文特征与跳跃特征相加,经过1×1卷积和Sigmoid激活生成空间注意力权重,恢复通道,与输入特征相乘后输出,从而自适应地增强重要区域的特征响应。此过程表示为

(16) x₆=Conv_1×1(x₅+x₁)

(17) x_out=x⊗σx₆

2.2.3 基于部分卷积的前馈网络

FNPC(feedforward network based on partial convolution)相较于传统的前馈网络,通过部分卷积策略在通道维度上拆分特征,仅对部分通道进行空间卷积处理,以平衡计算量与性能并提高空间维度信息交换,如图5所示。首先通过1×1 卷积和 GELU 激活函数对特征图x∈R^C^×^H^×^W 进行通道扩展与激活,然后将特征分成两个部分,此过程表示为

(18) x₁,x₂=S[GELU(Conv_1×1(x)]

式(18)中:S表示通道分割操作;x₁∈R^C/^2×^H^×^W, x₂∈R³^C/^2×^H^×^W。

然后x₁部分使用3×3卷积和GELU激活函数激活编码局部上下文信息,另一部分x₂保留原始信息,平衡计算效率与特征保留。最后将x₁与x₂进行拼接并通过1×1卷积恢复通道数,实现联合局部上下文与全局特征融合,增强空间感知能力。此过程可表示为

(19) x_out=Conv_1×1[C({GELU[Conv_3×3(x₁)],x₂})]

式(19)中:C表示拼接操作。

3 实验结果及分析

3.1 数据集和实验设置

本文实验的硬件环境为:CPU AMD Ryzen 7 7600X,内存32 GB,显卡为NVIDIA RTX 5090D;软件环境为Windows 11;深度学习框架为PyTorch 2.8.0;编程语言为Python 3.9.21。公共训练数据集选择DIV2K作为模型的训练集

在模型训练阶段,为了提升其泛化能力,对训练集采取了两项策略:一是将训练样本的顺序随机打乱,二是将训练集的规模扩充至原来的10倍。对每张低分辨率图像,随机裁剪出64个大小为64×64的图像块,并对这些图像块实施随机水平翻转及旋转操作,以此作为基础训练输入数据。在优化方面,模型采用L₁损失函数,并借助Adam优化器进行优化,其中参数β₁ 设为0.9,β₂设为0.99。初始学习率定为1×10^-3,最低学习率设为 1×10^-5,学习率的调整遵循余弦退火策略,整个训练过程共进行1 000 000次迭代。

在测试阶段,采用Set5、Set14、B100、Urban100和Manga109五个公共数据集作为基准测试集来评估模型最终的性能。对于生成的测试图像,首先将其转换至YCbCr色彩空间,然后基于Y通道(亮度通道)计算峰值信噪比(PSNR)和结构相似性指数(SSIM)两个关键指标,以此量化评估图像恢复的质量。

3.2 实验结果分析

从各模型在不同缩放因子下的参数数量、计算复杂度[以FLOPs(floating point operations)衡量]、峰值信噪比(peak signal-to-noise ratio, PSNR)以及结构相似性指数(structural similarity index, SSIM)等角度,对本文提出的ECDAnet模型与SRCNN(super-resolution convolutional neural network)等先进模型之间进行了对比,结果如表1所示。其中,参数数量和FLOPs的数值越低表示模型越高效,而PSNR和SSIM的数值越高表示图像质量越好。特别指出,FLOPs是在低分辨率图像(1 280 像素×720像素)条件下评估模型计算复杂度的指标。

根据表1可知,ECDAnet在各方面均有不同程度的领先,在性能与效率之间实现良好平衡。具体而言,在三种缩放因子下ECDAnet的参数量和计算复杂度均低于当前主流模型。以2倍缩放因子为例,ECDAnet的参数量仅为NGswin(n-gram in swin transformers^[24]的31%,较CARN^[25](fast, accurate, and lightweight super-resolution with cascading residual network)减少80.5%;同时与NGswin和ShuffleMixer相比,FLOPs分别降低50.7%和24.2%,对比参数量相近的VapSR^[26](efficient image super-resolution using vast-receptive-field attention)、RepRFN^[27](reparameterized residual feature network)和SPAN^[28](swift parameter-free attention network)也有6%~36%的参数量缩减与6%~26%FLOPs降低。在性能方面,ECDAnet在5个数据集、30个核心指标中取得22项最优。在Set5与Set14测试集中,ECDAnet仅在Set5的4倍缩放因子下未取得最优PSNR,其余则全部领先。Set5中在2倍与3倍缩放因子下PSNR较次优解平均领先0.08 dB,Set14中则在各缩放因子下较次优解平均领先0.11 dB。在针对自然图像泛化性的B100数据集中,ECDAnet做到了全面性能领先,在各缩放因子下较次优解分别有0.03、0.09、0.07 dB的性能提升,表明其对自然图像细节的强泛化能力。在复杂纹理场景Urban100中,ECDAnet的优势最为显著,在各缩放因子下PSNR较其余模型平均领先0.3~0.7 dB,说明ECDAnet对高频细节(如窗户、网格)和长程对称结构的强恢复能力。在动漫图像Manga109中,ECDAnet仅在4倍缩放因子下取得了最优解,但是在其他场景中依然取得了次优解,PSNR平均落后0.02 dB,反映出对规则线条与色彩还原的精准性稍弱。总而言之,ECDAnet在参数量与计算效率上显著优于其他模型,同时在多数任务中PSNR/SSIM达到最优或次优,在减少冗余计算的同时强化了跨尺度特征的融合能力,验证了ECDAnet在高效-性能平衡性上的先进性。

3.3 可视化结果分析

3.3.1 图像超分效果图分析

为了更直观地展现各模型的重建能力,选择4倍缩放因子下来展示ECDAnet与各模型在不同数据集下的极限性能。通常,随着缩放因子的增大,图像会丢失更多的细节,使重建图像更具挑战性。如图6~图9所示,在Set5数据集中的img_003图片对比中,所有模型对于蝴蝶翅膀花纹边缘处理均过于平滑,导致去除噪声后细节大部分丢失,色块边界模糊化处理过度,但是ECDAnet相对于其他模型识别出并保留了较多的花纹边界处突出部分。在B100数据集的img_093对比中,不同模型之间差距较为明显,ShuffleMixer、SPAN与BSRN对鸟身上的条纹表现出明显伪纹理,条纹间出现交叉,呈现出棋盘格纹状;VapSR与NGswin对于黑色条纹的恢复出现色彩失真,黑色还原不到位;ECDAnet相对于其他模型重建出了最好效果,还原相似度最高。在Urban100数据集的img004对比中,ShuffleMixer重建效果最为模糊,未有效提升分辨率,孔洞与孔洞之间无法完全分离,出现连接残影,同时伴随孔洞还原失败;VapSR、BSRN和SPAN还原孔洞不稳定,每个孔洞均不一致,并且孔洞一侧出现纹理缺失并出现伪影黑线;Ngswin小部分出现孔洞还原失败;ECDAnet整体还原较好,清晰度高,孔洞还原完整无明显伪影,但是对于孔洞形状还原不佳。Manga109数据集中的WarewareHaOniDearu对比中,整体对漫画中的斑点还原不佳,仅Ngswin与ECDAnet还原较好,出现伪影混乱,斑点还原失败较其他模型少。综上,ECDAnet总体表现良好,在图像清晰度、完整性和伪影控制方面均处于高水准,提供了高质量的图像超分辨率效果。

3.3.2 局部归因图分析

局部归因图(local attribution map,LAM)^[32]作为一种专门针对底层视觉任务的归因方法,为超分辨率网络的解释性研究提供了有力工具。感受野决定了网络能够“看到”的输入区域大小,直接影响模型捕捉细节和上下文信息的能力,通过LAM可以直观地观察不同感受野大小对超分性能的影响。在实践中,使用扩散指数(diffusion index,DI)进行分析,表达式为

(20) DI=(1-G)×100

式(20)中:G为国际上通用的、用以衡量一个国家或地区居民收入差距的常用指标,其值最大为1,最小为0,越接近0代表收入分配趋向平等。在LAM中,若少数像素对超分结果有影响,则G相对较高;反之多数像素对超分结果有影响,则G相对较低,说明超分模型涉及利用的像素范围广,因此DI与G成反比,DI越高,说明局部重建时利用了更多的像素作为参考。不同模型LAM对比如图10所示,可以看出,DI指数最高的是BSRN(blueprint separable residual network),其感受野最大,虽然ECDAnet的DI指数与感受野范围不及BSRN,但是从图10可以看出,ECDAnet的整体效果要好于BSRN,并且DI指数与感受野范围要高于其余模型,说明ECDAnet作为不仅拥有较大的感受野,而且能够探索更多的有效像素信息,从而实现更加符合人眼观感的超分辨率图像。

3.4 消融实验

ECDAnet主要由LCAB、FNPC和ESA三个模块构成,为证明每个模块的有效性,对各个模块进行消融实验,实验细节同3.1节,仅列出在Set5数据集2倍缩放因子下的测试结果,以更加直观地展示消融结果,如表2所示。消融实验结果表明,在单独引入ESA、LCAB和FNPC后PSNR分别提升0.39、0.54、0.58 dB。FNPC在单独使用时综合增益最高,参数量增加51%,FLOPs增加68%,在相对较高的参数量情况下最大程度地提升了基础模型的下限性能,表明其局部-全局特征协同能力突出。在ECDAnet分别关闭ESA和LCAB模块后,性能损失最大,分别为0.14 dB和0.08 dB,说明双重注意力机制通过空间和通道维度建模,两者协同配合可以大幅提高基础模型的上限性能,结合FNPC,三者覆盖全维度的特征表达,使模型性能达到最佳。为直观展现每个模块的有效性,使用LAM工具展示过程性结果,如图11所示。

ECDAnet是由ECDA模块堆叠而成,为验证堆叠数量N对模型性能影响,选取N=6,7,8,9,10共5组实验,使用PSNR作为评估结果列出各数量间差异,如表3所示,可以看出,随着N增加,增强了模型多尺度特征融合能力,当N=8时,到达多数数据集的性能峰值,尤其对复杂纹理的Urban100增益最大,提升0.2 dB。随后模型过度拟合训练集噪声,导致测试集泛化能力下降。同时过多的ECDA也会导致相似特征被重复计算,浪费参数且引入噪声,使深层网络出现退化。

4 结论

(1)提出的ECDAnet通过构建轻量化通道注意力LCAB、增强空间注意力ESA与部分卷积前馈网络FNPC协同优化的ECDA模块,实现了局部特征提取精度与全局上下文建模能力的提升,同时约束特征提取范围,有效抑制无效感受野扩张对纹理重建的干扰,改善感受野冗余导致的纹理失真与伪影问题,重建出更符合人类视觉感知的高频细节。

(2)网络采用单全局残差连接简化结构设计,结合动态注意力权重分配机制,即达到主流深层网络的复原性能,参数量较主流模型缩减6%~69%,性能平均提升0.13 dB,极大缓解了边缘设备部署压力。

(3)网络训练仅依赖DIV2K自然图像,对于公共安全中的真实场景(如低光照监控视频、雨雾干扰图像、广角镜头畸变等复杂退化条件)的泛化性有待验证。在未来的工作中,将采集安防监控多场景图像,通过物理退化建模构建公共安全退化类型的训练集,在验证的同时增强模型鲁棒性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	王睿琪. 图像超分辨率重建综述[J]. 计算机科学与应用, 2024, 14(2): 350-359.

[2]	Wang Ruiqi. Review of image super-resolution reconstruction[J]. Computer Science and Applications, 2024, 14(2): 350-359.

[3]	Zhang Y L, Li K, Wang L, et al. Image super-resolution using very deep residual channel attention networks[C]// Proceedings of the European Conference on Computer Vision (ECCV). München: ECCV, 2018: 286-301.

[4]	Dai T, Cai J, Zhang Y, et al. Second-order attention network for single image super-resolution[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 11065-11074.

[5]	Anwar S, Barnes N. Densely residual laplacian super-resolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 44(3): 1192-1204.

[6]	Dong C, Loy C C, He K, et al. Image super-resolution using deep convolutional networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 38(2): 295-307.

[7]	Kim J, Lee J K, Lee K M. Accurate image super-resolution using very deep convolutional networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 1646-1654.

[8]	Lim B, Son S, Kim H, et al. Enhanced deep residual networks for single image super-resolution[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. New York: IEEE, 2017: 136-144.

[9]	Zhang Y, Tian Y, Kong Y, et al. Residual dense network for image super-resolution[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 2472-2481.

[10]	Wu G, Jiang J, Jiang K, et al. Fully 1×1 convolutional network for lightweight image super-resolution[J]. Machine Intelligence Research, 2024, 21(6): 1062-1076.

[11]	Sun L, Pan J, Tang J. Shufflemixer: an efficient convnet for image super-resolution[J]. Advances in Neural Information Processing Systems, 2022, 35: 17314-17326.

[12]	Finder S E, Amoyal R, Treister E, et al. Wavelet convolutions for large receptive fields[C]// European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2024: 363-380.

[13]	陈纯毅, 吴欣怡, 胡小娟, 等. 多尺度注意力融合的图像超分辨率重建[J]. 中国光学, 2023, 16(5): 1034-1044.

[14]	Chen Chunyi, Wu Xinyi, Hu Xiaojuan, et al. Image super-resolution reconstruction based on multi-scale attention fusion[J]. Chinese Optics, 2023, 16(5): 1034-1044.

[15]	Niu B, Wen W, Ren W, et al. Single image super-resolution via a holistic attention network[C]// Computer Vision-ECCV 2020: 16th European Conference. Glasgow: Springer International Publishing, 2020: 191-207.

[16]	Chen R, Zhang H, Liu J. Multi-attention augmented network for single image super-resolution[J]. Pattern Recognition, 2022, 122: 108349.

[17]	Wang Y, Li Y, Wang G, et al. Multi-scale attention network for single image super-resolution[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2024: 5950-5960.

[18]	Woo S, Park J, Lee J Y, et al. CBAM: Convolutional block attention module[C]// Proceedings of the European Conference on Computer Vision (ECCV). Munich: ECCV, 2018: 3-19.

[19]	王庭伟, 赵建伟, 周正华. 基于轻量级对称CNN-Transformer的图像超分辨率重建方法[J]. 模式识别与人工智能, 2024, 37(7): 626-637.

[20]	Wang Tingwei, Zhao Jianwei, Zhou Zhenghua. Image super-resolution reconstruction method based on lightweight symmetric CNN-Transformer[J]. Pattern Recognition and Artificial Intelligence, 2024, 37(7): 626-637.

[21]	Xia B, Hang Y, Tian Y, et al. Efficient non-local contrastive attention for image super-resolution[C]// Proceedings of the AAAI Conference on Artificial Intelligence. New York: AAAI, 2022: 2759-2767.

[22]	Ruan H, Tan Z, Chen L, et al. Efficient sub-pixel convolutional neural network for terahertz image super-resolution[J]. Optics Letters, 2022, 47(12): 3115-3118.

[23]	Zhao H, Kong X, He J, et al. Efficient image super-resolution using pixel attention[C]// Computer Vision-ECCV 2020 Workshops. Glasgow: Springer International Publishing, 2020: 56-72.

[24]	李培育, 张雅丽, 张奕博, 等. 基于自适应卷积与联合损失函数的人脸图像超分辨率重建[J]. 科学技术与工程, 2025, 25(6): 2442-2452.

[25]	Li Peiyu, Zhang Yali, Zhang Yibo, et al. Face image super-resolution reconstruction based on adaptive convolution and joint loss function[J]. Science Technology and Engineering, 2025, 25(6): 2442-2452.

[26]	高志霖, 王劲滔, 孟琪翔, 等. 基于双流特征增强的轻量级图像超分辨率重建[J]. 激光与光电子学进展, 2025, 62(16): 1637002.

[27]	Gao Zhilin, Wang Jinfao, Meng Qixiang, et al. Lightweight image super-resolution reconstruction based on two-stream feature enhancement[J]. Laser & Optoelectronics Progress, 2025, 62(16): 1637002.

[28]	刘启睿, 欧吉坤, 任超, 等. 基于自适应加权压缩感知的图像超分辨率重建[J]. 科学技术与工程, 2023, 23(13): 5647-5654.

[29]	Liu Qirui, Ou Jikun, Ren Chao, et al. Image super-resolution reconstruction via adaptive weighted compressed sensing[J]. Science Technology and Engineering, 2023, 23(13): 5647-5654.

[30]	Choi H, Lee J, Yang J. N-gram in swin transformers for efficient lightweight image super-resolution[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 2071-2081.

[31]	Ahn N, Kang B, Sohn K A. Fast, accurate, and lightweight super-resolution with cascading residual network[C]// Proceedings of the European Conference on Computer Vision (ECCV). Munich: ECCV, 2018: 252-268.

[32]	Zhou L, Cai H, Gu J, et al. Efficient image super-resolution using vast-receptive-field attention[C]// European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 256-272.

[33]	Deng W, Yuan H, Deng L, et al. Reparameterized residual feature network for lightweight image super-resolution[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 1712-1721.

[34]	Wan C, Yu H, Li Z, et al. Swift parameter-free attention network for efficient super-resolution[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2024: 6246-6256.

[35]	Dong C, Loy C C, Tang X. Accelerating the super-resolution convolutional neural network[C]// Computer Vision-ECCV 2016: 14th European Conference. Amsterdam: Springer International Publishing, 2016: 391-407.

[36]	Kong F, Li M, Liu S, et al. Residual local feature network for efficient super-resolution[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 766-776.

[37]	Li Z, Liu Y, Chen X, et al. Blueprint separable residual network for efficient image super-resolution[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 833-843.

[38]	Gu J, Dong C. Interpreting super-resolution networks with local attribution maps[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 9199-9208.

基金资助

中央高校基本科研业务费(2023JKF01ZK07)

PDF (12335KB)

访问

被引

详细

导航

Received	Published	Revised
2025-06-05	2026-05-28	2025-11-28
Online Date
2026-08-07

摘要