基于傅里叶卷积和小波变换自注意力机制的低光照图像增强算法

张易航; 钟寒

doi:10.12404/j.issn.1671-1815.2503854

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (16) :6939-6953 DOI: 10.12404/j.issn.1671-1815.2503854

自动化技术、计算机技术

基于傅里叶卷积和小波变换自注意力机制的低光照图像增强算法

张易航 ,
钟寒 ^*

作者信息 +

Low-light Image Enhancement Algorithm Based on Fourier Convolution and Wavelet Transform Self-attention Mechanism

ZHANG Yi-hang ,
ZHONG Han ^*

Author information +

文章历史 +

摘要

针对现有低光照图像增强(low-light image enhancement,LLIE)算法存在的利用频域信息不足和缺乏频域-空域有效跨域交互机制等问题,提出了一种基于傅里叶卷积和小波变换自注意力机制的低光照图像增强算法(F-WNet)。算法核心创新在于将傅里叶卷积与小波变换自注意力相结合,构建双分支网络结构,在编码器-解码器框架的颈部实现频域与空域信息的互补增强。其中,傅里叶卷积分支通过快速傅里叶卷积残差块有效捕捉全局频域特征;小波变换自注意力分支则利用小波变换对自注意力机制进行优化,在建立长距离依赖的同时显著降低计算复杂度,增强对局部细节与区域关系的建模能力。两分支输出经通道注意力融合模块进行动态权重自适应融合,进一步提升特征表达能力。最后,所提方法在7个公开LLIE基准数据集上进行了算法评估。实验结果表明:所提算法能够有效提升低光照图像亮度,可靠抑制噪声并稳健保持图像色准,在纹理细节保留方面具备显著优势。F-WNet在13项指标上达到最优。在3个配对数据集上的峰值信噪比(peak signal-to-noise ratio,PSNR)指标分别达到26.977、27.794、28.592 dB,结构相似性指数(structural similarity,SSIM)分别达到0.881、0.897、0.943,图像感知相似度(learned perceptual image patch similarity,LPIPS)分数分别达到0.096、0.120、0.052。在3个非配对数据集上无参考图像空间质量评估器(blind/referenceless image spatial quality evaluator,BRISQUE)分数分别达到25.84、20.54、22.09,自然图像质量评估器(natural image quality evaluator,NIQE)值分别达到3.75、4.15、3.91。所提出的傅里叶-小波变换联合增强算法能够有效利用频域信息,构建了一种新颖的跨域交互机制,为低光照图像增强领域提供了可行的新方案。

Abstract

In order to address the limitations of existing low-light image enhancement (LLIE) algorithms, such as inadequate utilization of frequency-domain information and insufficient cross-domain interaction between frequency and spatial domains, a LLIE algorithm was proposed based on Fourier convolution and wavelet transform self-attention mechanism, termed F-WNet. The core innovation of the algorithm lied in combining Fourier convolution and wavelet transform self-attention to construct a dual-branch network structure, achieving complementary enhancement of frequency-domain and spatial-domain information at the neck of the encoder-decoder framework. The Fourier convolution branch effectively captured global frequency-domain features through fast Fourier convolution residual blocks. The wavelet transform self-attention branch optimized the self-attention mechanism using wavelet transform, which significantly reduced computational complexity while establishing long-range dependencies, thereby enhancing the modeling capability for local details and regional relationships. The outputs of the two branches were adaptively fused through a channel attention fusion module with dynamic weight allocation, further improving feature representation. Finally, the proposed method was evaluated on seven publicly available LLIE benchmark datasets. Experimental results show that the proposed algorithm effectively enhances the brightness of low-light images, reliably suppresses noise, robustly maintains color accuracy, and demonstrates significant advantages in preserving texture details. F-WNet achieves the best performance on 13 evaluation metrics. On the three paired datasets, it attains peak signal-to-noise ratio (PSNR) of 26.977, 27.794, and 28.592 dB, structural similarity (SSIM) of 0.881, 0.897, and 0.943, and learned perceptual image patch similarity (LPIPS) scores of 0.096, 0.120, and 0.052, respectively. On three unpaired datasets, blind/referenceless image spatial quality evaluator (BRISQUE) scores of 25.84, 20.54, and 22.09 and natural image quality evaluator (NIQE) values of 3.75, 4.15, and 3.91 are achieved, respectively. The proposed feasible Fourier-wavelet joint enhancement algorithm effectively utilizes frequency-domain information, establishing a novel cross-domain interaction mechanism that offers a feasible new solution for low-light image enhancement.

Graphical abstract

关键词

傅里叶卷积 / 小波变换 / 自注意力 / 双分支网络 / 通道注意力

Key words

Fourier convolution / wavelet transform / self-attention / dual-branch network / channel attention

引用本文

引用格式 ▾

张易航, 钟寒. 基于傅里叶卷积和小波变换自注意力机制的低光照图像增强算法[J]. 科学技术与工程, 2026, 26(16): 6939-6953 DOI:10.12404/j.issn.1671-1815.2503854

ZHANG Yi-hang, ZHONG Han. Low-light Image Enhancement Algorithm Based on Fourier Convolution and Wavelet Transform Self-attention Mechanism[J]. Science Technology and Engineering, 2026, 26(16): 6939-6953 DOI:10.12404/j.issn.1671-1815.2503854

登录浏览全文

4963

注册一个新账户忘记密码

图像是信息的重要载体。如今,数字图像不仅承担着信息交流传播的作用,而且也是计算机视觉系统感知外部世界的重要信息来源。在低光照环境下,拍摄设备难以避免噪点增多、细节丢失、色彩失真、对比度低等情况,甚至完全无法识别图像内部信息。图像质量的好坏直接影响信息传递效率和计算机视觉高层任务的精度。低光照条件下进行拍摄一般是通过调整设备参数和硬件配置以匹配环境光照的影响,但硬件的极限、成本、功耗等限制使得这类应对方法不足以处理复杂多变的低光照情况。低光照图像增强旨在利用数字图像处理技术和算法改善低光照图像中存在的低质量问题,提高人眼视觉观感或为高层视觉任务提供高质量源数据。

早期朴素的低光照图像增强(low-light image enhancement,LLIE)算法主要是基于图像像素的分布特性,这类分布映射的方法一般通过伽马矫正^[1]、直方图均衡化的技术来调整全局像素分布,在调整图像亮度和对比度上收获显著效果。但是,该类方法不涉及图像的成像过程,不关注人眼感知与真实光照影响,单纯聚焦于图像后期处理,常常会导致色彩失真和细节异常等视觉不友好问题。基于Retinex理论^[2]的方法从成像原理的角度对彩色图像进行拆解。基于该理论,Wang等^[3]设计了一种处理光照不均匀图像时保持自然度和信息的方法。Guo等^[4]提出了通过解构先验优化初始估计的光照图。然而,这类方法依赖于人工设计的先验,通常需要烦琐的参数调整,具有较差的泛化能力。但这类方法依赖人为设定的先验信息,容易引入或造成局部颜色失真,并且模型泛化性也较差。

深度学习的快速发展将卷积神经网络(convolutional neural network,CNN)引入解决LLIE问题。第一类方法直接用CNN来学习从低光照图像到正常光照图像的暴力映射函数,通过设计调整损失函数改善学习效果。但一张图像蕴含的深层次信息(色彩空间、对比度、曝光值等)与各通道都表现出强依赖关系,需要复杂网络结构或更大参数学习且不一定能产生理想效果。田博文等^[5]将深度曲线估计级联降噪模块,提出融合零参考深度曲线的算法。第二类方法受Retinex理论的启发,这类方法通常采用多级训练,分别使用不同的CNN对彩色图像进行分解,对反射图进行去噪并进行光照调整。这些CNN首先独立训练,然后连接在一起进行端到端微调,训练过程烦琐耗时。Wei等^[6]开发了基于Retinex的LLIE网络RetinexNet。Zhang等^[7]提出了一种名为KinD的方法。该网络框架与RetinexNet相似,但核心在于引入了更多的训练损失约束。户子睿等^[8]提出一种基于残差和多尺度注意力机制的Retinex算法,使用U型网络分解出光照分量和反射分量,然后采用多尺度注意力机制的恢复网络对反射分量进行处理。还有一类无监督方法。Guo等^[9]将图像增强任务重新定义为图像特定曲线估计问题,构建了一个轻量级网络Zero-DCE估计像素级和高阶曲线。Jiang等^[10]首次将生成对抗网络(generative adversarial network, GAN)应用于LLIE任务。隋涛等^[11]对循环生成对抗网络进行改进,使用Vision Transformer改进生成器模型,使用PatchGAN代替传统的判别器。CNN在计算机视觉领域获得卓越表现源于其归纳偏置的先验优势,但在LLIE任务中,其在建模各区域亮暗关系、高低频信号分布、颜色亮度联系等全局信息时表现出局限性。Transformer引入的自注意力机制在获取图像复原任务中关键的长距离依赖和非局部自相似性上表现出优势^[12]。Xu等^[13]利用信号噪声感知Transformer与CNN开发的混合模型SNR-Aware,通过空间变化操作动态增强像素获得优秀的感知质量。Cai等^[14]结合Retinex理论,并且考虑隐藏在低光照图像中的退化因素和点亮过程中引入的噪声,开发了单阶段训练框架Retinexformer。Yan等^[15]提出一种色彩和亮度解耦双分支网络CIDNet,基于专门用于LLIE任务的HVI色彩空间将亮度与色彩解耦分别处理。尽管上述方法在理论建模或利用空域信息方面取得了显著成果,但自注意力机制在LLIE任务中的应用仍然面临挑战:计算复杂度与输入块的空间分辨率呈平方级增长;较少关注对LLIE有用的频域信息,这为该领域研究提供了潜在方向。

目前,使用频域信息进行LLIE的探索还处于初期阶段。Yu等^[16]探索了频率域和空间域的信息来处理图像去雾问题。Huang等^[17]通过傅里叶变换分析不同曝光图像的频率特性,发现幅度分量包含大部分光照信息,而相位分量与结构信息相关。Wang等^[18]研究表明,通过傅里叶分析可以在不增加模型参数的情况下实现全局特征提取,提出低光图像的亮度退化主要存在于傅里叶空间中的幅度分量,而相位分量包含与亮度无关的信息。Tan等^[19]提出了一种名为WalMaFa的新型LLIE模型,通过融合小波变换与傅里叶变换的频域优势,结合Mamba架构的高效长程依赖建模能力,实现了全局亮度增强与局部细节恢复的协同优化。尽管取得了这些进展,但结合频域信息的方法通常需要对图像进行全局变换,且单独处理频域信息或空域信息缺乏有效的跨域交互机制。例如,傅里叶变换擅长全局调整,但对局部修复效果有限,小波变换的多尺度特性虽然有助于细节增强,但不同尺度的低频/高频分量间的耦合效应可能导致重构阶段出现伪影噪声,易引发高频细节丢失或低频背景模糊的次优解。

针对上述问题,提出一种基于傅里叶快速变换和小波变换自注意力机制的低光照图像增强方法。该算法使用常见的编码器-解码器结构,在网络颈部嵌入傅里叶卷积分支与小波变换自注意力分支形成双分支结构,在双分支尾部设计有通道注意力融合模块(channel attention fusion tail, CAFT),通过动态权重分配机制实现傅里叶卷积分支特征与小波变换自注意力分支特征的自适应融合。傅里叶卷积分支内部为双层快速傅里叶卷积(fast Fourier convolution,FFC)与残差连接构成的傅里叶卷积残差块,FFC通过频域-空域协同设计,既通过快速傅里叶变换实现全局感受野覆盖,又保留了局部特征,并且能即插即用替换普通卷积层,在多种视觉任务上均展现出稳定性能提升。小波变换自注意力分支内部结合小波变换的可逆且无损下采样性质和自注意力机制,设计基于小波变换的轻量化自注意力模块,在获取长距离依赖的同时降低了自注意力的计算复杂度。在7个公开LLIE基准数据集上进行了算法评估,所提方法不仅有效增强了图像亮度,而且具备优秀的色准表现,在图像纹理和结构细节方面也展现出显著优势。

1 F-WNet方法

图1展示了所提方法F-WNet的整体结构。该算法使用编码器-解码器结构,经过编码器下采样的低光照图像进入网络颈部进行处理。该网络在颈部嵌入傅里叶卷积分支与小波变换自注意力分支形成双分支结构,在双分支尾部设计有通道注意力融合模块CAFT,通过动态权重分配机制实现傅里叶卷积分支特征与小波变换自注意力分支特征的自适应融合,得到双分支融合特征。然后该融合特征经由解码器上采样恢复输出增强后的图像。

1.1 傅里叶卷积分支

同一幅图像的不同区域可能具有不同的光照条件,因此不同区域的信息丢失程度是不一致的,这在低光照图像中同样适用。具体来说,图像中的黑暗区域通常伴随着更严重的噪声和细节丢失问题,使得这部分区域在增强过程中难以恢复出满意的效果;相比之下,光照条件较好的区域通常拥有更低的噪声水平和更多纹理细节。这种现象可以归结于两个主要因素:一是光源在场景中造成的不均匀照明效果,二是不同物体具有不同的反射率特性。因此,在低光照图像增强过程中需要结合全局与局部信息特点,一方面可以增强算法应对不同光照图像时的自适应性,另一方面可以利用亮暗区域之间存在的语义上下文信息引导暗区重建。

感受野是深度卷积神经网络中的一个核心概念,这一概念源于生物神经科学。在卷积神经网络中,感受野是指特征图上某一元素的计算受输入图像上某个区域的影响,这个区域即为该元素的感受野。这是一个相对概念,对于某层特征图的某个元素,所能获取的感受野对于不同层来说也是不同的。神经元感受野越大表示所能接触到的原始图像区域就越大,这意味着它可能蕴含更多全局、语义层次更高的特征;感受野越小则表示所接触的区域更聚焦,意味着所包含的特征更趋于局部和细节。因此,通过对感受野的操作可以平衡全局与局部特征在网络训练和推理的抽象程度。

CNN中的普通卷积是在局部和固定尺度上工作,通过单步长重叠卷积区域以获得局部上下文信息,例如,在视觉任务中广泛采用的3×3卷积核,在步长为1的卷积操作下,每次滑动将获得3个新元素与6个旧元素进行卷积操作,结果即可视为这9个元素内含的上下文信息。这一难以建模全局依赖关系的固有缺陷在需要全局上下文理解的LLIE任务中尤为凸显。为了克服CNN这一局限性,研究者提出了多种改进方案:注意力机制通过动态计算特征重要性,增强了模型对关键区域的聚焦能力;多尺度融合通过结合不同层级的特征,间接扩展感受野以提升上下文建模能力;Transformer的引入为LLIE任务提供了新的全局建模方案。但上述改进方法都难以避免计算复杂度高、模型参数增大的问题。

根据傅里叶理论中的频谱卷积定理,频谱域中的单值更新会对空域数据产生全局影响,这为具有全局感受野的神经结构提供了思路。傅里叶快速卷积的优势在于以近乎常规卷积的代价,实现了卓越的非局部依赖建模能力,从而在多种视觉任务上提升显著^[20]。如图2所示,FFC由两个分支组成:①一条在输入特征通道的一部分上进行普通卷积的空间分支;②一条在频谱域上操作的谱分支,每条分支可以捕获具有不同感受野的互补信息。

如图2所示,对于输入特征图X∈R^H^×^W^×^C,其中H、W和C分别为特征图高度、特征图宽度和通道数,进入FFC后首先沿着通道维度对X进行拆分,即X={X^l,X^g}。局部分支$\boldsymbol{X}^{1} \in \mathbf{R}^{H \times W \times\left(1-\alpha_{\text {in }}\right) C}$是为了从空间域中学习,全局分支$\boldsymbol{X}^{\mathbf{g}} \in \mathbf{R}^{H \times W \times\left(1-\alpha_{\mathrm{in}}\right) C}$则是在谱域中捕获全局信息,α_in∈[0,1]为分配给局部分支和全局分支的输入比。FFC的输出与输入维度相同,即Y={Y^l,Y^g}且Y∈R^H^×^W^×^C,$ \boldsymbol{Y}^{1} \in\mathbf{R}^{H \times W \times\left(1-\alpha_{\text {out }}\right) C}$,$\boldsymbol{Y}^{\mathrm{g}} \in \mathbf{R}^{H \times W \times\left(1-\alpha_{\text {out }}\right) C}$分别为局部分支和全局分支的输出,通过超参数α_out∈[0,1]控制两分支的输出比值。超参数α_in、α_out可以控制两分支的贡献,参照FFC的初始化值,设置α_in=α_out=0.75。FFC内部计算过程可描述为

(1)$\boldsymbol{Y}^{\mathrm{l}}=\boldsymbol{Y}^{\mathrm{l} \mapsto \mathrm{l}}+\boldsymbol{Y}^{\mathrm{g} \rightarrow \mathrm{l}}=f_{1}\left(\boldsymbol{X}^{\mathrm{l}}\right)+f_{\mathrm{g} \rightarrow \mathrm{l}}\left(\boldsymbol{X}^{\mathrm{g}}\right)$

(2)$\boldsymbol{Y}^{\mathrm{g}}=\boldsymbol{Y}^{\mathrm{g} \rightarrow \mathrm{~g}}+\boldsymbol{Y}^{1 \rightarrow \mathrm{~g}}=f_{\mathrm{g}}\left(\boldsymbol{X}^{\mathrm{g}}\right)+f_{1 \rightarrow \mathrm{~g}}\left(\boldsymbol{X}^{1}\right)$

式中:f_l为局部分支的普通卷积;f_g为谱变换。

如图2所示,谱变换先将输入特征图降低通道维度,再输入傅里叶单元进行特征图的全维度处理,局部傅里叶单元增加了特征图的切割和堆叠操作,以获取特征图的循环信息。针对LLIE任务非均匀光照和亮暗区域之间存在的语义信息特征,所提方法的傅里叶卷积分支在下采样的最小尺度使用快速傅里叶残差块,该残差块是通过双层FFC串联并加入残差连接构成的。傅里叶空间在捕捉非局部信息方面表现出优势,但是缺乏对图像内部空间结构的学习能力,因此在恢复图像纹理细节方面存在局限性,并且在傅里叶变换和特征传递中可能会引入额外的噪声和特征损失。因此,将傅里叶卷积分支与小波变换注意力分支结合成双路径结构,彼此互补。

1.2 小波变换自注意力分支

图像在傅里叶空间中进行处理对捕捉非局部信息表现出优势,但低光照图像中普遍存在的噪声会造成频谱干扰。噪声往往表现为图像中的随机、无规则的变化,这些变化在频域中对应高频成分,使得图像的高频信息更加复杂。频谱干扰和傅里叶域单值更新影响全局的特点可能导致傅里叶变换后出现一些原本不存在的频率成分,这些成分在逆变换回空间域时可能表现为伪影或影响图像纹理细节的特征。从信号分析的角度来看,傅里叶变换提供了信号频域相关信息,但有关时间(空间)的信息却不得不舍弃,也就是说,傅里叶变换只能提供信号在整个时域(空间域)的频率成分,不能提供信号在局部时间(空间)的频率信息。具体到图像处理领域,傅里叶变换所得到的频谱图中每个点都代表全局某个频率信息,也可以看作是一个平面波,整幅频谱图所代表的即是构成该幅图像的所有平面波的叠加。经过离散傅里叶变换的图像转换到频率域分析意味着对某个或某些平面波进行处理,具备全局信息的处理能力,但对于局部、区域的处理表现出局限性,对图像中边缘或者区域变化不敏感。

小波变换通过更换基函数,用不同频率的小波获取信号的频域特征,通过平移小波获得信号的空间信息。与傅里叶变换的全局影响相比,小波变换是频率和空间的局部变换,具有良好的局部化性质且具备多尺度分析特性。给定一幅图像I,使用二维Haar小波变换将输入变换为4个分量,此过程可表示为

(3)$\{A, V, H, D\}=2 \mathrm{D}-\mathrm{DWT}(\boldsymbol{I})$

式(3)中:A,V,H,$ D \in \mathbf{R}^{\frac{H}{2} \times \frac{W}{2} \times C}$,A、V、H、D分别为输入图像均值低频分量、垂直、水平、对角线的高频分量。

输入图像均值分量在粗粒度上反映了图像的基本结构,其分辨率更小且保留了大部分低频内容。其他3个分量包含高频信息、反应图像轮廓、纹理等,所反映图像信息较少。

注意力的应用在捕捉图像复原任务中关键的长距离依赖和非局部自相似性上表现出优势,但在大尺度特征图上使用自注意力的主要挑战是与输入块的空间分辨率呈平方级别的计算复杂度。因此,常见的多尺度自注意力方法通常对特征图或key/value进行下采样操作以降低计算成本。然而,下采样操作不可避免地会造成信息损失,从而对模型性能产生不利影响。结合小波变换的可逆且无损下采样性质和自注意力机制,设计了基于小波变换的Transformer模块(wavelet transformer block,WTB),如图3(b)所示。

1.2.1 WTSA

如图3(a)所示,首先,对于输入特征图I使用conv 3×3深度卷积(W_d)和conv 1×1逐点卷积(W_p)叠加组成的深度可分离卷积操作,沿通道维度分为3份以获取计算注意力所需的Query、Key和Value。该操作取代线性投射层,并把多头操作从常规的作用于图像宽高尺度改为作用于通道维度,大幅降低推理时间和计算复杂度。

(4)$\boldsymbol{I}_{q k v}=W_{\mathrm{p}} W_{\mathrm{d}} \boldsymbol{I}$

(5)$\boldsymbol{Q}, \boldsymbol{K}, \boldsymbol{V}=\operatorname{chunk}\left(\boldsymbol{I}_{q k v}, 3, \operatorname{dim}=1\right)$

式中:I_qkv为经过深度可分离卷积处理后的合并了Q、K、V三个线性投影结果的中间张量;Q、K、V分别为注意力机制中的查询(Query)、键(Key)、值(Value)矩阵;chunk为张量分割函数;dim为chunk操作的指定维度。

接下来对Q,K,V∈R^H^×^W^×^C进行Haar小波变换,得到4个子带分量。将4个子带分量沿通道维度叠加以获取分辨率减半,通道数增加4倍的Q,K,$ \boldsymbol{V} \in \mathbf{R}^{\frac{H}{2} \times \frac{W}{2} \times 4 C}$,沿着通道维度分为k个头可得到多头注意力操作所需Qⁱ,Kⁱ,$ \boldsymbol{V}^{i} \in \mathbf{R}^{\frac{H}{2} \times \frac{W}{2} \times \frac{4 C}{k}}$,实验中参考文献[14-15,21]设置k=8。因为均值分量中包含有更多原图像信息,因此复制均值分量并进行同样的分头操作得到$\boldsymbol{Q}_{\mathrm{A}}^{i}$,$\boldsymbol{K}_{\mathrm{A}}^{i}$,$ \boldsymbol{V}_{\mathrm{A}}^{i} \in \mathbf{R}^{\frac{H}{2} \times \frac{W}{2} \times \frac{C}{k}}$。

(6)$\boldsymbol{Q}=2 \mathrm{D} \text {-DWT }\left(\left[\boldsymbol{Q}^{1}, \boldsymbol{Q}^{2}, \cdots, \boldsymbol{Q}^{k}\right]\right)$

(7)$\boldsymbol{K}=2 \mathrm{D} \text {-DWT }\left(\left[\boldsymbol{K}^{1}, \boldsymbol{K}^{2}, \cdots, \boldsymbol{K}^{k}\right]\right)$

(8)$\boldsymbol{V}=2 \mathrm{D} \text {-DWT }\left(\left[\boldsymbol{V}^{1}, \boldsymbol{V}^{2}, \cdots, \boldsymbol{V}^{k}\right]\right)$

(9)$\boldsymbol{Q}_{\mathrm{A}}=2 \mathrm{D}-\mathrm{DWT}\left(\left[\boldsymbol{Q}_{\mathrm{A}}^{1}, \boldsymbol{Q}_{\mathrm{A}}^{2}, \cdots, \boldsymbol{Q}_{\mathrm{A}}^{k}\right]\right)$

(10)$\boldsymbol{K}_{\mathrm{A}}=2 \mathrm{D}-\mathrm{DWT}\left(\left[\boldsymbol{K}_{\mathrm{A}}^{1}, \boldsymbol{K}_{\mathrm{A}}^{2}, \cdots, \boldsymbol{K}_{\mathrm{A}}^{k}\right]\right)$

(11)$\boldsymbol{V}_{\mathrm{A}}=2 \mathrm{D}-\mathrm{DWT}\left(\left[\boldsymbol{V}_{\mathrm{A}}^{1}, \boldsymbol{V}_{\mathrm{A}}^{2}, \cdots, \boldsymbol{V}_{\mathrm{A}}^{k}\right]\right)$

式中:Q_A为均值分量的注意力计算所需Query;K_A为均值分量的注意力计算所需Key;V_A为均值分量的注意力计算所需Value;Q^k为将原始Query张量按通道维度拆分成k个独立的头;K^k为将原始Key张量按通道维度拆分成k个独立的头;V^k为将原始Value张量按通道维度拆分成k个独立的头;${Q}_{A}^{k}$为将原始均值分量张量Q_A按通道维度拆分成k个独立的头;$ \boldsymbol{K}_{A}^{k}$为将原始均值分量张量K_A按通道维度拆分成k个独立的头;$ \boldsymbol{V}_{\mathrm{A}}^{k}$为将原始均值分量张量V_A按通道维度拆分成k个独立的头;k为多头注意力头数;2D-DWT为二维离散小波变换。

对Qⁱ,Kⁱ,$ \boldsymbol{V}^{i} \in \mathbf{R}^{\frac{H}{2} \times \frac{W}{2} \times \frac{4 C}{k}}$与$\boldsymbol{Q}_{A}^{i}$,$\boldsymbol{K}_{A}^{i}$,$\boldsymbol{V}_{A}^{i} \in \mathbf{R}^{\frac{H}{2} \times \frac{W}{2} \times \frac{C}{k}}$分别进行注意力计算,将计算后的结果进行小波逆变换并沿着通道维度连接并通过一个conv1×1输出映射层W_p获得注意力计算输出。

(12)$\boldsymbol{I}_{\text {wavelet }}=\boldsymbol{V} \otimes \operatorname{softmax}\left(\frac{\boldsymbol{Q} \boldsymbol{K}^{\mathrm{T}}}{\alpha_{\mathrm{H}}}\right)$

(13)$\boldsymbol{I}_{\mathrm{A}}=\boldsymbol{V}_{\mathrm{A}} \otimes \operatorname{softmax}\left(\frac{\boldsymbol{Q}_{\mathrm{A}} \boldsymbol{K}_{\mathrm{A}}^{\mathrm{T}}}{\alpha_{\mathrm{H}}}\right)$

(14)$\hat{\boldsymbol{I}}=W_{\mathrm{p}} \operatorname{Concat}\left[2 \mathrm{D}-i \mathrm{DWT}\left(\boldsymbol{I}_{\text {wavelet }}\right), 2 D-i \mathrm{DWT}\left(\boldsymbol{I}_{\mathrm{A}}\right)\right]+\boldsymbol{I}$

式中:I_wavelet为所有分量的注意力计算结果;softmax为激活函数;Concat为通道维度拼接操作;iDWT为逆离散小波变换;I_A为仅均值分量的注意力计算结果;α_H与SA^[21]类似,为可学习的多头因子,自适应地调节矩阵乘法;􀱋为矩阵乘法;输出特征$\hat{\boldsymbol{I}} \in\mathbf{R}^{H \times W \times C}$为小波变换注意力计算后的I与其残差之和;以上各层都是无偏置的。

1.2.2 DCF

受Transformer中前馈层的启发,上述经WTSA处理后的特征张量再进行层归一化后,(dual-path convolution fusion,DCF)进一步融合注意力计算输出,增加模型非线性能力,图3(c)展示了该组件的设计细节。DCF先使用conv1×1逐点卷积将输入特征张量通道数加倍,再沿通道维度对半分离为两支路,紧接conv 3×3深度卷积和tanh激活函数,采用残差连接保留激活前特征,随后分离张量经过元素级乘法融合和输出映射层得到融合后张量输出。其过程可定义为

(15)$\begin{aligned}\boldsymbol{F}_{\text {out }}= & W_{\text {p }}\left\{[ \operatorname { t a n h } (W _ { \mathrm { d } } \boldsymbol { F } _ { \text { in } } ^ { 1 } ) + \boldsymbol { F } _ { \text { in } } ^ { 1 } ] \odot \left[\tanh \left(W_{\mathrm{d}} \boldsymbol{F}_{\text {in }}^{2}\right)+\right.\right. \\& \left.\left.\boldsymbol{F}_{\text {in }}^{2}\right]\right\}+\boldsymbol{F}_{\text {in }}\end{aligned}$

式(15)中:F_out为DCF模块的输出张量;F_in为DCF模块的输入张量;☉为元素级乘法;$ \boldsymbol{F}_{\mathrm{in}}^{1}=W_{\mathrm{p}}^{1} W_{\mathrm{d}}^{1} \boldsymbol{F}_{\mathrm{in}}$,$\boldsymbol{F}_{\text {in }}^{2}=W_{\mathrm{p}}^{2} W_{\mathrm{d}}^{2} \boldsymbol{F}_{\text {in }}$且$\boldsymbol{F}_{\text {in }}^{1}$,$\boldsymbol{F}_{\mathrm{in}}^{2} \in \mathbf{R}^{C \times H \times W}$,其中,$ W_{\mathrm{p}}^{1}$为上分支的conv 1×1逐点卷积;$ W_{\mathrm{d}}^{1}$为上分支的conv3×3深度卷积;$ W_{\mathrm{p}}^{2}$为下分支的conv 1×1逐点卷积;$ W_{\mathrm{d}}^{2}$为下分支的conv 3×3深度卷积。

1.3 通道注意力融合尾部

受SE注意力机制^[22]的启发,在双分支尾部设计一种通道注意力融合尾部(channel attention fusion tail,CAFT),通过动态权重分配机制实现傅里叶卷积分支与小波变换自注意力分支的自适应融合。如图4所示,该模块首先将输入傅里叶卷积分支特征$\boldsymbol{u}_{\mathrm{ffc}} \in \mathbf{R}^{H \times W \times C}$与小波变换自注意力分支特征$\boldsymbol{u}_{\text {wavelet }} \in \mathbf{R}^{H \times W \times C}$沿通道维度拼接,构建联合特征u_c∈R^H^×^W^×2^C。

(1)全局特征嵌入(F_sq)。使用通道维度的自适应平均池化层,将联合特征压缩成一个1×1×C的特征向量,这样使得生成的通道级统计数据Z包含每个通道的上下文信息,定义为

(16)$Z_{c}=F_{\mathrm{sq}}\left(\boldsymbol{u}_{c}\right)=\frac{1}{H W} \sum_{i=1}^{H} \sum_{j=1}^{W} \boldsymbol{u}_{c}(i, j)$

式(16)中:Z_c为Z的第c个元素。

(2)自适应矫正(F_ex)。为了利用压缩后的特征信息,接下来通过Excitation操作全面获取通道依赖性。采用两个1×1卷积层构成的门机制:第一个卷积层把通道压缩成C//r以降低计算量,其中r为压缩比例,再通过一个RELU非线性激活层,第二个卷积层将通道数恢复为C个通道,再通过Sigmoid激活得到权重s∈R^1×1×^C,用来刻画联合特征u_c中c个特征图的权重,其表达式为

(17)$s=F_{\mathrm{ex}}(z, W)=\sigma[g(z, W)]=\sigma\left[W_{2} \delta\left(W_{1} z\right)\right]$

式(17)中:z为经过第一步处理后的全局特征向量;W为激励操作的权重集合,包含后续两个卷积层(线性层)的权重W₁和W₂;σ为Sigmoid激活函数,将输出映射到[0,1]区间,实现权重的归一化,最终得到每个通道的重要性分数;g为激励操作的整体映射函数,包含W₁和W₂操作;δ为RELU非线性激活函数;W₁为对应第一个1×1卷积层,作用是将通道数从 C压缩到C//r;W₂为对应第二个1×1卷积层,作用是将通道数从C//r恢复到C,完成通道权重的维度匹配。

(3)通道加权(F_scale)。最后将前面得到的注意力权重沿通道维度对半分离分别得到两分支特征的注意力权重s_ffc、s_wavelet,并将该权重加权到每分支的通道特征上,可表示为

(18)$\left\{\begin{array}{l}\widetilde{\boldsymbol{x}}_{\mathrm{ffc}}=F_{\text {scale }}\left(\boldsymbol{u}_{\mathrm{ffc}}, s_{\mathrm{ffc}}\right)=s_{\mathrm{ffc}} \boldsymbol{u}_{\mathrm{ffc}} \\\widetilde{\boldsymbol{x}}_{\text {wavelet }}=F_{\text {scale }}\left(\boldsymbol{u}_{\text {wavelet }}, s_{\text {wavelet }}\right)=s_{\text {wavelet }} \boldsymbol{u}_{\text {wavelet }}\end{array}\right.$

式(18)中:u_ffc为傅里叶卷积分支输入特征;u_wavelet为小波分支输入特征;$ \tilde{\boldsymbol{x}}_{\mathrm{ffc}}$为经过通道注意力加权后的傅里叶卷积分支输出张量;$ \tilde{\boldsymbol{x}}_{\text {wavelet }}$为经过通道注意力加权后的小波分支输出张量。

最后将注意力权重加权后的双分支输出特征进行元素级相加得到输出融合特征。

1.4 损失函数

(1)L1损失函数L₁。

(2)结构相似性指数(structural similarity,SSIM)损失函数$L_{\text {ssim }}$^[23]。通过使用SSIM损失函数,结合图像(x,y)之间亮度l(x,y)、对比度c(x,y)和结构相似度S(x,y)信息,可以使增强后的图像更接近人眼视觉感受。首先对于亮度来说,如果一幅图像有N个像素点,每个像素点的像素值为x_i,那该幅图像的平均亮度可表示为

(19)$\mu_{x}=\frac{1}{N} \sum_{i=1}^{N} x_{i}$

亮度相似度的表达式为

(20)$l(x, y)=\frac{2 \mu_{x} \mu_{y} C_{1}}{\mu_{x}^{2} \mu_{y}^{2} C_{1}}$

(21)$C_{1}=\left(K_{1} L\right)^{2}$

式中:常数C₁是为了防止分母为0的情况;μ_y为图像y的平均亮度;K₁≪1为常数;L为灰度动态范围,由图像的数据类型决定。

对于对比度,即图像明暗的变化剧烈程度,用像素值的标准差表示,其表达式为

(22)$\sigma_{x}=\left[\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\mu_{x}\right)^{2}\right]^{\frac{1}{2}}$

对比度相似度的计算公式为

(23)$c(x, y)=\frac{2 \sigma_{x} \sigma_{y} C_{2}}{\sigma_{x}^{2} \sigma_{y}^{2} C_{2}}$

(24)$C_{2}=\left(K_{2} L\right)^{2}$

式中:σ_y为图像y的像素值的标准差;常数C₂是为了防止分母为0的情况;K₂≪1为常数。

以上亮度和对比度都是标量,对于结构相似度应当用该图所有像素组成的向量来表示,且应当排除亮度和对比度的影响,即排除均值与标准差的影响。用余弦相似度表示两向量的相似度,可表示为

(25)$\begin{aligned}S(x, y) & =\left(\frac{1}{\sqrt{N-1}} \frac{x-\mu_{x}}{\sigma_{x}}\right)\left(\frac{1}{\sqrt{N-1}} \frac{x-\mu_{y}}{\sigma_{y}}\right) \\& =\frac{1}{\sigma_{x} \sigma_{y}}\left[\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\mu_{x}\right)\left(y_{i}-\mu_{y}\right)\right]\end{aligned}$

(26)$\sigma_{x y}=\frac{1}{N-1} \sum_{i=1}^{N}\left(x_{i}-\mu_{x}\right)\left(y_{i}-\mu_{y}\right)$

结合式(25)、式(26),且为了防止分母为0加入常数C₃,结构相似度公式可表示为

(27)$S(x, y)=\frac{\sigma_{x y} C_{3}}{\sigma_{x} \sigma_{y} C_{3}}$

式(27)中:σ_xy为两图像在局部窗口内的协方差。

令C₃=C₂/2,则SSIM损失可表示为

(28)$\operatorname{SSIM}(x, y)=l(x, y) c(x, y) S(x, y)$

(29)$\operatorname{SSIM}(x, y)=\frac{\left(2 \mu_{x} \mu_{y}+C_{1}\right)\left(2 \sigma_{x y}+C_{2}\right)}{\left(\mu_{x}^{2}+\mu_{y}^{2}+C_{1}\right)\left(\sigma_{x}^{2}+\sigma_{y}^{2}+C_{2}\right)}$

在整幅图像的跨度上均值和方差变化剧烈,而且图像不同区域之间的失真程度不一样,因此使用滑动窗口计算SSIM后取平均值得到图像的SSIM,计算公式为

(30)$\mu_{x}=\sum_{i=1}^{N} w_{i} x_{i}$

(31)$\sigma_{x}=\left[\sum_{i=1}^{N} w_{i}\left(x_{i}-y_{i}\right)^{2}\right]^{\frac{1}{2}}$

(32)$\sigma_{x y}=\sum_{i=1}^{N} w_{i}\left(x_{i}-\mu_{x}\right)\left(y_{i}-\mu_{y}\right)$

(33)$L_{\mathrm{ssim}}(X, Y)=\frac{1}{M} \sum_{j=1}^{M} \operatorname{SSIM}\left(x_{j}, y_{j}\right)$

式中:w_i为高斯核权重;y_i为图像y每个像素点的像素值;μ_x、σ_x、σ_xy分别为窗口均值、窗口方差和窗口协方差;X、Y为计算SSIM值的两幅图像;M为窗口数量。

(3)感知损失函数L_perc^[24]。L_perc是一种基于高层语义特征的损失函数,主要衡量增强图像与真实图像语义级别上的特征。用预训练的VGG网络提取特征,计算增强图像与真实图像之间的特征差异而不仅仅是像素级别的差异。通过使用感知损失函数,可以减少增强图像的伪影,拥有更自然的纹理和细节。L_perc的表达式为

(34)$L_{\text {perc }}=\sum_{l} w_{l} L_{\text {criterion }}(x, y)$

式(34)中:w_l为第l层的权重;L_criterion为可选损失函数(L1、L2、MSE);x、 y分别为提供给VGG网络提取特征的增强图像和真实图像。

(4)边缘损失函数L_edge^[25]。L_edge通过拉普拉斯算子提取图像的高频信息,然后基于均方误差计算两张图像在高频细节上的差异。

(35)$L_{\text {edge }}(x, y)=\operatorname{MSE}[\operatorname{Laplacian}(x), \operatorname{Laplacian}(y)]$

式(35)中:MSE为均方误差;Laplacian为拉普拉斯算子。

(5)总损失L_total。

(36)$\begin{aligned}L_{\text {total }}= & \omega_{1} L_{1}(\hat{x}, x)+\omega_{\text {ssim }} L_{\text {ssim }}(\hat{x}, x)+ \\& \omega_{\text {prec }} L_{\text {prec }}(\hat{x}, x)+\omega_{\text {edge }} L_{\text {edge }}(\hat{x}, x)\end{aligned}$

式(36)中:ω₁、ω_ssim、ω_prec、ω_edge为实验中用于权衡损失函数L的权重系数。

2 实验

(1)LOL数据集。使用3个LLIE配对基准数据集对所提方法进行评估,包括LOLv1^[6]、LOLv2-Real^[26]、LOLv2-Syn^[26]。LOLv1数据集由500对低光/正常光照图像对组成,所有图像均通过专业相机在真实低光环境下采集,并经过人工调整曝光和感光度得到对应的正常光版本。LOLv2-Real数据集由789对低光/正常光照图像对组成,是对LOLv1数据集的扩充,覆盖了室内外、夜间、背光等复杂场景。LOLv2-Syn数据集由1 000对图像组成,其低光版本是通过分析多个数据集的统计特性后,采用专业图像处理软件对正常光图像进行模拟退化得到。训练集和测试集在LOL-v1、LOL-v2-real和LOL-v2-synthetic上按照485∶15、689∶100和900∶100的比例进行划分。

(2)非配对数据集。进一步在DICM、MEF、NPE 3个非配对数据集上进行主客观对比实验,这3个数据集中包括背光、非均匀光照、室内外等场景和多种分辨率图像,可评估算法在不同噪声真实世界低光照场景下的泛化能力。

(3)Sony-Total-Dark数据集。为评估算法在大规模数据集上的性能表现,进一步在Sony-Total-Dark数据集上进行实验。该数据集是SID数据集的子集,使用Sony相机拍摄,包含2 697对短曝光和长曝光RAW图像。使用SID数据集提供的转换方法将RAW图像转换为sRGB图像使用。

本文实验采用深度学习框架Pytorch 2.4.0,CUDA 12.1,硬件为选用NVIDIA GTX TITAN进行单卡训练。使用Adam^[27]优化器对模型进行至少500个epoch训练,学习率初始设置为1×10^-4,在训练过程中通过余弦退火方案^[28]稳定下降,批大小设置为8。并且将图像随机裁剪为256×256的块大小,并采用水平和垂直翻转的方式对训练数据进行扩充。

2.1 主观评价

首先,为了验证本文方法增强效果的先进性和鲁棒性,与KinD^[7]、MIRNet^[29]、RUAS^[30]、LLFlow^[31]、Restormer^[32]、LLFormer^[33]、SNR-Aware^[13]、Retinexformer^[14]这8种有代表性的LLIE算法进行真实场景下室内外低光照图像增强结果比较。这里从LOLv2-Real数据集中分别选取了一幅室外低光环境和一幅室内低光环境图像作为比较对象,对比算法的结果图均使用作者开放的源代码和推荐参数进行实验所得。图5显示了在室外低光照环境下所提算法与其他8种算法的比较结果。可以明显看出,图5(b)、图5(d)、图5(f)~图5(h)存在明显的欠曝,画面整体偏暗,亮度提升不够。图5(e)整体观感较为出色但细节涂抹感较强,牌匾上的文字以及门上细节都较为模糊。图5(c)亮度提升明显,但对比度过于强烈,不符合人眼观感。相比之下,本文算法亮度提升明显,画面整体表现通透,细节纹理保留细腻。

图6显示了在室内低光照环境下所提算法与其他8种算法的比较结果。图6(c)、图6(d)、图6(f)~图6(h)存在明显的欠曝,画面整体偏暗,而对于阳光照射部分又增强过曝,甚至在蓝色书本部分出现“太阳纹”型斑块。图6(a)能有效恢复图像亮度和对比度,但整体颜色观感不够自然,在蓝色书本位置同样出现“太阳纹”型斑块。图6(e)整体观感较好,亮度提升明显,但依然存在细节涂抹的问题,如桌上纸箱上的“小鱼”形状图案就略显模糊。相比之下,本文算法不仅有效提升了图像亮度,在细节保留方面也展现出优势,图像色彩鲜艳,视觉效果通透,并且未出现影响观感的斑块。

为了更加全面评价本文算法增强结果在纹理细节保留方面的突出优势,与LIME^[4]、RetinexNet^[6]、KinD^[7]、ZeroDCE^[9]、ZeroDCE++^[34]、RUAS^[30]、LLFlow^[31]、EnlightenGAN^[10]、Restormer^[32]、Uformer^[35]、SNR-Aware^[13]、LLFormer^[33]、Retinexformer^[14]这13种算法在LOLv1数据集上选取两张增强结果进行比较,与KinD、RUS、Restormer、SNR-Aware、Retinexformer这5种增强效果较好的算法在LOLv2数据集上选取2张增强结果进行比较,并对所有增强结果进行局部放大以达到最佳视觉效果。

图7展示了在LOLv1数据集上的比较结果,其中红框和绿框表示选取的局部放大区域。LIME、RetinexNet增强结果产生大量噪声和严重色彩失真;RUAS的结果中存在大面积亮度提升失败区域,并且伴随颜色失真和伪影;EnlightenGAN、ZeroDCE、ZeroDCE++虽然有效提升图像全局亮度但是引入大量噪声;SNR-Aware、Restormer会产生模糊图像丢失大量细节,如图7(I)、图7(j)所示,第二行图像红框放大位置条状纹理丢失严重不能辨认,绿框放大位置墙面图案涂抹感严重;如图7(m)、图7(n)所示,LLFormer、Retinexformer第一行图像红框放大区域橱窗玻璃纹理涂抹感严重,第二行图像红框放大位置条状纹理不够清晰。相比之下,本文算法在两幅图像的细节保留方面都有出色表现。

图8展示了在LOLv2数据集上的比较结果,其中红框和绿框表示选取的局部放大区域。LOLv2-Real数据集所选图像展现了算法在室内极致暗光场景下的增强表现,可以看到,RUAS未能有效提升图像亮度;KinD、Restormer、SNR-Aware、Retinexformer显著提升画面亮度和对比度,但是在红框和绿框所放大的区域因处于极端暗光环境,对于木地板和凳脚的细节丢失较为严重,还会引入大量噪声和伪影。相比之下,本文方法画面较为纯净,放大区域的噪点和伪影更少。LOLv2-Syn所选图像展现了算法在光照不均匀场景下的增强表现,可以看到KinD和RUAS的结果出现了过曝和黑边伪影;Restormer出现画面偏黄的情况;SNR-Aware和Retinexformer对于“白云”的处理失败,产生许多斑块状纹理。相比之下,本文方法所产生结果拥有更纯净和视觉友好观感,优势明显。

为进一步验证本文算法对未训练真实低光照场景数据的泛化能力,将在LOLv2-Real数据集上训练的模型直接应用于DICM、MEF、NPE 3个非配对数据集,并与MIRNet、SNR-Aware、Retinexformer 3种算法公开的增强结果进行主观评价对比分析。

图9对比图像分别选自3个数据集。在第1行图像的高光比背光环境下,背景天空与前景房屋处于不同强度光照中,在增强图像时容易造成天空过曝的情况。MIRNet、SNR-Aware就因为过曝丢失房顶和天空结构信息。Retinexformer因为使用了基于光照引导的策略,较好处理了过曝的问题。但房屋部分增强的效果明显不如本文算法,亮度提升不够。第二行图像的低亮度集中于岸上房屋区域,几乎难以分辨细节。SNR-Aware的结果出现了明显的“网格”效应,Retinexformer和MIRNet的增强结果成功提升低光照区域亮度,但对于天空部分泛红的颜色增强为偏粉色,相比之下,本文算法在成功提升亮度的同时准确还原色彩。第三行图像场景下,MIR-Net、SNR-Aware和Retinexformer都存在“鸟”区域过曝导致翅膀细节丢失的现象,而本文算法清晰保留翅膀羽毛细节,且成功提升背景亮度。

综上所述,本文算法在3个配对数据集和3个非配对数据集所包含的各类场景中都表现出稳健且优秀的增强效果,在细节保留、色彩还原、场景和数据泛化能力等方面都表现出突出优势。

2.2 客观评价

为了客观评价本文方法在LLIE任务上的有效性,采用峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似性指数(structural similarity,SSIM)^[23]作为重建图像的失真度量。PSNR基于两图像对应像素点之间的误差计算重建图像的相似程度,侧重于图像像素级误差。数值越大,表示增强结果与正常光照图像像素层面越接近。但是PSNR不考虑人眼的视觉感知特性,因此有时高PSNR值并不完全代表高视觉质量。SSIM从亮度、结构、对比度3个方面衡量增强结果与正常光照图像之间的相似度,试图从视觉感知的角度评价图像质量。与PSNR相比,SSIM更接近人眼视觉感受,在某些情况下能提供更符合视觉感知的质量评价。其数值越接近于1,表示图像失真越小。在上述两个常见指标的基础上增加了使用AlexNet计算的图像感知相似度(learned perceptual image patch similarity,LPIPS)^[36]分数作为感知度量指标。该指标使用预训练的深度神经网络来提取图像特征并比较特征之间的差异,侧重于模拟人类视觉系统对图像差异的感知。与PSNR和SSIM相比,LPIPS使用深度学习模型在深层特征空间衡量感知相似度,可以捕捉传统方法难以评估的细微变化。LPIPS分数越低,表示两张图像在感知上差异越小,即看起来越相似。对于非配对数据集,采用无参考图像空间质量评估器(blind/referenceless image spatial quality evaluator,BRISQUE)和自然图像质量评估器(natural image quality evaluator,NIQE)来评估图像质量。

表1对比了包括RetinexNet^[6]、KinD^[7]、ZeroDCE^[9]、3DLUT^[37]、DRBN^[38]、MIRNet^[29]、RUAS^[30]、LLFlow^[31]、EnlightenGAN^[10]、Restormer^[32]、LEDNet^[39]、SNR-Aware^[13]、PairLIE^[40]、LLFormer^[33]、Retinexformer^[14]、FourLLIE^[18]、PRNet^[41]共17种LLIE前沿算法在3个配对数据集上的PSNR和SSIM指标。表2选取其中12种算法进行LPIPS指标的对比分析。表1和表2中的数据部分使用公开代码在推荐的实验设置下复现所得,部分直接引用相关文献公开的实验结果。

定量结果表明,本文算法在3个数据集上的SSIM指标无论是Normal情况下还是GT Mean情况下均取得最优结果,并且将模型参数量控制在2.05 M,计算量控制在16.03 GFLOPs。与基于傅里叶域的方法FourLLIE相比,本文算法在3个数据集上PSNR和SSIM指标均有大幅提升,Normal情况下PSNR分别提升1.61、1.068、0.224 dB,SSIM分别提升0.03、0.022、0.017;GT Mean情况下PSNR分别提升0.94、0.203、0.471 dB,SSIM分别提升0.052、0.026、0.017。与基于傅里叶域和空域级联增强的方法PRNet相比,本文算法几乎在所有指标上均实现提升。与同样使用注意力机制的方法Restormer、SNR-Aware、LLFormer、Retinexformer相比,本文算法在拥有较低模型参数量和计算量的同时,在3个数据集上的SSIM和LPIPS指标均取得最优结果。以上结果表明,所提算法在色彩和结构信息上恢复效果更好,增强图像与正常光照情况下的感知差异更小。综合主观评价结果,本文算法的增强效果稳定,对不同场景的适应性更强,具有良好的场景泛化性。

为进一步验证本文算法在不同噪声环境和低光照场景下的泛化能力,将在LOLv2-Real数据集上训练的模型直接应用于DICM、MEF、NPE 3个非配对数据集,并选取KinD、ZeroDCE、MIRNet、RUAS、LLFlow、SNR-Aware、PairLIE、Retinexformer、FourLLIE、PRNet 共10种算法进行BRISQUE和NIQE指标的对比实验。更低的BRISQUE值表明图像更接近自然图像的统计特性,即增强结果看起来更自然。更低的NIQE值表明图像更接近高质量图像,通常NIQE小于3.0时说明图像具备极高质量,常出现在专业摄影场景中,NIQE为3.0~4.0说明图像具备良好质量。表3展示了对比结果,本文算法在3个数据集的两项指标表现均居于前列,说明F-WNet增强结果在统计特性上接近高质量自然图像,算法拥有较好的泛化能力。

为进一步评估本文算法在大规模数据集上的性能,选择Sony-Total-Dark数据集开展了实验,并选取RetinexNet、ZeroDCE、RUAS、LLFlow、LEDNet 5种算法进行定量比较。如表4所示,本文算法在该数据集上的PSNR和SSIM指标均有提升,PSNR为22.102 dB,SSIM为0.674,LPIPS指标也位于表中前列,验证了本文算法在大规模低光场景数据集下的有效性与鲁棒性。

3 结论

针对现有低光照图像增强算法存在的利用频域信息不足和缺乏频域-空域有效跨域交互机制等问题,提出一种基于傅里叶卷积和小波变换自注意力机制的双分支LLIE算法F-WNet,得到如下结论。

(1)傅里叶卷积分支内部采用快速傅里叶卷积与残差连接构成的傅里叶卷积残差块,在捕捉图像全局信息方面有突出优势。

(2)小波变换与自注意力机制相结合,在获取对于图像增强任务十分重要的长距离依赖的同时降低自注意力机制的计算复杂度,有效捕捉区域上下文联系和图像纹理,与傅里叶分支形成互补。

(3) 通道注意力融合尾部通过动态权重分配机制实现傅里叶卷积分支特征与小波变换自注意力分支特征的自适应融合。

实验结果表明,本文算法能够有效提升低光照图像亮度,可靠抑制噪声并稳健保持图像色准,在纹理细节保留方面具备显著优势。提供了一种可行的傅里叶-小波变换联合增强算法,有效利用频域信息并提供了一种新颖的跨域交互机制。当前方法的局限性在于频域处理和自注意力机制对于输入图像的维度大小敏感,在处理高分辨率图像时表现出推理时间较慢的现象。在未来研究中,将进一步探索频域信息处理和注意力机制的优化路径,进一步提升算法的推理效率。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	马鑫, 喻春雨, 陈刚, 等. 分区自适应伽马校正的非均匀光照图像增强[J]. 激光与光电子学进展, 2024, 61(14): 383-390.

[2]	Ma Xin, Yu Chunyu, Chen Gang, et al. Non-uniform illumination image enhancement based on partition adaptive gamma correction[J]. Laser & Optoelectronics Progress, 2024, 61(14): 383-390.

[3]	Land E H. The Retinex theory of color vision[J]. Scientific American, 1977, 237(6): 108-128.

[4]	Wang S, Zheng J, Hu H M, et al. Naturalness preserved enhancement algorithm for non-uniform illumination images[J]. IEEE Transactions on Image Processing, 2013, 22(9): 3538-3548.

[5]	Guo X, Li Y, Ling H. LIME: low-light image enhancement via illumination map estimation[J]. IEEE Transactions on Image Processing, 2017, 26(2): 982-993.

[6]	田博文, 丁建伟, 户子睿. 融合零参考深度曲线的低照度图像增强与去噪算法[J]. 科学技术与工程, 2025, 25(2): 704-712.

[7]	Tian Bowen, Ding Jianwei, Hu Zirui, et al. Low-light image enhancement and denoising algorithm integrating zero-reference deep curve[J]. Science Technology and Engineering, 2025, 25(2): 704-712.

[8]	Wei C, Wang W, Yang W, et al. Deep Retinex decomposition for low-light enhancement[C]// Proceedings of the British Machine Vision Conference. Newcastle: BMVA Press, 2018: 1-12.

[9]	Zhang Y H, Zhang J, Guo X. Kindling the darkness: a practical low-light image enhancer[C]// Proceedings of the 27th ACM International Conference on Multimedia. New York: ACM, 2019: 1632-1640.

[10]	户子睿, 丁建伟, 田博文. 基于残差和多尺度注意力机制的Retinex低光图像增强算法[J]. 科学技术与工程, 2024, 24(35): 15118-15125.

[11]	Hu Zirui, Ding Jianwei, Tian Bowen. Retinex low-light image enhancement algorithm based on residual and multi-scale attention mechanism[J]. Science Technology and Engineering, 2024, 24(35): 15118-15125.

[12]	Guo C L, Li C Y, Guo J C, et al. Zero-reference deep curve estimation for low-light image enhancement[C]// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Seattle: IEEE, 2020: 1777-1786.

[13]	Jiang Y, Gong X, Liu D, et al. EnlightenGAN: deep light enhancement without paired supervision[J]. IEEE Transactions on Image Processing, 2021, 30: 2340-2349.

[14]	隋涛, 吴森炜, 贾浩, 等. 基于改进循环生成对抗网络的低照度图像增强[J]. 科学技术与工程, 2024, 24(14): 5911-5919.

[15]	Sui Tao, Wu Senwei, Jia Hao, et al. Low-light image enhancement based on improved cycle generative adversarial network[J]. Science Technology and Engineering, 2024, 24(14): 5911-5919.

[16]	陈彬, 陈克远, 伍世虔. 基于跨域特征融合的低光图像增强算法[J]. 激光与光电子学进展, 2024, 61(24): 340-349.

[17]	Chen Bin, Chen Keyuan, Wu Shiqian. Low-light image enhancement algorithm based on cross-domain feature fusion[J]. Laser & Optoelectronics Progress, 2024, 61(24): 2437002.

[18]	Xu X G, Wang R X, Fu C W, et al. SNR-Aware low-light image enhancement[C]// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 17693-17703.

[19]	Cai Y H, Bian H, Lin J, et al. Retinexformer: one-stage Retinex-based transformer for low-light image enhancement[C]// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Paris: IEEE, 2023: 12470-12479.

[20]	Yan Q S, Feng Y X, Zhang C, et al. You only need one color space: an efficient network for low-light image enhancement[J]. IEEE Transactions on Image Processing, 2024, 33: 1234-1245.

[21]	Yu H, Zheng N S, Zhou M, et al. Frequency and spatial dual guidance for image dehazing[M]. Cham: Springer, 2022: 181-198.

[22]	Huang J, Liu Y, Zhao F, et al. Deep Fourier-based exposure correction network with spatial-frequency interaction[M]. Cham: Springer, 2022: 163-180.

[23]	Wang C, Wu H, Jin Z. FourLLIE: boosting low-light image enhancement by Fourier frequency information[C]// Proceedings of the 31st ACM International Conference on Multimedia. Ottawa: ACM, 2023: 7459-7469.

[24]	Tan J H, Pei S, Qin W, et al. Wavelet-based Mamba with Fourier adjustment for low-light image enhancement[M]. Singapore: Springer, 2025: 160-175.

[25]	Chi L, Jiang B, Mu Y. Fast Fourier convolution[C]// Proceedings of the 34th International Conference on Neural Information Processing Systems. Vancouver: Curran Associates, Inc., 2020: 4479-4488.

[26]	Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook: Curran Associates, 2017: 6000-6010.

[27]	Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 7132-7141.

[28]	Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[29]	Johnson J, Alahi A, Li F F. Perceptual losses for real-time style transfer and super-resolution[C]// Computer Vision-ECCV 2016: 14th European Conference. Berlin: Springer, 2016: 694-711.

[30]	Seif G, Androutsos D. Edge-based loss function for single image super-resolution[C]// Proceedings of the 2018 IEEE International Conference on Acoustics, Speech and Signal Processing. Calgary: IEEE, 2018: 1468-1472.

[31]	Yang W, Wang W, Huang H, et al. Sparse gradient regularized deep Retinex network for robust low-light image enhancement[J]. IEEE Transactions on Image Processing, 2021, 30: 2072-2086.

[32]	Kingma D P, Ba J. Adam: a method for stochastic optimization[C]// Proceedings of the 3rd International Conference on Learning Representations. San Diego: ICLR, 2015: 1-15.

[33]	Loshchilov I, Hutter F. SGDR: stochastic gradient descent with warm restarts[C]// Proceedings of the 5th International Conference on Learning Representations. Toulon: OpenReview. net, 2017: 3983.

[34]	Zamir S W, Arora A, Khan S, et al. Learning enriched features for real image restoration and enhancement[C]// Computer Vision-ECCV 2020: 16th European Conference. Glasgow, UK: Springer, 2020: 492-511.

[35]	Liu R S, Ma L, Zhang J A, et al. Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement[C]// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 10556-10565.

[36]	Wang Y, Wan R, Yang W, et al. Low-light image enhancement with normalizing flow[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Philadelphia: AAAI, 2022: 2604-2612.

[37]	Zamir S W, Arora A, Khan S, et al. Restormer: efficient Transformer for high-resolution image restoration[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New Orleans, LA: IEEE, 2022: 5718-5729.

[38]	Wang T, Zhang K H, Shen T R, et al. Ultra-high-definition low-light image enhancement: a benchmark and transformer-based method[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Philadelphia: AAAI, 2023: 2689-2697.

[39]	Li C, Guo C, Loy C C. Learning to enhance low-light image via zero-reference deep curve estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(8): 4225-4238.

[40]	Wang Z D, Cun X D, Bao J M, et al. Uformer: a general U-shaped transformer for image restoration[C]// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 17662-17672.

[41]	Zhang R, Isola P, Efros A A, et al. The unreasonable effectiveness of deep features as a perceptual metric[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT: IEEE, 2018: 586-595.

[42]	Zeng H, Cai J, Li L, et al. Learning image-adaptive 3D lookup tables for high performance photo enhancement in real-time[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(4): 2058-2073.

[43]	Yang W, Wang S, Fang Y, et al. From fidelity to perceptual quality: a semi-supervised approach for low-light image enhancement[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA: IEEE, 2020: 3060-3069.

[44]	Zhou S, Li C, Change L C. LEDNet: joint low-light enhancement and deblurring in the dark[C]// Computer Vision-ECCV 2022. Cham: Springer, 2022: 573-589.

[45]	Fu Z Q, Yang Y, Tu X T, et al. Learning a simple low-light image enhancer from paired low-light instances[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Vancouver, BC: IEEE, 2023: 22252-22261.

[46]	Zhang J, Wang X, Li Y, et al. PRNet: low-light image enhancement based on Fourier transform[J]. IEEE Transactions on Instrumentation and Measurement, 2025, 74: 1-14.