隧道口照度自适应的渐进式多尺度图像融合

马庆禄; 王琛; 马恋; 赵树恩

doi:10.12404/j.issn.1671-1815.2503922

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (16) :6954-6965 DOI: 10.12404/j.issn.1671-1815.2503922

自动化技术、计算机技术

隧道口照度自适应的渐进式多尺度图像融合

马庆禄 ¹ ,
王琛 ¹ ,
马恋 ¹ ,
赵树恩 ²

作者信息 +

Illumination Adaptive Progressive Multi-scale Image Fusion for Tunnel Portal

Author information +

文章历史 +

摘要

针对公路隧道口光照突变导致的自动驾驶车辆视觉适应性问题,提出一种非下采样剪切波变化(nonsubsampled shearlet transform,NSST)域下渐进式的红外与可见光图像融合方法。该方法构建多尺度、多方向的层级分解结构,获得从粗到细的低频结构信息与多方向高频细节信息;对低频系数,创新结合分块处理机制与ADMM(alternating direction method of multipliers)优化算法改进卷积稀疏表示,有效解决全局特征一致性问题;对高频系数,引入光谱边缘信息并基于新活性度量方法实现对融合图像的纹理细节优化;最后,利用非下采样轮廓波逆变换重构融合图像。实验选取G22宁夏六盘山隧道进行融合实验验证,结果表明:所提方法与传统算法相比,互信息(mutual information, MI)、边缘信息传递量(transfer of edge information, Q^AB/F)和自然图像质量评价指标(natural image quality evaluator,NIQE)指标值至多提高0.98、0.22和2.2,运行时间至多提升17.5%,克服了传统算法的“块效应”和“伪吉布斯”效应,增强图像间相关性。将融合图像输入YOLO11s目标检测网络,mAP@0.5达到92.45%,验证了该方法在下游感知任务中的实际增益。综上,所提方法有助于提升自动驾驶系统对低照度、高动态范围环境的感知精度,同步改善行车安全性与通行效率。

Abstract

Aiming at the visual adaptation challenges of autonomous vehicles caused by abrupt illumination changes at highway tunnel portals, a progressive infrared and visible image fusion method in the nonsubsampled shearlet transform (NSST) domain was proposed. The method constructed a multi-scale, multi-directional hierarchical decomposition to obtain coarse-to-fine low-frequency structural information and multi-directional high-frequency details. For low-frequency coefficients, convolutional sparse representation was enhanced by integrating a block-wise processing mechanism with alternating direction method of multipliers (ADMM) optimization, effectively improving global feature consistency. For high-frequency coefficients, spectral edge information was incorporated and text ure details were preserved through a novel activity measure. The fused image was reconstructed via inverse non-subsampled contourlet transform. Experiments on real data from the G22 Ningxia Liupan Mountain Tunnel show that, compared with traditional algorithms, the proposed method improves mutual information (MI), transfer of edge information (Q^AB/F), and natural image quality evaluator (NIQE) by up to 0.98, 0.22, and 2.2, respectively, while reducing runtime by up to 17.5%. It effectively mitigates the “block effect” and “pseudo-Gibbs effect” and enhances inter-image correlation. When fed into the YOLO11s object detection network, the fused images achieve a mAP@0.5 of 92.45%, demonstrating clear benefits for downstream perception tasks. In conclusion, the proposed approach is helpful to enhance the perception accuracy of autonomous driving systems in low-illumination, high-dynamic-range environments, thereby improving driving safety and traffic efficiency.

Graphical abstract

关键词

公路运输 / 图像融合 / 卷积稀疏表示 / 局部能量特征 / 新活性度量

Key words

road transportation / image fusion / convolutional sparse representation / local energy features / novel activity measurement

引用本文

引用格式 ▾

马庆禄, 王琛, 马恋, 赵树恩. 隧道口照度自适应的渐进式多尺度图像融合[J]. 科学技术与工程, 2026, 26(16): 6954-6965 DOI:10.12404/j.issn.1671-1815.2503922

MA Qing-lu, WANG Chen, MA Lian, ZHAO Shu-en. Illumination Adaptive Progressive Multi-scale Image Fusion for Tunnel Portal[J]. Science Technology and Engineering, 2026, 26(16): 6954-6965 DOI:10.12404/j.issn.1671-1815.2503922

登录浏览全文

4963

注册一个新账户忘记密码

准确、实时的视觉感知是自动驾驶的关键技术,也是保障行车安全的重要基础。因此,提升车辆对行车环境的可视性成为当前自动驾驶的热点议题^[1]。然而,一些特殊道路场景,如隧道口,对环境感知的准确性与实时性提出了新挑战。

山区高速公路隧道口由于光照强度突变,导致自动驾驶车辆的视觉感知系统成像后像素的对比度显著增加^[2]。随着红外与可见光图像融合方法的研究深入,为改善自动驾驶车辆的视觉感知系统在光照强度突变的场景中感知环境信息存在的局限性,提供了解决思路。基于深度学习的图像融合方法,通过不同的网络分支进行差异化特征提取,从而捕捉源图像间的模态差异,提升特征表现力^[3]。田博文等^[4]在U-Net的下采样过程中融入mobile-net,提高算法在不同光照下的泛化能力和细节保留能力。刘万军等^[5]结合两个生成对抗网络的同时估计图像的深度信息,取得较好的去雾效果,提高主观视觉质量。基于Transformer的方法,Xian等^[6]在特征融合阶段引入Transformer风格的CoT(contextual Transformer)块,从各级特征中提取丰富的上下文信息。Zhao等^[7]设计了混合Transformer和卷积神经网络(convolutional neural network,CNN)编码器结构,并采用了一种新型的复合注意力融合策略。Yang等^[8]提出通过残差下采样、双注意力融合块和残差重建实现多尺度互补信息整合。Luo等^[9]基于VPDE(variational partial differential equation)模型和VGG(Visual Geometry Group)网络的红外与可见光图像融合方法,结合卷积神经网络的特征提取能力,减少融合图像中的伪影和台阶效应。这些方法能够很好地捕获图像间的全局相互作用和互补信息,但无法针对不同的应用场景。因此,研究者们提出了专门的融合策略。在低照度环境下,Tang等^[10]通过纹理-对比度增强融合网络整合互补信息,实现弱光图像增强与融合的耦合。针对弱光条件下,Diff LL(diffusion-based low-light)算法^[11]和PyDiff (pyramid diffusion)算法^[12]在扩散过程中引入的辅助策略可能影响最终的视觉效果。姚睿等^[13]提出跨模态特征交互融合模块,对红外显著特性和可见光纹理特性进行互补融合,以得到高保真的融合图像。在恶劣光照条件下,基于环境感知的抗干扰融合网络^[14]和场景自适应知识蒸馏方法^[15]提高算法的鲁棒性。强光环境下,张晓东等^[16]构建自编码器融合网络,设计场景分割增强模块对源图像高频特征进行交互式集成,并设计双分支特征融合模块,有效增强了纹理信息和显著性信息。基于图像分解理论,姜迈等^[17]基于局部能量和相对亮度自适应规则对低频分量进行融合,对高频分量采用基于局部空间频率自适应进行融合,以此来改善融合过程中红外热目标不突出、纹理及边缘细节易缺失等问题。武凌霄等^[18]提出了NSST (nonsubsampled shearlet transform)域下结合引导滤波与稀疏表示的融合算法,改善了传统融合算法中细节信息丢失、纹理表现不足以及对比度低下的问题。韩阳等^[19]引入非下采样剪切波变换机制,设计了NSST耦合显著信息加权的图像融合算法。孙磊等^[20]采用NSST进行多尺度分解,利用自适应模糊集、尺度系数分别对低、高频子带进行增强处理,提升了图像的对比度、清晰度。李英超等^[21]和Lü等^[22]采用基于非下采样轮廓波变换的融合方法,利用NSCT的良好的方向选择性和各向异性表达能力,捕获图像中的轮廓和边缘信息。此外,研究者们还提出了多种融合策略与优化技术,如自适应权重分配策略^[23]、多尺度分段的多维自适应核函数分割矩阵^[24]等,这些方法在不同程度上解决了融合中的关键问题,但仍存在计算复杂度高、实时性差、特定场景适应性不足等挑战。

综上所述,针对光线突变,过度曝光以及眩光等问题,现有的融合方法在一定程度上改善了成像效果,但对于图像边缘及空间分布等感知精度问题研究深度不够,且仅针对单一场景下融合图像的质量提升,无法满足自动驾驶车辆在隧道口出入的场景应用。依据NSST提供的多尺度层级结构,现提出一种渐进式的红外与可见光图像融合方法,通过引入改进卷积稀疏表示提升图像细节保留能力和信息融合效果,并利用局部能量特征改善图像对比度和清晰度。该策略不仅符合人类视觉感知的由粗到精机制,也有利于在光照剧烈变化场景下保持结构连贯性与细节丰富性,有助于解决隧道口自动驾驶车辆的感知问题,提升自动驾驶系统的性能。

1 红外与可见光图像融合方法

1.1 图像预处理和特征提取

为更好地保留隧道口图像的边缘纹理信息,提升融合图像的质量。利用对比度受限的自适应直方图均衡化方法与导向滤波算法对红外与可见光图像进行增强与降噪处理。CLAHE (contrast limited adaptive histogram equalization)通过均衡图像整体像素分布增强图像细节,使图像更为清晰。

为更好地满足在隧道场景处理图像时的实时性,使用局部线性模型结合积分图技术以及将中间结果预计算与复用的导向滤波方法对增强后的隧道口红外与可见光图像进行降噪处理。为确保输出结果平滑性良好,将处理后的图像p作为引导图像I,确定局部线性模型中的线性变换系数。求解正则化如式(1)所示。

(1)$ \left\{\begin{array}{l}F\left(a_{k}, b_{k}\right)=\sum_{i \in \omega_{k}}\left[\left(a_{k} I_{i}+b_{k}-p_{i}\right)^{2}+w a_{k}^{2}\right] \\a_{k}=\frac{\sum_{i \in \omega_{k}} I_{i} p_{i}-\mu_{k} \bar{p}_{k}}{|d|\left(\sigma_{k}^{2}+w\right)} \\b_{k}=\bar{p}_{k}-a_{k} \mu_{k}\end{array}\right.$

式(1)中:F(a_k,b_k)为系数(a_k,b_k)引导滤波器表示;I_i为引导图像在位置i处的像素值;p_i为输入图像在位置i处的像素值;${\stackrel{-}{p}}_{k}$为输入图像p在窗口ω_k内的平均值;a_k和b_k分别为输入图像p和引导图像I在窗口的线性常系数;ω_k为像素k为中心局部窗口;$\left|d\right|$为局部窗口ω_k内的像素个数;w为惩罚系数;μ_k、${\sigma }_{k}^{2}$分别为均值和方差。

在实际隧道口场景中,自动驾驶车辆需要应对复杂的光照变化和多方向的特征捕捉。将NSST与NSCT的框架和剪切波变换(shearlet transform, SF)的方向选择性进行结合,将图像f(x)通过非下采样金字塔将图像分解成j个尺度,并通过非下采样方向滤波器组进行方向分解,产生一个低频子带L_j以及一组不同方向细节的高频子带{H_j_,1,H_j_,2,…,H_j_,_n},极大程度地降低计算复杂度;最后,引入具有良好的方向性和尺度适应性的SF增强对图像各向异性特征的表达能力。剪切系数与重构过程可表示为

(2)$ \left\{\begin{array}{l}\psi_{j, k}^{(d)}(\boldsymbol{x})=\sqrt[3 j]{2} \psi^{(d)}\left(\boldsymbol{B}_{d}^{j} \boldsymbol{A}_{d}^{j} x-k\right) \\f(\boldsymbol{x})=\sum_{j, k, d}\left\langle f, \psi_{j, k}^{(d)}\right\rangle \psi_{j, k}^{(d)}(\boldsymbol{x})\end{array}\right.$

式(2)中:ψ⁽^d⁾为剪切波函数;$ \boldsymbol{B}_{d}^{j}$为剪切矩阵;$ \boldsymbol{A}_{d}^{j}$为膨胀矩阵;x为空间位置;k、d分别为空间位置和方向;<f,${\psi }_{j,k}^{\left(d\right)}$>为f(x)和剪切波基${\psi }_{j,k}^{\left(d\right)}$间的内积。

NSST高效的计算速度和优秀的方向敏感特征捕捉能力,适用于隧道口红外与可见光图像融合,确保融合图像的质量与实时性。

1.2 稀疏表示融合方法

针对隧道口光照环境的高度动态性,基于稀疏表示的红外与可见光图像融合方法具有显著优势。核心在于构造过完备字典以及稀疏编码^[25]。利用稀疏编码的结果,采用融合规则或权重将两幅图像的稀疏表示融合,通过融合后的稀疏表示系数输出融合结果,以实现红外与可见光图像的信息融合与增强。红外与可见光图像的稀疏表示系数如式(3)所示。

(3)$ \left\{\begin{array}{ll}\alpha_{i}=\underset{\alpha_{i}}{\operatorname{argmin}}\left\|\alpha_{i}\right\|_{0}, & \text { s.t. }\left\|x_{i}-D_{1} \alpha_{i}\right\|_{2}^{2} \leqslant \varepsilon \\\alpha_{v}=\underset{\alpha_{v}}{\operatorname{argmin}}\left\|\alpha_{v}\right\|_{0}, & \text { s.t. }\left\|x_{v}-D_{h} \alpha_{v}\right\|_{2}^{2} \leqslant \varepsilon\end{array}\right.$

式(3)中:α_i、α_v分别为红外与可见光图像稀疏表示系数;D_l、D_h分别为低维与高维字典;x_i、x_v分别为红外与可见光图像稀疏表示系数的解;ε为允许的重构误差阈值。

在此基础上卷积稀疏表示方法不仅将图像表示为原子的稀疏线性组合,还利用卷积结构,更好地捕捉图像中的局部和全局空间信息,有助于提高融合的准确性。

卷积稀疏表示在处理全局特征转移时,主要关注局部特征的表示,难以保持全局一致性。导致融合结果出现不连贯或局部特征与全局特征不匹配的情况。需要在融合细节特征分量时改进。

1.3 低频分量融合改进

隧道口红外与可见光图像融合时,结合加权局部能量和局部能量比策略,精确保留图像中的基础形状和轮廓信息,在不牺牲细节的前提下实现低频分量的有效融合。加权后局部能量会导致融合图像对比度降低。因此,引入局部特征能量比,以保留红外图像关键特征信息,如式(4)所示。

(4)$ \left\{\begin{aligned}E(x, y)= & \sum_{i=-r j=-r}^{r} \sum^{r} \boldsymbol{A}(i+r+1, j+r+1) \times \\& \boldsymbol{L}^{2}(x+i, y+j) \\Q(x, y)= & \frac{E_{\mathrm{i}}(x, y)}{E_{\mathrm{v}}(x, y)}\end{aligned}\right.$

式(4)中:E(x,y)为红外与可见光图像加权后的局部能量;L(x,y)为位置(x,y)处由NSST分解得到的低频子带;A(i,j)为权重矩阵;r为窗口半径;Q(x,y)为局部能量特征比,其数值越大,该区域的像素越有可能属于目标区域;E_i(x,y)、E_v(x,y)分别为红外图像和可见光图像在(x,y)位置处的局部能量。

通过设定阈值可自适应调节低频分量系数,以在复杂场景中融合不同光谱数据时更好地突出特定的对象特征,如式(5)所示。

(5)$ I_{\mathrm{f}}^{\mathrm{a}}=\left\{\begin{array}{l}C_{\mathrm{i}}(x, y), \\\quad Q(x, y)>T_{1} \text { 且 } E_{\mathrm{i}}(x, y)>T_{2} \\u_{\mathrm{i}} C_{\mathrm{i}}(x, y)+u_{\mathrm{v}} C_{\mathrm{v}}(x, y), \\\quad \text { 其他 }\end{array}\right.$

式(5)中:I^a_f为低频基础分量系数;C_i(x,y)、C_v(x,y)分别为红外与可见光图像在(x,y)位置处的低频基础分量值;E_i(x,y)为红外图像在(x,y)位置处的局部能量;T₁、T₂分别为高、低阈值;u_i、u_v分别为红外和可见光图像低频基础分量的权重因子。

为完整保留图像细节,需要对低频图像进行细节特征提取。因此需要保留整幅图像的高亮特征,如式(6)所示。

(6)

$\left\{\begin{array}{l}{T}_{1}=\stackrel{-}{Q}(x,y)+{k}_{1}S\left[Q\right(x,y\left)\right]\\ {T}_{2}={\stackrel{-}{E}}_{i}(x,y)+{k}_{2}S\left[{E}_{i}\right(x,y\left)\right]\\ {u}_{i}=\frac{{E}_{i}(x,y)}{{E}_{i}(x,y)+{k}_{3}{E}_{i}(x,y)}\\ {u}_{v}=\frac{{k}_{3}{E}_{v}(x,y)}{{E}_{v}(x,y)+{k}_{3}{E}_{v}(x,y)}\end{array}\right.$

式(6)中:$\stackrel{-}{Q}$(x,y)、S[Q(x,y)]分别为Q(x,y)的均值和标准差;${\stackrel{-}{E}}_{i}$(x,y)为红外图像局部能量E_i(x,y)的均值;E_v(x,y)为可见光图像在(x,y)位置处的局部能量;k₁、k₂、k₃为经验参数,根据文献[26]多次实验,k₁=0.5,k₂=1.5,k₃=4。

为优化全局问题,将边缘特征扩展到整个区域,提出一种改进算法,将全局优化问题拆分成多个局部问题,通过局部子问题的求解逐步构建整体图像的最终特征表达,实现对图像特征从边缘到整体的有效转移和全局最优化,并利用ADMM(alternating direction method of multipliers)解凸优化,模型变量定义为{y_m},如式(7)所示。

(7)$ \left\{\begin{array}{l}\operatorname{argmin} \frac{1}{2}\left\|\sum_{m} d_{m} * x_{m}-s\right\|_{2}^{2}+\lambda \sum_{m}\left\|x_{m}\right\|_{1} \\\underset{\left\{x_{m}\right\},\left\{y_{m}\right\}}{\operatorname{argmin}} \frac{1}{2}\left\|\sum_{m} d_{m} * x_{m}-s\right\|_{2}^{2}+\lambda \sum_{m}\left\|y_{m}\right\|_{1} \\\min \frac{1}{2}\left\|\sum_{m} d_{m} * x_{m}-s\right\|_{2}^{2}+\frac{\rho}{2} \sum_{m}\left\|x_{m}-y_{m}+u_{m}\right\|_{2}^{2}\end{array}\right.$

式(7)中:s为输入待编码图像;d_m为字典中第m个元素;x_m为与d_m相关联的系数;λ为正则化系数;*为卷积操作;{y_m}为辅助变量;ρ为正则化系数;u_m为内部乘子。

根据ADMM求解,如式(8)所示。

(8)$ \left\{\begin{aligned}\left\{y_{m}\right\}^{k+1}= & \operatorname{argmin} \lambda \sum_{m}\left\|y_{m}\right\|_{1}+ \\& \frac{\rho}{2} \sum_{m}\left\|x_{m}^{(k+1)}-y_{m}+u_{m}^{(k)}\right\|_{2}^{2} \\T_{\mathrm{s}}(g, u)= & f_{\mathrm{s}}(g) \max \{0,|g|-u\}^{\mathrm{a}}(g)\end{aligned}\right.$

式(8)中:T_s为软阈值算子函数,用于对辅助变量进行稀疏化处理;g为待处理的输入变量,在本次迭代更新中对应;u为阈值参数,由正则化系数和步长决定;f_s(g)为sgn符号函数。

利用l₂范数与u求解更新后对应的特征映射{x_m}^k⁺¹如式(9)所示。

(9)$ \begin{array}{c}\left\{x_{m}\right\}^{k+1}=\underset{\left.x_{m}\right\}}{\operatorname{argmin}} \frac{1}{2}\left\|\sum_{m} d_{m} * x_{m}-s\right\|_{2}^{2}+ \\\frac{\rho}{2} \sum_{m}\left\|x_{m}-y_{m}^{(k)}+u_{m}^{(k)}\right\|\end{array}$

再利用ADMM算法迭代求出更新后的内部乘子${u}_{m}^{k+1}$,结合${x}_{m}^{k+1}$和${y}_{m}^{k+1}$,得到${u}_{m}^{k+1}$=${u}_{m}^{k}$+${x}_{m}^{k+1}$-${y}_{m}^{k+1}$。空间域下需要复杂卷积运算完成的过程,利用离散傅里叶变换简化为D_mx_m=d_m*x_m。将${\hat{D}}_{m}$、${\widehat{x}}_{m}$、$\widehat{s}$、${\widehat{z}}_{m}$更新为D_m、x_m、s、Z_m;同时令∂f(x)/∂x=0,将F($\widehat{x}$)从利用快速傅里叶变换将问题简化至频域运算,如式(10)所示。

(10)$ \left\{\begin{array}{l}\underset{\left.x_{m}\right\}}{\operatorname{argmin}} \frac{1}{2}\left\|\sum_{m} \hat{D}_{m} * \hat{x}_{m}-s\right\|_{2}^{2}+ \\\quad \frac{\rho}{2} \sum_{m}\left\|\hat{x}_{m}-\hat{z}_{m}\right\|_{2}^{2}\left(\hat{D}^{\mathrm{T}} \hat{\boldsymbol{D}}+\rho \boldsymbol{I}\right) \hat{\boldsymbol{x}}= \\\quad \hat{\boldsymbol{D}}^{\mathrm{T}} \hat{s}+\boldsymbol{\tau} \\F(\hat{\boldsymbol{x}})=\frac{F\left(\hat{\boldsymbol{D}}^{\mathrm{T}}\right) F(\hat{s})+F(\boldsymbol{\tau})}{|F(\hat{\boldsymbol{D}})|^{2}+\rho}\end{array}\right.$

式(10)中:$ \hat{\boldsymbol{D}}=\left(\begin{array}{llllll}\hat{D}_{0} & \hat{D}_{1} & \cdots & \hat{D}_{m} & \cdots & \hat{D}_{n}\end{array}\right)$;$ \hat{\boldsymbol{x}}=\left(\hat{x}_{0}\right.\left.\hat{x}_{1} \quad \cdots \hat{x}_{m} \quad \cdots \hat{x}_{n}\right)^{\mathrm{T}}$;$ \hat{\boldsymbol{z}}=\left(\begin{array}{llllll}\hat{z}_{0} & \hat{z}_{1} & \cdots & \hat{z}_{m} & \cdots & \hat{z}_{n}\end{array}\right)^{\mathrm{T}}$;D为N×N的字典矩阵;τ为在频域运算中由辅助变量与拉格朗日乘子构建的常数项向量,旨在将时域的约束优化问题转化为频域的正规方程求解;I为单位矩阵。

传统的稀疏表示在光照突变区域易产生块状伪影,导致隧道口边缘目标断裂。通过改进的卷积稀疏表示方法进行分块处理,将图像划分为多个局部区域,针对各区域特性自适应调整参数,有效提高在复杂环境下的图像处理过程中对图像细节的保留能力,弥补传统稀疏表示方法在保持细节信息的不足,使算法能够针对隧道口光照突变导致的局部过曝,提升算法的细节保留能力。同时,利用多尺度分解策略获取不同尺度的特征,通过跳跃连接机制融合不同尺度的稀疏表示系数,使算法能够同时保留隧道口场景中的多维度信息,从宏观轮廓到微观纹理更全面地表示图像特征,增强了特征描述的丰富性与完整性。改进的卷积稀疏表示过程如图1所示。

1.4 高频分量融合改进

在隧道口场景中,光照突变会导致红外与可见光图像的质量和细节信息大幅波动。通过对高频信息的选择性强化,在不增加计算复杂度的前提下,提高融合图像的整体质量和细节表现如式(11)所示。

(11)$ \left\{\begin{array}{l}M_{N}(x, y)=[P(x, y)]^{\alpha_{1}}[L(x, y)]^{\beta_{1}}[E(x, y)]^{\gamma_{1}} \\G(x, y)=\left\{\begin{array}{ll}1, & S_{i}(x, y)>\frac{\widetilde{M} \widetilde{N}}{2} \\0, & \text { 其他 }\end{array}\right. \\H_{\mathrm{F}}=\left\{\begin{array}{ll}H_{\mathrm{A}}, & L(x, y)=1 \\H_{\mathrm{B}}, & \text { 其他 }\end{array}\right.\end{array}\right.$

式(11)中:P(x,y)和L(x,y)分别为图像锐度值与领域比;α₁、β₁和γ₁的取值分别为1、2、2^[27];M_N(x,y)为综合了锐度、领域比和能量信息的低频融合系数,用于后续的低频分量融合;G(x,y)为空间注意力掩码,决定哪些区域需要加强高频率信息;H_F为高频融合系数的决策规则,决定了从哪个源图像中提取高频信息;H_A分别为红外图像的高频分量;H_B分别为可见光图像的高频分量;S_i(x,y)为像素点为i、大小为$\widetilde{M} \times \widetilde{N}$滑动窗。

(12)$M_{N_{i}}(x, y) \geqslant \max M_{N_{j}}(x, y), \quad i, j \in(1, K)$

式(12)中:M_{N_i}(x,y)为在空间位置(x,y)处第i个源图像的综合低频特征度量值;M_{N_j}(x,y)为在空间位置(x,y)处第j个源图像的综合低频特征度量值;K为源图像的总数量;i,j为源图像的索引编号。

对红外与可见光源图像注入边缘信息,优化纹理特征的保留过程,使融合图像更加富有层次感。不同光谱提取的红外与可见光高频子带信息如式(13)所示。

(13)$I_{h_{i}}=\int_{\lambda_{i}}^{\lambda_{i+1}} L(\lambda) R_{h_{i}}(\lambda) \tau_{\mathrm{L}, h_{i}}(\lambda) \tau_{\mathrm{F}, h_{i}}(\lambda) S(\lambda) \mathrm{d} \lambda$

式(12)中:I_{h_i}为高频子带中h_i通道的信号,i∈[1,3],多次实验得i=2最优;L(λ)为隧道内外光源的功率分布;R_{h_i}(λ)为隧道图像光谱反射率;τ_{L,h_i}(λ)、τ_{F,h_i}(λ)分别为红外和可见光传感器镜头和滤光片的光谱透光率;S(λ)为归一化后的光谱灵敏度。

通过以上改进,可充分体现图像多尺度、多方向上的边缘细节,并提升融合图像的整体质量。

1.5 融合算法

自动驾驶车辆视觉感知环境复杂,特别是在隧道口等特殊场景中,光线条件的极端变化导致此类问题突出。依据改进的高、低频分量融合方法提出图像融合框架以提高自动驾驶车辆环境感知系统在特殊环境下的性能。

在处理复杂光照环境下的图像融合问题时,利用CLAHE与导向滤波对原始图像进行增强与降噪预处理。CLAHE算法通过限制对比度来抑制噪声的放大,同时使用像素插值填充图像变换时像素之间的空隙,有效提升图像对比度并增强细节。预处理后的图像通过NSST分解得到两个低频子图与多个高频子图,NSST变换解决了下采样操作带来的频谱混叠现象。对于低频系数部分,利用改进的卷积稀疏表示实现低频细节特征分量的处理,还原图像间的连续性,通过分块机制与ADMM优化提升全局特征一致性;同时应用局部能量特征策略实现低频基础分量的处理,通过强调局部能量信息,突显图像中重要结构,提高对目标的敏感性;对于高频系数部分,引入光谱边缘信息并基于新活性度量方法实现高频子图的处理,使得融合过程更加灵活和智能,多尺度捕捉方向纹理细节,保留图像中的局部细节和边缘特征;最后对低频融合系数和高频融合系数进行重构,得到融合图像。实验方法为CSR-SE-Energy(以下简称CSE方法),能够有效提高在复杂光照环境下的图像质量,为后续的图像分析和处理提供更加可靠的数据支持。

2 实验

2.1 实验环境

实验系统采用萤石互联网红外监控摄像头,萤石无线互联网电池摄像机C3A,分别将摄像机置于普通乘用车内,虽未集成完整自动驾驶系统,但所采集场景为典型自动驾驶测试路段。所提CSE方法定位为自动驾驶感知前端的多模态图像预处理模块,其输出融合图像可直接输入下游目标检测或语义分割网络,提升自动驾驶系统在光照突变环境下的鲁棒性。选取环境照度由亮到暗的隧道入口段,不均匀照度下的隧道中间段和环境照度由暗到亮的隧道出口段。累计采集有效视频数据120 h,经Adobe After Effects帧提取与干扰去除后,获得极端光照突变样本417组,涵盖晴天、阴天、雨雪及晨昏时段。所有实验均在NVIDIA RTX4060 GPU上进行。

实验依托G22宁夏六盘山特长隧道,对CSE图像融合方法进行研究。隧道全长9.485 km,限速60 km/h,起讫点里程K1605+008~K1614+360,隧道处于青兰高速公路东毛段,隧道口由于光照强度突变,导致黑、白洞效应显著,对自动驾驶感知功能提出重大挑战。将隧道口红外与可见光图像输入,这些图像涵盖不同时间段、不同天气状况下的场景,包括晴天、阴天以及早晚等光线变化明显的时段,以确保实验结果具有广泛的代表性和适用性。利用多种图像融合方法分别进行对比分析。为全面、客观地评估CSE图像融合方法的性能,融合实验选取互信息(mutual information, MI)、空间频率(spatial frequency, SF)、平均梯度(average gradient, AG)、边缘信息传递量(transfer of edge information, Q^AB/F)、信息熵(information entropy, IE)、自然图像质量评价指标(natural image quality evaluator,NIQE)共6种具有代表性的客观指标进行验证。六盘山隧道口光线突变情况下车辆实际运行场景融合情况如图2所示。

2.2 实验结果与分析

为验证CSE方法的有效性,对隧道出入口图像分别用基于卷积神经网络(CNN)、基于空间频域且采用低频加权平均与高频绝对值取大融合规则的SEQ(SF-energy-Q)、基于分块过完备稀疏表示且设置3层小波分解(小波基为bior2.4)的SR-C&L(简称SL)以及CSE进行融合实验。作为对比算法,CNN作为深度学习代表方法虽可学习特征映射,但在隧道口复杂光照下泛化能力受限,SEQ计算效率高但特征提取维度单一,难以应对多方向纹理,SL通过分块稀疏表示局部特征,却存在全局一致性不足的问题。实验中,SL的3层小波分解层数与bior2.4基函数选取,旨在适配隧道口边缘特征提取;SEQ的融合规则则基于空间频域经典策略。为简化表述,令下标1表示入口图像,下标2表示出口图像,实验结果SF空间分布如图3所示,该指标可量化反映图像细节丰富度与全局分布均匀性,为算法性能对比提供直观依据。

由图3(a)~图3(d)的SF的空间像素分布可知,在入口处使用CNN、SL和CSE算法进行融合图像时的像素最大值均接近250 px,其中使用CNN算法时的最大值接近260 px,但由于传统算法SF三维图数值的波动范围大,空间分布不均匀。说明局部范围内存在噪声导致SF异常升高。由图3(e)~图3(h)可知,出口处的融合图像中也出现类似情况,使用CNN、SL和CSE算法进行融合图像时,SF的像素空间分布的均匀性与一致性较差,而CSE方法中SF指标的像素分布均匀,数值较大说明CSE方法能够更好地保留可见光图像的纹理信息,使得融合图像在纹理细节呈现上更为出色。亮度特征分析可提供图像质量的信息,尤其是亮度一致性和图像整体视觉效果的优劣。绘制各方法融合图像与原图像的亮度特征对比如图4所示。

由图4(a)和图4(b)可知,入口原图像经各融合方法处理后,SEQ与SL的频率最大值分别由167 px移至155 px和93 px,亮度分布向暗方向偏移,说明两种方法在融合中丢失了部分高频细节,导致图像整体偏暗。由图4(c)和图4(d)可知,SL与CSE的频率最大值由167 px移至175 px和219 px,均呈现向较亮部分偏移,说明融合保留了更多高频细节。出口原图像由于白洞效应显著,频率最大值分布在231 px,使得洞外细节特征难以识别。经过各融合方法处理后,传统融合方法频率最大值分别分布在245、240、250 px,而CSE方法为92 px,说明CSE方法相较于传统方法在亮度特征改善方面表现出显著优势,有效地减轻了白洞效应。融合图像在亮度表现上更符合实际视觉需求。为进一步分析图像属性在整个空间上的清晰度与纹理特征保留情况,同时减少或消除拼接缝、光晕等不良效应。绘制AG值空间分布如图5所示。

由图5(a)~图5(c)和图5(e)~图5(g)可知,传统算法AG普遍偏小,且整体分布不均匀,说明传统算法在处理图像时,对细节的展示效果较差,可能存在过曝、噪声干扰以及处理过程引入偏差等问题,导致图像清晰度不足,边缘和纹理细节模糊不清。而CSE方法AG最高,数值分布均匀,对图像清晰度提升效果最明显,能够清晰地展现图像的边缘和纹理细节。为更全面且客观地反映CSE方法在隧道口场景相较于传统算法的性能优势,将其与上述三种算法CNN、SL、SEQ以及光谱边缘图像融合(spectral edge, SE)和基于多尺度分解的NSST-GFF共5种算法进行比较,将实验性能指标值汇总求其均值,并确定各融合方法的运行速度,统计实验对应的6种融合方法的平均运行时间RT。隧道口融合图像性能指标评价如表1所示。

由表1可知,虽然CSE方法出入口融合结果在指标MI₁、${\mathrm{Q}}_{1}^{\mathrm{A}\mathrm{B}/\mathrm{F}}$、NIQE₁中分别以3.58、0.61、7.43占据优势,表明其能够有效增强红外与可见光特征的信息互补性,并维持更优的自然图像质量。尽管CSE在IE1指标上以6.91略低于SEQ算法的6.92,但结合MI与Q^AB/F指标可发现,其信息传递效率的提升弥补了熵值的微小差异,印证了多指标综合优化的必要性。在实时性方面,CSE算法在隧道出口场景下的单帧处理时间为0.33 s,相较于处理耗时最长的传统方法SEQ,单帧处理时间减少0.07 s,加速比达17.5%。在入口场景下,CSE处理时间为0.34 s,与CNN、SL等方法相当,优于SEQ的0.39 s。综合来看,CSE在保证融合质量的同时,满足自动驾驶系统对感知模块实时性的要求(通常需<0.5 s/帧),并为后续目标检测与决策预留计算时间。说明CSE方法能为自动驾驶系统在隧道口场景下提供更优质的图像信息,且不会降低感知系统的运行效率,有效提升自动驾驶系统的感知性能和决策准确性,对隧道口突发障碍物的响应能力具有实际工程价值。为验证CSE方法融合结果对自动驾驶感知任务的实际增益,将融合图像作为输入,接入主流目标检测模型YOLO11s。在隧道口样本选取10组图像进行实验,评估其对车辆目标的检测性能。对比算法选用近年来高性能的融合算法,包括:DMFF^[28],CrossFuse^[3],DIVFusion^[10]。评价指标采用平均精确率mAP@0.5和召回率R,结果如图6所示。

从图6(a)、图6(b)可以看出,CSE方法在精确率与召回率两项指标上均取得最优表现。其中,CSE的精确率约为92.45%,召回率约为92.20%,均高于其他对比方法。与近年来提出的先进算法对比,进一步验证了所提CSE方法的有效性与优越性。CSE方法在复杂光照变化场景下仍能保持较高的检测准确率和稳定性,说明其融合策略能够更充分地保留关键结构与纹理信息,为自动驾驶系统中目标检测任务提供更具判别力的特征表达。

3 结论

(1)针对公路隧道口光照突变引发的“黑洞”与“白洞”效应,提出一种NSST域下渐进式的多尺度图像融合方法(CSE),将融合过程分解为低频结构与高频细节的协同优化。低频部分,通过将全局问题分解为多个局部子解,利用分块处理机制与ADMM优化相结合的卷积稀疏表示模型,有效解决了传统稀疏表示模型中存在的非高斯噪声的高敏感性和细节提取能力不足的问题。高频部分,结合光谱边缘信息与新活性度量方法实现融合策略改进,通过多源图像中的边缘信息注入,提取高频子带中各尺度、位置和方向的边缘细节信息,显著增强了多方向纹理与边缘细节的保留能力,更全面地实现隧道图像能量的提取,契合视觉信息由整体到局部的感知规律。

(2)实验结果表明,CSE方法的融合图像相较于传统算法MI、Q^AB/F和NIQE指标提升了37.7%、60.5%和42.1%;将CSE方法接入自动驾驶下游检测网络并与近年来性能优异的算法相比,精确率和召回率均处于最优,说明所提算法不仅使融合图像亮度更高、纹理细节丰富,视觉效果良好,可以有效提升自动驾驶车辆在隧道等光线突变的封闭环境中行驶时的成像与识别能力,改善车辆对行驶中遇到的“黑洞”“白洞”问题的适应能力,提高自动驾驶汽车的驾驶安全性。

(3)所提CSE方法可作为自动驾驶多模态感知系统的前端图像增强模块,部署于车载计算平台。其输出融合图像可无缝接入现有目标检测或语义分割网络,仅通过提升输入质量即可增强系统在隧道口等极端光照场景下的环境理解能力。在后续的工作中,可以通过利用预计算和缓存技术,进一步提升图像融合过程的计算速度和性能。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	刘倩, 王雪松, 王长君. 基于自动驾驶安全视域的交叉口右转适驾性研究[J]. 中国公路学报, 2025, 38(3): 31-47.

[2]	Liu Qian, Wang Xuesong, Wang Changjun. Readiness research on right turns at intersections based on autonomous driving safe sight zones[J]. China Journal of Highway and Transport, 2025, 38(3): 31-47.

[3]	马恋, 马庆禄, 付冰琳, 等. 低照度隧道口视觉融合技术研究[J]. 光子学报, 2022, 51(12): 334-346.

[4]	Ma Lian, Ma Qinglu, Fu Binglin, et al. Visual fusion technology of dim-lightening tunnel entrance[J]. Acta Photonica Sinica, 2022, 51(12): 334-346.

[5]	Li H, Wu X J. CrossFuse: a novel cross attention mechanism based infrared and visible image fusion approach[J]. Information Fusion, 2024, 103: 102147.

[6]	田博文, 丁建伟, 户子睿. 融合零参考深度曲线的低照度图像增强与去噪算法[J]. 科学技术与工程, 2025, 25(2): 704-712.

[7]	Tian Bowen, Ding Jianwei, Hu Zirui. Low-light image enhancement and denoising algorithm integrating zero-reference depth curves[J]. Science Technology and Engineering, 2025, 25(2): 704-712.

[8]	刘万军, 程裕茜, 曲海成. 基于生成对抗网络的图像自增强去雾算法[J]. 系统仿真学报, 2024, 36(5): 1093-1106.

[9]	Liu Wanjun, Cheng Yuqian, Qu Haicheng. Image self-enhancement de-hazing algorithm combined with generative adversarial network[J]. Journal of System Simulation, 2024, 36(5): 1093-1106.

[10]	Xian R, Xiong X, Peng H, et al. Feature fusion method based on spiking neural convolutional network for edge detection[J]. Pattern Recognition, 2024, 147: 110112.

[11]	Zhao Y, Zheng Q, Zhu P, et al. TUFusion: a transformer-based universal fusion algorithm for multimodal images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2023, 34(3): 1712-1725.

[12]	Yang G, Li J, Lei H, et al. A multi-scale information integration framework for infrared and visible image fusion[J]. Neurocomputing, 2024, 600: 128116.

[13]	Luo D, Liu G, Bavirisetti D P, et al. Infrared and visible image fusion based on VPDE model and VGG network[J]. Applied Intelligence, 2023, 53(21): 24739-24764.

[14]	Tang L, Xiang X, Zhang H, et al. DIVFusion: darkness-free infrared and visible image fusion[J]. Information Fusion, 2023, 91: 477-493.

[15]	Jiang H, Luo A, Fan H, et al. Low-light image enhancement with wavelet-based diffusion models[J]. ACM Transactions on Graphics (TOG), 2023, 42(6): 1-14.

[16]	Zhou D, Yang Z, Yang Y. Pyramid diffusion models for low-light image enhancement[J]. arXiv Preprint, arXiv: 2305.10028,2023.

[17]	姚睿, 王凯, 郭浩帆, 等. 基于跨模态特征交互和多尺度重建的红外与可见光图像融合[J]. 红外与激光工程, 2025, 54(8): 269-280.

[18]	Yao Rui, Wang Kai, Guo Haofan, et al. Infrared and visible image fusion based on cross-modal feature interaction and multi-scale reconstruction[J]. Infrared and Laser Engineering, 2025, 54(8): 20250210.

[19]	王爱侠, 胡傲杰, 闫爱云, 等. 基于环境光感知和红外特征分层引导的图像融合网络[J]. 控制与决策, 2025, 40(10): 3177-3189.

[20]	Wang Aixia, Hu Aojie, Yan Aiyun, et al. An image fusion network based on ambient light awareness and infrared feature layer guidance[J]. Control and Decision, 2025, 40(10): 3177-3189.

[21]	蔡烁, 姚玄石, 唐远志, 等. 基于场景自适应知识蒸馏的红外与可见光图像融合[J]. 电子与信息学报, 2025, 47(4): 1150-1160.

[22]	Cai Shuo, Yao Xuanshi, Tang Yuanzhi, et al. Scene-adaptive knowledge distillation-based fusion of infrared and visible light images[J]. Journal of Electronics & Information Technology, 2025, 47(4): 1150-1160.

[23]	张晓东, 张殿伟, 李媛媛, 等. 掩码引导的二阶段红外与可见光图像融合网络[J]. 光学学报, 2025, 45(15): 174-184.

[24]	Zhang Xiaodong, Zhang Dianwei, Li Yuanyuan, et al. Mask-guided two-stage infrared and visible image fusion network[J]. Acta Optica Sinica, 2025, 45(15): 174-184.

[25]	姜迈, 沙贵君, 李宁. 结合tetrolet与红外显著性特征提取的红外与可见光融合[J]. 科学技术与工程, 2022, 22(30): 13398-13405.

[26]	Jiang Mai, Sha Guijun, Li Ning, et al. Infrared and visible light images fusion based on tetrolet transform and infrared saliency feature extraction[J]. Science Technology and Engineering, 2022, 22(30): 13398-13405.

[27]	武凌霄, 康家银, 姬云翔. NSST域下基于引导滤波与稀疏表示的红外与可见光图像融合[J]. 红外技术, 2023, 45(9): 915-924.

[28]	Wu Lingxiao, Kang Jiayin, Ji Yunxiang. Infrared and visible image fusion based on guided filter and sparse representation inNSST domain[J]. Infrared Technology, 2023, 45(9): 915-924.

[29]	韩阳, 杨华. 基于非下采样剪切波变换与显著信息加权的图像融合算法[J]. 科学技术与工程, 2021, 21(17): 7224-7229.

[30]	Han Yang, Yang Hua. An image fusion algorithm based on nonsubsampled shearlet transform coupled with significant information weighting[J]. Science Technology and Engineering, 2021, 21(17): 7224-7229.

[31]	孙磊, 唐倩, 廖一鹏, 等. 浮选泡沫低照度图像颜色深度编解码校正及多尺度增强[J]. 光学精密工程, 2025, 33(10): 1609-1626.

[32]	Sun Lei, Tang Qian, Liao Yipeng, et al. Multi-scale enhancement and color depth codec correction of flotation foam low illumination images[J]. Optics and Precision Engineering, 2025, 33(10): 1609-1626.

[33]	李英超, 赵喆浩, 王祺, 等. 面向地物混杂背景的偏振光谱图像融合方法[J]. 中国光学(中英文), 2024, 17(5): 1098-1111.

[34]	Li Yingchao, Zhao Zhehao, Wang Qi, et al. Polarization spectral image fusion method for hybrid backgrounds of ground objects[J]. Chinese Optics, 2024, 17(5): 1098-1111.

[35]	Lü F, Liu X, Chen L, et al. Low-amplitude structure recognition method based on non-subsampled contourlet transform[J]. Petroleum Science, 2024, 21(5): 3062-3078.

[36]	Tang H, Liu G, Qian Y, et al. EgeFusion: towards edge gradient enhancement in infrared and visible image fusion with multi-scale transform[J]. IEEE Transactions on Computational Imaging, 2024, 10: 385-398.

[37]	熊智飞, 沈疆海. 基于多维自适应滤波与泊松融合的多聚焦图像融合算法[J]. 科学技术与工程, 2023, 23(24): 10427-10436.

[38]	Xiong Zhifei, Shen Jianghai. A multi-focus image fusion algorithm based on multidimensional adaptive filtering and poisson fusion[J]. Science Technology and Engineering, 2023, 23(24): 10427-10436.

[39]	吴一非, 杨瑞, 吕其深, 等. 红外与可见光图像融合: 统计分析, 深度学习方法和未来展望[J]. 激光与光电子学进展, 2024, 61(16): 42-60.

[40]	Wu Yifei, Yang Rui, Lü Qishen, et al. Infrared and visible image fusion: statistical analysis, deep learning approaches and future prospects[J]. Laser & Optoelectronics Progress, 2024, 61(16): 42-60.

[41]	崔晓荣, 沈涛, 黄建鲁, 等. FABEMD和改进局部能量窗口的红外中波和长波图像融合[J]. 光谱学与光谱分析, 2021, 41(7): 2043-2049.

[42]	Cui Xiaorong, Shen Tao, Huang Jianlu, et al. Infrared mid-wave and long-wave image fusion based on FABEMD and improved local energy window[J]. Spectroscopy and Spectral Analysis, 2021, 41(7): 2043-2049.

[43]	王昭, 杜庆治, 龙华, 等. 基于CSR和能量特征的红外与可见光图像融合[J]. 激光与红外, 2021, 51(8): 1088-1096.

[44]	Wang Zhao, Du Qingzhi, Long Hua, et al. Infrared and visible image fusion based on CSR and energy features[J]. Laser & Infrared, 2021, 51(8): 1088-1096.