一种面向高级视觉任务的双语义引导红外与可见光图像融合框架

李世威; 田林博; 刘锟; 谢流舟; 王建强

doi:10.12404/j.issn.1671-1815.2507158

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (17) :7365-7388 DOI: 10.12404/j.issn.1671-1815.2507158

自动化技术、计算机技术

一种面向高级视觉任务的双语义引导红外与可见光图像融合框架

李世威 ¹^,² ,
田林博 ¹ ,
刘锟 ¹ ,
谢流舟 ¹ ,
王建强 ¹^,²

作者信息 +

Dual-semantic-guided Fusion Framework for Infrared and Visible Images toward Advanced Vision Tasks

LI Shi-wei ¹^,² ,
TIAN Lin-bo ¹ ,
LIU Kun ¹ ,
XIE Liu-zhou ¹ ,
WANG Jian-qiang ¹^,²

Author information +

文章历史 +

摘要

为充分融合红外与可见光图像的互补信息,提升融合结果的特征保留性与任务适应性,提出了一种增强特征与Transformer集成的双语义图像融合方法(enhancement-feature transformer-integrated dual semantic image fusion, ETDFusion)。通过设计红外与可见光特征增强模块,分别强化目标边缘与亮度细节;构建卷积神经网络(convolutional neural networks,CNN)与视觉Transformer(vision Transformer,ViT)混合架构,实现局部特征提取与全局依赖建模的协同优化;并引入语义分割与目标检测双重约束,构建双语义损失函数,结合三阶段训练策略,有效引导网络学习具有强语义结构的融合特征。结果表明:该方法生成的融合图像在细节保留与目标显著性方面具有更高的视觉质量,在多项主客观评价指标上均优于现有主流算法并在下游语义分割任务中表现出显著的性能提升。可见,所提出的ETDFusion网络能够在多模态信息互补与高层视觉任务适配之间实现良好平衡,为红外与可见光融合提供了一种具有工程实用性的新技术途径,可进一步应用于安防监测、智能交通与自动驾驶等复杂环境的感知任务。

Abstract

In order to fully integrate the complementary information of infrared and visible images and improve the feature preservation and task adaptability of fusion results, an enhancement-feature and Transformer-integrated dual-semantic image fusion method (enhancement-feature transformer-integrated dual semantic image fusion, ETDFusion) was proposed to investigate multimodal image fusion. Feature enhancement modules were designed to strengthen the edge details of infrared images and the brightness information of visible images. A hybrid architecture combining convolutional neural network(CNN) and Vision Transformer was constructed to achieve coordinated optimization of local feature extraction and global dependency modeling. In addition, a dual-semantic loss function was introduced by incorporating semantic segmentation and object detection constraints, and a three-stage training strategy was employed to guide the network in learning fusion features with strong semantic structures. The results show that the proposed method produces fused images with higher visual quality in terms of detail preservation and target saliency, and achieves superior performance to existing algorithms on multiple subjective and objective metrics. It is concluded that the ETDFusion network effectively balances multimodal information complementation and high-level visual task adaptation, providing an engineering-feasible technical pathway for infrared and visible image fusion. It can be further applied to perception tasks in complex environments such as security monitoring, intelligent transportation, and autonomous driving.

Graphical abstract

关键词

红外与可见光图像融合 / 特征增强 / 视觉Transformer / 双语义引导 / 任务驱动评价

Key words

infrared and visible image fusion / feature enhancement / vision Transformer / dual-semantic guidance / task-driven evaluation

引用本文

引用格式 ▾

李世威, 田林博, 刘锟, 谢流舟, 王建强. 一种面向高级视觉任务的双语义引导红外与可见光图像融合框架[J]. 科学技术与工程, 2026, 26(17): 7365-7388 DOI:10.12404/j.issn.1671-1815.2507158

LI Shi-wei, TIAN Lin-bo, LIU Kun, XIE Liu-zhou, WANG Jian-qiang. Dual-semantic-guided Fusion Framework for Infrared and Visible Images toward Advanced Vision Tasks[J]. Science Technology and Engineering, 2026, 26(17): 7365-7388 DOI:10.12404/j.issn.1671-1815.2507158

登录浏览全文

4963

注册一个新账户忘记密码

随着成像传感器技术与计算机视觉的迅速发展,单一模态已难以全面获取复杂场景中的全部关键信息^[1]。以可见光与红外成像为例,红外图像通过捕捉物体热辐射特征,在低光照或恶劣天气下能突出显著目标,具备良好的环境适应性,但缺乏纹理和结构细节,整体视觉质量有限^[2];可见光图像拥有丰富的纹理与结构信息,却在弱光、逆光、阴影和烟雾环境下容易出现信息衰减^[3]。二者在成像机制、分辨率和适应性方面具有显著互补性,因此融合二者信息不仅能够同时保留目标显著性与细节结构,还能获得更具信息完整性的融合图像。

在实际工程场景中,光照快速变化、遮挡复杂、天气突变及成像质量不稳定等因素会导致单一模态在关键时刻失效,直接限制视觉系统的稳定性与安全性。红外与可见光融合技术通过多源信息协同与互补增强,有效突破了上述工程瓶颈,使系统在弱光、逆光等极端环境下仍具备可靠的感知能力。目前,该技术已在目标检测^[4]、自动驾驶^[5]、人脸识别^[6]等领域得到广泛应用,展现出显著的工程价值与发展潜力。

针对可见光与红外图像融合问题,学者已取得显著进展,现有图像融合算法主要分为传统图像融合方法与基于深度学习的图像融合方法两大类^[7]。其中,传统方法主要包括基于小波变换、稀疏表示、子空间方法、基于显著性以及多种方法的混合策略等方法^[8],它们能够在特定视觉任务中生成具有一定效果的融合图像。但这类方法普遍依赖手工设计的特征提取方式与融合规则,不仅存在计算复杂度较高的问题,而且在面对复杂场景或高层次视觉任务时,难以全面捕捉图像中的关键信息,表现出明显的性能瓶颈与适应性不足。

近年来,深度学习技术为图像融合领域带来了显著突破,有效改善了传统方法在性能与适应性方面的局限性。基于深度学习的融合方法主要呈现四类典型架构^[9]:基于标准卷积网络(convolutional neural network, CNN)的融合框架^[10],通过层级卷积操作提取多层次特征;采用编码-解码结构的自动编码器(autoencoder, AE)模型^[11],具有较强的特征重构能力;引入对抗训练的生成对抗网络(generative adversarial network, GAN)方法^[12],提升融合图像的感知质量和分布一致性;融合视觉Transformer(vision Transformer,ViT)模块的新型网络^[13],通过自注意力机制捕获长程依赖关系,增强对全局语义的表达能力。

尽管这些基于深度学习的图像融合方法相比于传统方法取得显著进展^[14],但在实际应用中仍存在3个关键问题:第一,现有方法普遍缺乏对输入图像的预处理增强,导致红外图像边缘特征模糊的问题未得到有效解决,同时在低照度环境下可见光图像细节丢失严重;第二,多数算法过度关注主观视觉效果和客观评价指标,未能充分考虑融合结果在下游视觉任务中的实际效用;第三,现有网络架构的特征表达能力有限,难以在复杂场景下实现多模态特征的充分融合与优化。针对这些挑战,亟须发展一种具有多源图像特征增强能力且以下游视觉任务为导向的新型融合框架,以全面提升融合图像的质量和适用性。

为此现提出一种面向高层视觉任务的红外与可见光图像融合新方法,这是一种增强特征与Transformer集成的双语义图像融合方法(enhancement-feature transformer-integrated dual semantic image fusion, ETDFusion),其创新性主要体现在3个关键环节:首先,在预处理阶段设计了双路径特征增强模块,针对红外图像采用子窗口方差滤波进行边缘梯度增强,显著提升热目标边界特征的表达能力;同时对可见光图像实施基于卷积网络的亮度增强,有效改善弱光环境下的细节可见性。其次,在融合网络架构上构建了CNN-ViT混合模型,既保留CNN优异的局部特征提取能力,又通过ViT模块增强对全局上下文信息的建模。最后,引入由语义损失和分割损失联合构成的任务驱动优化目标,通过反向传播机制引导网络生成同时具备红外目标显著性和可见光细节特征的融合图像。这种端到端的优化框架确保了融合结果不仅具有优异的视觉质量,更能有效支持下游视觉任务的性能提升,为智能监测、全天候道路感知及复杂环境下的工程部署提供可靠可行的技术方案。

1 图像融合方法相关研究

1.1 基于深度学习的图像融合方法

基于深度学习的图像融合方法近年来得到广泛研究与应用,其技术体系主要可归纳为以下四类:基于CNN的方法、基于AE的方法、基于GAN的方法以及基于ViT及其变体的方法。

(1)基于卷积神经网络。基于CNN的方法主要可分为两类:第一类方法利用CNN强大的特征提取能力处理可见光与红外图像,而图像重建的部分则依赖传统方法实现。例如,杨艳春等^[15]将CNN模型与交替引导滤波器相结合,应用于红外与可见光图像融合任务,先通过交替引导滤波器将源图像分解为基础层与细节层,再利用CNN实现细节层的精准融合,最后将基础层与细节层叠加,实现整体图像的融合。第二类方法采用端到端的架构,通过设计卷积网络结构与损失函数,无需其他处理步骤即可实现特征提取、融合与图像重建的全过程。例如,张洲宇等^[16]提出了基于端到端的多层卷积稀疏表示与CNN相结合的融合算法,以卷积稀疏层替代传统融合策略,在融合效率与结果质量方面均优于CNN与传统方法结合的模型。然而,该类方法难以有效捕捉图像全局信息,在一定程度上限制了其性能的进一步提升。

(2)基于自动编码器。基于AE的方法可视为传统变换模型在深度学习框架下的扩展,通常采用编码-解码结构,能够从大规模数据中学习有效的特征表示并实现高质量图像重建^[17]。例如,洪雨露等^[18]在AE中引入多阶段融合方法,通过两种结构互补的编码器提取多模态图像特征,以增强特征表示的多样性;同时设计多阶段融合策略,实现更精细、层次化的图像融合效果,经融合策略整合后完成重建,在保持源图像亮度信息方面表现优异,但其性能仍受限于预设的融合规则。为克服此局限,Cheng等^[19]提出了一种自适应统一损失函数,无需人工设计融合策略,使网络能够自适应地处理多种图像融合任务,包括红外与可见光图像融合、多焦点图像融合、多曝光图像融合以及医学图像融合等。该研究表明,构建自适应、强泛化的自动编码器架构已成为图像融合领域的一个重要研究方向。

(3)基于对抗神经网络。基于GAN的方法凭借其天然适用于无监督任务的能力,能够隐式地完成特征提取、融合与重建过程,有效应对了图像融合中监督信息缺乏的难题。Ma等^[20]首次将GAN引入图像融合领域,提出FusionGAN模型,将红外与可见光图像输入生成器得到融合图像,再借助判别器分析融合图像与可见光图像之间的差异,进一步优化融合图像的生成质量。在此基础上,Ma等^[21]进一步提出双判别器条件生成对抗网络,通过两个判别器分别评估融合图像与两个源图像在结构上的一致性,从而使融合图像同时保留红外图像的热辐射特征与可见光图像的纹理细节。后续研究通过在GAN中引入注意力机制和残差连接等模块^[22],进一步提升了融合性能的评价指标。然而,此类方法仍普遍面临训练不稳定和可解释性不足的问题,导致生成图像中可能出现伪影或细节模糊等现象。

(4)基于视觉Transformer模型。基于ViT及其变体的方法最初由Google团队提出,并成功应用于多种计算机视觉任务^[23]。得益于ViT在全局建模方面的优势,研究者开始将其引入图像融合领域,以增强跨模态特征的表示与融合能力。例如,杨天宇等^[24]将ViT嵌入基于自动编码器(AE)的融合框架,实现了局部与全局特征的联合提取;Rao等^[25]将ViT与生成对抗网络(GAN)相结合,利用ViT学习全局融合关系,并借助对抗训练增强融合图像对源图像关键信息的保留能力,为该任务提供了新的研究范式。尽管此类方法显著提升了融合图像的视觉质量,但由于AE与GAN本身计算复杂度较高,再引入ViT模块会进一步增加模型负担,导致整体融合效率受限。

为此,近年来研究者开始探索将CNN与ViT相结合的混合架构,充分利用CNN在局部特征提取与尺寸压缩方面的优势,以实现高效与高质并重的图像融合方案。例如,Qu等^[26]提出一种CNN引导的ViT融合框架,兼顾局部特征提取与长程依赖建模,有效提升融合图像质量;司坤宇等^[27]构建了基于CNN-Transformer的融合网络,进一步优化了融合性能;Zhao等^[28]设计了一种双分支结构模型,利用CNN分支将特征图补丁作为输入,利用ViT补丁之间传播全局上下文信息,有效增强了融合图像的信息表达能力。实验表明,CNN与ViT的混合架构在定性与定量评价中均优于传统CNN融合网络,且在保持优异融合效果的同时,相较于ViT与AE或GAN结合的复杂模型,显著降低了参数量与计算开销。基于上述优势,所提融合模型也采用CNN与ViT协同的架构,旨在实现融合性能与计算效率的平衡。

综上所述,基于深度学习的图像融合方法研究已形成较为系统的技术体系,CNN、AE、GAN和ViT等主流架构分别从局部特征提取、编码重建、对抗优化和全局建模等角度推动了该领域迅速发展。尽管各类方法在特定任务中表现出色,但仍普遍面临全局与局部特征平衡、计算效率提升、跨模态适应性等共性挑战。近年来,混合架构尤其是CNN与ViT的结合成为重要趋势,旨在兼顾模型表达力与时效性。基于上述研究基础,本文研究进一步探索高效协同的融合机制,以提升复杂场景下的图像融合质量与鲁棒性。

1.2 可见光与红外图像的特征增强方法

为提升图像融合性能,研究者从源图像预处理入手,通过特征增强方法改善其信息表达能力^[29]。该类方法通常作用于图像层面,采用扩散模型、显著性提取、结构保持等技术,突出对融合任务有益的特征,从而为后续融合阶段提供更优质的输入。例如,Yue等^[30]将可见光图像分解为三通道数据,与单通道红外图像组合成多通道输入,并利用扩散模型进行去噪处理,实现源图像的特征增强,以提升最终融合质量。由于可见光与红外图像在成像机制与特征表达上存在本质差异,近年来研究者也开始针对不同模态图像设计差异化增强策略,以更充分挖掘各自的特征优势。

在红外图像增强方面,其核心价值在于提供热辐射信息,在弱光或复杂背景条件下具有显著的目标探测优势。为增强红外图像中关键目标的显著性,姜迈等^[31]利用红外显著性特征提取提出了一种基于tetrolet多尺度变换分解的融合方法,有效地提升了红外特征的表达强度。然而,该方法在融合过程中过度依赖红外信息的主导地位,导致融合结果中噪声较为明显。尽管在一般自然场景下此类噪声影响有限,但在医学图像等对质量要求较高的应用场景中可能引入不可忽视的干扰。针对该问题,Tang等^[32]提出了EgeFusion算法,通过引入子窗口方差滤波(sub-window variance filter, SVF)方法对红外图像进行边缘平滑与纹理增强,显著提高了高亮区域与背景之间的对比度,使热源目标更加突出。该方法在多模态医学图像融合任务中的优异表现验证了其有效性。基于此,本文研究在红外图像特征增强部分借鉴了EgeFusion算法中对红外图像进行结构增强与噪声抑制的处理思路。

相比之下,可见光图像的主要优势在于提供丰富的纹理细节与结构信息,在表达场景背景和边缘轮廓方面具有重要作用。为增强其在融合任务中的贡献,研究者通常采用亮度增强与细节保持相结合的策略^[33]。例如,Khazal等^[34]提出了一种基于直方图均衡化的亮度增强方法,虽可有效提升图像整体亮度,但在部分高亮区域易出现曝光过度或细节丢失的问题。胡建平等^[35]基于多尺度Retinex理论对图像进行亮度分解与增强,在提升图像自然感与局部对比度方面表现良好,但其在增强亮度的同时,引入了不必要的噪声。为在提升亮度的同时减少噪声,田博文等^[36]利用零参考深度曲线实现了在增强图像亮度的同时剔除由于增强带来的图像噪声,但其算法复杂度较高,限制了实际应用效率。为解决此问题,Zhang等^[37]基于生成对抗网络(GAN)构建了一种可控视觉增强器(directly debuggable brightness filter, DDBF),通过有效抑制源图像中的暗区噪声,显著改善了夜间场景下的融合效果。尽管在光照充足的白天场景中易引发过曝问题,但DDBF在暗光条件下的增强能力仍表现突出,具有较高的应用价值。

综上所述,现有研究通过多种技术路径实现了对红外与可见光图像的针对性增强,有效提升了源图像在融合任务中的信息贡献。然而,不同增强方法在适用场景、计算复杂度与细节保持能力等方面仍存在一定局限,如何根据具体应用需求选择合适的增强策略,或设计自适应多模态图像增强框架,仍是当前值得深入探索的方向。在既有研究基础上,本文研究重点优化红外与可见光图像的协同增强策略,以期进一步提升融合图像的整体质量与适用性。

1.3 任务驱动的融合方法

为提升图像融合算法在实际应用中的价值,近年来研究者开始探索将融合任务与高级视觉任务相结合的技术路径,旨在增强融合图像在语义理解、目标检测等下游任务中的表现。Tang等^[38]开创性地在融合网络中引入语义分割损失,提出了首个语义驱动的图像融合方法SeAFusion。该方法通过融合网络生成的图像输入预训练分割网络,将分割结果与源图像的分割真值进行对比,构建语义分割损失,并与图像内容损失共同优化融合过程,从而引导网络生成更有利于高级视觉任务分析的融合结果。

在此基础上,任务驱动型融合方法得到进一步拓展。Liu等^[39]系统性地构建了多任务融合数据集M³FD,为基于深度学习的多模态融合研究提供了重要数据基础。同时,他们在生成对抗网络(GAN)框架中引入目标检测网络,构建了双重对抗学习融合架构。该架构通过判别器与检测网络的双重监督,既提升了融合图像的视觉质量,又增强了其对语义信息的保留能力。然而,受限于GAN结构本身的特性,该方法存在训练不稳定、计算开销大等问题,导致融合结果在客观指标上波动较大,训练与推理效率有待提升。

为克服上述局限性,研究者提出了更加高效的任务驱动融合方案。Zhang等^[40]设计了一种CNN融合网络与YOLO检测网络联合训练的级联架构,并对MSRS数据集^[41]进行了精细化标注,验证了该方法的有效性。实验表明,该联合训练策略不仅能提升融合图像质量,还能显著增强下游目标检测任务的性能。Liu等^[42]则从损失函数设计角度出发,提出了SDCFusion方法,基于mIoU指标构建了新颖的语义损失函数,为语义驱动融合提供了新的优化思路。该方法通过强化语义一致性约束,有效引导融合过程保留对高级视觉任务关键的特征信息。

综上所述,基于任务驱动的图像融合方法通过引入语义分割、目标检测等高级视觉任务的监督信号,显著提升了融合结果的实用价值。现有研究在损失函数设计、网络结构和数据集构建等方面已取得初步进展,但仍面临训练稳定性、计算效率以及跨任务泛化能力等挑战。未来研究可进一步探索轻量化、自适应性强的新型融合架构,以更好地平衡融合质量与语义保持能力,推动图像融合技术在实际场景中的深入应用。

为此,在前人研究的基础上,现提出一种面向实际任务需求的红外与可见光图像融合方法。首先,针对两种模态在成像机理和信息分布上的固有差异,分别采用差异化特征增强算法对源图像进行预处理,以提升其特征表达能力。其次,构建融合CNN局部细节捕获能力与ViT全局建模优势的协同融合网络,在保证细节结构清晰度的同时强化跨模态语义一致性,从而提高融合结果在复杂场景下的可靠性。最后,制定三阶段联合训练策略,将图像融合过程与高级视觉任务进行协同优化,使网络能够学习与实际应用紧密相关的语义特征,生成更具任务价值的融合图像,为多类下游视觉感知任务提供更具工程实用性的输入。

2 红外与可见光图像融合方法

系统阐述了面向任务驱动的红外与可见光图像融合方法ETDFusion的整体架构。该方法旨在对配准的红外图像与可见光图像进行高效融合,在保留红外图像显著目标的同时,充分保持可见光图像的纹理细节特征,并提升融合结果在下游视觉任务中的性能。为实现上述目标,ETDFusion框架包含3个核心组成部分:①特征增强模块,通过对多模态源图像进行差异化处理以强化关键特征表达;②基于视觉Transformer的融合网络,实现跨模态特征的深度交互与高质量重建;③双语义驱动的三阶段训练策略,通过联合损失函数优化,在像素级保真与语义一致性之间取得平衡。图1展示了所提融合框架的整体架构。

2.1 差异化特征增强模块

为提升融合图像对高级视觉任务的支撑能力,设计了一种面向多模态图像的特征增强模块,通过对红外与可见光图像实施差异化增强策略,有效强化各自的关键特征表达。该模块采用双分支结构,分别针对红外图像的边缘显著性及可见光图像的亮度与对比度进行优化,从而为后续融合网络提供信息更丰富、质量更高的输入特征。

2.1.1 红外图像特征增强

传统基于均值或高斯滤波的红外增强方法在抑制噪声的同时易导致边缘模糊,削弱目标区域的显著性。为此,提出一种改进的子窗口方差滤波算法(SVF-Lite, SVF-L)。该算法在保留传统子窗口方差滤波边缘保持优势的基础上,通过引入积分图与固定规则核简化计算流程,显著提升了计算效率与深度学习框架的兼容性。SVF-L对输入图像各通道独立处理,通过积分图与滑动窗口快速计算局部均值与方差,据此构建自适应权重函数:在方差较大的边缘区域保留原图细节,在方差较小的平坦区域则通过均值图实现平滑去噪。最终输出为原图与局部均值图的加权融合结果,在提升边缘清晰度与纹理层次的同时有效抑制噪声,为后续跨模态融合提供判别力更强的红外特征。SVF-L算法流程如表1所示。

2.1.2 可见光图像特征增强

针对现有全局增强方法在复杂光照下易产生细节损失与过曝光的问题,设计了基于CNN的亮度增强模块(luminance intensification enhancement, LIE)。该模块首先在低光数据集上进行预训练获取基础权重,随后以原始可见光图像与引导亮度比率作为输入,通过多级卷积与残差连接建模不同尺度的光照分布,并在各阶段引入引导图通道拼接以增强对比感知与边缘保持能力。如图1所示,LIE模块通过浅层卷积单元提取低层亮度特征,结合跳跃连接实现特征重用与结构增强,最终经Sigmoid激活输出归一化结果。该设计在提升图像亮度一致性的同时,有效保留了原始纹理与结构信息,为后续融合任务提供光照均衡、细节清晰的可见光特征。

本文模块通过SVF-L与LIE分别实现对红外与可见光图像的差异化增强,前者强化边缘结构与显著性,后者提升亮度均衡与细节保持。这种针对性的预处理策略可有效提升源图像的特征质量,为后续融合网络提供更具判别力的输入,从根本上改善融合结果在视觉质量与任务适应性方面的表现。

2.2 全局引导的融合网络

针对现有方法在处理红外与可见光图像模态差异方面的局限性,提出了一种基于色彩空间分解与双分支建模的融合框架,其整体架构如图2所示。该框架通过结合局部特征提取与全局语义引导,实现跨模态特征的有效融合。

2.2.1 双分支特征提取网络

为充分挖掘红外与可见光图像在多模态特征表达中的互补性,设计了一种基于特征解耦的双分支特征提取网络。首先,对输入的可见光图像进行YCrCb色彩空间转换,将其分解为亮度分量Y和色度分量Cr、Cb。其中,亮度分量Y承载了图像的主要结构与纹理信息,作为后续融合处理的核心输入;而Cr、Cb色度分量则被保留至重建阶段,用于恢复融合图像的色彩真实性。该预处理策略在保留视觉语义的同时,有效降低了后续特征学习的复杂度。

在此基础上,网络构建了两个结构各异的分支,分别针对不同模态的图像特性进行优化特征提取。在红外分支中,设计了EADB模块,其结构如图3所示。该模块采用双路径并行架构:主干路径通过多层卷积进行层次化特征提取,构建丰富的特征表示;辅助路径则通过边缘检测卷积核生成空间注意力图,用于突出图像中的边缘与轮廓区域。两条路径的输出通过逐元素相乘进行融合,使模型能够显式增强对结构信息的感知能力,同时抑制非显著区域的干扰。

在可见光分支中,引入了RDCB模块,其结构如图4所示。该模块融合了残差学习与密集连接的优势,通过1×1卷积实现特征维度的压缩与重建,结合3×3分组卷积在减少参数量的同时提取局部细节特征。模块中嵌入的跳跃连接,既缓解了深度网络中的梯度衰减问题,又促进了不同层级特征的有效复用,从而增强了对可见光图像中复杂纹理细节的建模能力。

为进一步提升特征表达的判别性,在两个分支的末端均引入了CBAM模块,其结构如图5所示。该模块通过串联的通道注意力与空间注意力子模块,分别从通道维度和空间维度对特征进行重校准。通道注意力机制通过全局平均池化与最大池化聚合上下文信息,学习各通道间的重要性权重;空间注意力则通过池化与卷积操作生成空间权重图,突出关键区域特征。这种双重注意力机制有效筛选并强化了对融合任务具有重要贡献的特征元素,为后续的跨模态特征交互奠定了坚实基础。

2.2.2 跨模态Transformer交互

在获得增强的双模态特征基础上,设计了基于Transformer架构的跨模态特征交互模块,其整体结构如图6所示。该模块由BaseViT和GuidedViT两个核心组件构成,分别负责单模态的全局上下文建模和跨模态的特征引导融合。

BaseViT模块采用标准的Vision Transformer架构,专门用于处理红外特征。该模块首先将输入的红外特征图划分为多个不重叠的图像块(patch),每个patch通过线性投影转换为特征向量,并融入可学习的位置编码以保留空间结构信息。随后,这些特征序列经过多层Transformer编码器的处理,通过自注意力机制捕获长距离依赖关系,建立全局上下文特征表示。该模块的输出为富含全局语义信息的红外特征序列,为后续的跨模态交互提供基础。

在此基础上,进一步引入了GuidedViT模块,采用交叉注意力机制实现跨模态特征引导。该模块以BaseViT输出的红外特征序列作为查询(Query),以可见光分支提取的特征序列作为键(Key)和值(Value),构建跨模态注意力计算图。通过这种设计,模型能够动态计算红外特征与可见光特征之间的语义相关性,实现红外特征向可见光特征空间的软对齐。在此过程中,红外特征能够自适应地关注可见光图像中对应的细节丰富区域,从而将红外模态的热辐射信息与可见光模态的纹理细节进行有效融合,实现跨模态的语义对齐与特征迁移。

这种双Transformer架构充分利用了自注意力与交叉注意力的互补优势,既保持了各自模态的独特性,又促进了模态间的有效信息交互,为生成兼具热目标显著性和纹理细节丰富性的融合结果提供了重要保障。

2.2.3 图像重建与优化

在完成跨模态特征交互后,网络进入图像重建与优化阶段。首先,经过融合的深度特征通过转置卷积层进行上采样处理,逐步恢复空间分辨率,随后经过3×3卷积层重构为与输入尺寸一致的亮度分量。该重建过程采用跳跃连接机制,将浅层特征与深层语义特征相结合,在保持细节清晰度的同时确保结构完整性。重建得到的亮度分量与预处理阶段保留的Cr、Cb色度分量在YCrCb色彩空间中进行通道级合并,形成初步的彩色融合图像。为确保色彩还原的真实性,该图像随后通过色彩空间逆变换转换回RGB空间,完成从特征域到像素域的重建过程。

为抑制因Transformer块划分与重组可能引入的块状伪影,并降低高频噪声对视觉质量的影响,本文在网络末端引入了参数固定的高斯平滑模块。该模块采用深度可分离卷积架构,使用标准差为σ=1.5的5×5高斯核对各通道实施独立平滑处理。此种设计在保持各通道特征独立性的同时,有效消除了局部不规则性,显著提升了融合图像的视觉一致性。表2展示了从高斯核构建到多通道处理的完整算法步骤。该后处理模块不引入任何可训练参数,在保证模型简洁性的同时,使融合结果在保持边缘锐度的同时呈现出更自然的视觉过渡。

总的来说,所提出的融合网络通过双分支设计充分考虑了多模态图像的特性差异,结合局部特征增强与全局语义引导,能够有效实现跨模态特征交互。特别是基于Transformer的全局引导机制,通过交叉注意力实现了深层的语义对齐,为生成兼具结构完整性与纹理丰富性的融合结果提供了可靠保障。

2.3 任务自适应的训练策略

为提升融合图像在高级视觉任务中的实用价值,设计了一种任务自适应的训练方案。该方案通过设计多目标联合损失函数,并结合双语义引导的三阶段训练策略进行协同优化,在保证视觉质量的同时显著提升模型对下游任务的适应性。

2.3.1 联合损失函数设计

为指导网络在多目标间取得平衡,构建了联合损失函数,表达式为

(1)$\mathcal{L}$_fusion=$\mathcal{L}$_content+ω$\mathcal{L}$_{D_semantic}

式(1)中:$\mathcal{L}$_fusion为联合损失;$\mathcal{L}$_content为内容损失,确保融合图像的视觉保真度;$\mathcal{L}$_{D_semantic}为双语义损失,用来提升语义一致性;ω为平衡超参数。

内容损失$\mathcal{L}$_content由3个分量边缘梯度损失$\mathcal{L}$_grad、强度保持损失$\mathcal{L}$_intensity和结构相似性损失$\mathcal{L}$_ssim构成,表达式为

(2)$\mathcal{L}$_content=α$\mathcal{L}$_grad+β$\mathcal{L}$_intensity+δ$\mathcal{L}$_ssim

式(2)中:α、β、δ为权重系数。

边缘梯度损失$\mathcal{L}$_grad通过拉普拉斯算子提取高频信息,保留源图像中显著的边缘特征,表达式为

(3)$\begin{aligned}\mathcal{L}_{\text {grad }}= & \left.\frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} \right\rvert\, \max \left[\nabla I_{\text {visible }}^{(i, j)},\right. \\& \left.\nabla I_{\text {infrared }}^{(i, j)}\right]-\nabla I_{\text {fused }}^{(i, j)} \mid\end{aligned}$

式(3)中:H和W分别为图像的高度和宽度;${I}_{\mathrm{v}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{b}\mathrm{l}\mathrm{e}}^{(i,j)}$、${I}_{\mathrm{i}\mathrm{n}\mathrm{f}\mathrm{r}\mathrm{a}\mathrm{r}\mathrm{e}\mathrm{d}}^{(i,j)}$、${I}_{\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{e}\mathrm{d}}^{(i,j)}$分别为可见光、红外、融合图像的亮度通道;$ \text { ∇ }$表示用于从x轴和y轴的方向提取高频信息的拉普拉斯算子。

强度保持损失$\mathcal{L}$_intensity采用最大值选择策略,确保合理的亮度分布,表达式为

(4)$\begin{aligned}\mathcal{L}_{\text {intensity }}= & \left.\frac{1}{H \times W} \sum_{i=1}^{H} \sum_{j=1}^{W} \right\rvert\, \max \left[I_{\text {visible }}^{(i, j)},\right. \\& \left.I_{\text {infrared }}^{(i, j)}\right]-I_{\text {fused }}^{(i, j)} \mid\end{aligned}$

结构相似性损失$\mathcal{L}$_ssim从全局层面引导融合结果在结构与纹理上同时接近源图像,表达式为

(5)$\mathcal{L}$_ssim=1-[SSIM(I_visible,I_fused)+SSIM(I_infrared,I_fused)]/2

(6)SSIM(X,Y)=$\frac{(2{\mu }_{X}{\mu }_{Y}+{C}_{1})(2{\sigma }_{XY}+{C}_{2})}{({\mu }_{X}^{2}+{\mu }_{Y}^{2}+{C}_{1})({\sigma }_{X}^{2}+{\sigma }_{Y}^{2}+{C}_{2})}$

式中:SSIM(X,Y)为度量图像X和Y之间的结构相似性;C₁和C₂为常系数;μ和σ分别为均值和标准差;σ_XY为X和Y之间的协方差。

双语义损失$\mathcal{L}$_{D_semantic}整合了分割任务的分割损失$\mathcal{L}$_segmentation与检测任务的检测损失$\mathcal{L}$_detection,表达式为

(7)$\mathcal{L}$_{D_semantic}=$\mathcal{L}$_segmentation+$\mathcal{L}$_detection

式(7)中:分割损失$\mathcal{L}$_segmentation通过像素级语义监督增强区域一致性,计算流程如表3所示。

检测损失$\mathcal{L}$_detection通过目标级监督提升关键目标的显著性,计算流程如表4所示。

2.3.2 双语义信息引导的三阶段训练策略

为实现图像融合与高级视觉任务的协同优化,提出了三阶段渐进式训练策略,算法流程如表5所示。该策略通过引入语义分割与目标检测任务提供的监督信号,利用设计的双语义损失来引导优化路径,使融合网络在训练过程中同时兼顾低层视觉质量与高层语义一致性。

第一阶段,融合网络预训练。在此阶段,仅使用内容损失对融合网络进行独立训练,通过最小化边缘梯度损失、强度保持损失和结构相似性损失的加权组合,使网络初步掌握源图像的互补信息整合能力,生成具备良好细节与纹理表现的初始融合结果。

第二阶段,语义任务网络训练。固定融合网络参数,利用第一阶段输出的融合图像分别训练语义分割网络与目标检测网络。分割网络采用在线难例挖掘(online hard example mining, OHEM)策略增强对复杂语义区域的判别能力;检测网络则基于交并比指标进行优化。此阶段目的在于获得具备高质量语义理解能力的任务网络,为后续的联合优化提供稳定的监督信号。

第三阶段,多任务联合优化。此阶段采用端到端的联合训练策略,将分割与检测网络作为感知反馈模块。融合网络的参数更新同时受到内容损失与双语义损失的共同引导,实现从像素级融合到语义理解的全面优化。通过这种设计,模型能够生成既保持视觉自然度,又具备良好任务适应性的融合结果。

总的来说,所提出的训练方案通过三阶段渐进优化与多目标损失协同,实现了从视觉质量到语义一致性的全面平衡。双语义引导机制使融合网络能够自适应地调整特征表示,在保持视觉自然度的同时显著提升了下游任务性能。此种任务自适应的设计理念为图像融合技术在实际应用中的推广提供了有效的解决方案。

3 实验及分析

首先阐述实验设置与具体实现细节,随后通过将所提方法与当前先进算法进行定量与定性对比,以评估其融合性能。在此基础上,进一步开展消融实验,验证框架中各关键模块的有效性。最后,通过下游语义分割任务测试融合图像的实用价值,从而全面考察ETDFusion方法的综合性能。

3.1 实验配置

实验数据采用包含昼夜场景的MSRS^[41]、${\mathrm{M}}^{3}\mathrm{F}{\mathrm{D}}^{\left[39\right]}$与FMB^[43]3个成对红外与可见光图像数据集。模型训练与主体测试以MSRS数据集为主,并进一步在M³FD与FMB数据集上验证其泛化性能。为全面评估所提ETDFusion方法的性能,选取了9种先进融合算法作为对比方法,包括Sdnet^[44]、TarDAL^[39]、SeAFusion^[38]、TgFusion^[25]、MuFusion^[19]、AgmFusion^[9]、SdcFusion^[42]、CrossFusion^[45]以及MMIF-Inet^[10]。

性能评估综合采用定性与定量分析。在定量评价方面,选用6项常用指标,分别为平均梯度(AG)、标准差(SD)、熵(EN)、空间频率(SF)、互信息指标(MI)以及图像伪影指标(N_abf)。各指标定义如下。

(1)平均梯度(AG):反映图像纹理细节与清晰度,其值越大表明图像梯度特征越丰富,细节保持越好。计算公式为

(8)AG=$\frac{1}{HW}\sum _{i=1}^{H}\sum _{j=1}^{W}\sqrt{{\left[\frac{\partial I(i,j)}{\partial x}\right]}^{2}+{\left[\frac{\partial I(i,j)}{\partial y}\right]}^{2}}$

式(8)中:I(i,j)为图像在像素点(i,j)处的灰度值;H、W分别为图像的高度与宽度。

(2)标准差(SD):衡量图像像素值的离散程度与对比度,其值越大通常表明图像对比度越高,视觉效果越清晰。计算公式为

(9)SD=$\sqrt{\frac{\sum _{i=1}^{M}\sum _{j=1}^{N}[I{(i,j)-\mu ]}^{2}}{HW}}$

式(9)中:μ为图像所有像素的均值。

(3)熵(EN):表示图像所含信息量的多少,其值越大表明融合图像的信息越丰富。计算公式为

(10)EN=-$\sum _{k}^{L-1}$p(k)log₂p(k)

式(10)中:L为图像的灰度级数;p(k)为灰度值k出现的概率。

(4)空间频率(SF):评估图像的整体清晰度与活跃度,其值越大表明图像空间频率越高,质量越好。计算公式为

(11)SF=$\sqrt{\mathrm{R}{\mathrm{F}}^{2}+\mathrm{C}{\mathrm{F}}^{2}}$

式(11)中:RF和CF分别为行频率和列频率。

(5)互信息指标(MI):用于衡量融合图像与源图像在信息层面上的相关性,其值越大表示融合图像保留了更多来自源图像的有效信息。计算公式为

(12)MI=${\sum }_{x\in X}^{}{\sum }_{y\in Y}^{}$p(x,y)log₂$\frac{p(x,y)}{p\left(x\right)p\left(y\right)}$

式(12)中:x、y为两幅图像的灰度分布;p(x,y)为联合概率分布;p(x)、p(y)为边缘概率分布。

(6)图像伪影指标(N_abf):度量融合图像中由源图像引入的伪影或不自然失真程度,其值越小表明融合过程引入的伪影越少,质量越高。

(13)N_abf=$\frac{\sum _{i=1}^{H}\sum _{j=1}^{W}\omega (i,j)N(i,j)}{\sum _{i=1}^{H}\sum _{j=1}^{W}\omega (i,j)}$

式(13)中:H、W分别为图像的高度与宽度;ω(i,j)为权重函数;N(i,j)为伪影度量函数。

模型训练基于MSRS数据集完成,该数据集包含1 083对训练图像与361对测试图像,并为其中九类目标(包括汽车、行人、自行车等)提供了像素级语义标注。在训练策略上,融合网络与语义感知网络采用迭代方式进行联合自适应优化,以提升融合结果对语义任务的适配性。

为保障实验结果的可靠性与可复现性,所有实验均在统一的高性能服务器上进行,其硬件配置、软件环境及关键超参数(如学习率、批量大小与优化器等)均严格保持一致,具体设置如表6所示。该标准化实验方案有效避免了环境差异对性能评估的干扰,为后续分析提供了可靠基础。

3.2 对比实验

综合运用主观视觉对比与客观指标评价两种手段,系统验证所提出ETDFusion方法的性能。首先,通过选取典型场景图像进行定性比较,直观展示各种方法的视觉融合效果;随后,在MSRS完整测试集上基于多项量化指标开展统计分析,从客观数据层面评估算法的综合性能。

3.2.1 定性比较

为直观展示ETDFusion算法的优势,选取MSRS数据集中具有代表性的夜间与白天场景进行主观视觉对比,结果分别如图7与图8所示。

在图7所示的夜间场景中,可见光与红外图像所提供的信息均较为有限。尽管所有对比方法都在一定程度上实现了两类信息的互补融合,但其结果仍存在明显差异。在放大的红色框区域内,本文ETDFusion方法能够更清晰地提取并保留红外图像中的人体目标,使其在融合结果中视觉显著性最高;在蓝色框所示的纹理区域,ETDFusion方法在充分保留可见光图像细节的同时,相较于TGfusion、Mufusion等方法引入了更少的伪影,表现出更好的噪声抑制能力。

在图8所示的白天场景中,红外图像的热辐射信息可作为可见光图像的有效补充。理想的融合结果应在保持可见光丰富纹理的基础上,突出红外目标。对图8分析可知,Sdnet与TarDAL方法虽较好地突出了人体目标,但对可见光纹理细节保持不足;TgFusion与MuFusion等方法则在融合过程中引入明显伪影。相比之下,ETDFusion方法通过引入特征增强模块,在突出热目标边缘锐度的同时,较SeAFusion、AgmFusion、SdcFusion、CrossFusion及MMIF-Inet等方法更好地保留了背景纹理信息,实现了细节保持与目标增强的有效平衡。

定性比较结果表明,所提出的ETDFusion方法在不同光照条件下均展现出明显的优势。在夜间场景下能够有效增强目标显著性并抑制噪声,在白天场景下则实现了纹理细节保持与热目标增强的更好平衡,体现了该方法在不同场景下均具有出色的视觉融合效果。

3.2.2 定量比较

在定性对比分析的基础上,为进一步客观、系统地评估ETDFusion方法的性能,本文研究在MSRS测试集全部361对图像上开展了全面的定量实验。实验采用六项广泛使用的图像融合评价指标:平均梯度(AG)、标准差(SD)、熵(EN)、空间频率(SF)、互信息指标(MI)以及图像伪影指标(N_abf)。为直观展示所有测试样本上的统计分布规律,图9绘制了各方法在不同指标上的累积分布曲线,曲线上任意一点(x,y)表示有百分比为x的测试图像对,其对应的指标值不大于y。该统计方式能够有效避免个别极端样本的干扰,从而更稳健地反映算法的整体性能。

对图9中的统计结果进行分析可知,所提出的ETDFusion方法在AG、SD、EN和SF四项指标上均取得了最优的累积分布曲线,表明其在不同测试样本上均能稳定地产生高质量的融合结果。最优的AG值与SF值证明融合图像蕴含更丰富的纹理细节和更高的空间清晰度;最优的EN值说明ETDFusion能够从源图像中转移并保留更多的信息量;同时,最优的SD值反映出融合结果具有更佳的对比度,更符合人类视觉感知特性。在MI和N_abf指标上,ETDFusion方法虽未达到最优,但也取得了次优的性能,其中次优的MI值表明其在关键信息的继承方面依然表现良好,而次优的N_abf值则说明该方法在融合过程中能够有效抑制伪影的生成,保持了良好的视觉自然度。

定量比较结果从统计意义上稳健地证实了ETDFusion模型的优越性,表明其在纹理细节、信息保留、对比度与清晰度方面实现了更佳平衡,综合性能优于现有先进方法。

3.3 泛化实验

为验证所提ETDFusion算法在未知数据分布下的适应性与稳定性,系统开展了跨数据集泛化性能评估。通过对M³FD与FMB两个独立数据集的定性与定量综合分析,从视觉质量与统计指标两个维度全面考查算法的泛化能力,并与当前主流融合方法进行对比。

3.3.1 定性对比

在M³FD与FMB两个独立数据集上进行了跨数据集的定性对比分析。图10与图11分别展示了M³FD数据集中的夜间与白天场景融合结果,图12与图13则对应FMB数据集中的两类典型场景。

在M³FD数据集上,Sdnet、TarDAL和MuFusion等方法因引入过多红外信息,导致可见光背景纹理受到干扰,蓝色框区域内细节表现较差;而在红色框标注的目标区域中,SeAFusion与CrossFusion对目标纹理保留不足,TgFusion则未能有效突出红外显著目标。相比之下,AgmFusion、SdcFusion、MMIF-Inet及本文方法ETDFusion方法在信息平衡方面表现较好,其中ETDFusion在引入极少噪声的前提下,既增强了红外目标显著性,又保持了可见光图像的结构与细节完整性,在目标突出与纹理保持方面均优于对比方法。

在FMB数据集上的结果进一步验证了该方法的稳健性。在目标区域(红框),Sdnet、SeAFusion和TgFusion受可见光信息干扰较大,目标显著性下降,而ETDFusion仍能保持目标清晰突出;在纹理区域(蓝框),TarDAL和MuFusion出现明显光谱污染,细节损失较大,ETDFusion则准确还原了红绿灯结构、草地等细节,且背景完整性保持最佳。

上述跨数据集的定性比较表明,ETDFusion面对不同来源、场景特征的图像时,均能稳定地输出目标突出、细节丰富、自然度高的融合结果,其综合视觉表现与泛化能力优于现有主流方法。

3.3.2 定量比较

本研究进一步在M³FD与FMB数据集上分别随机选取50对图像进行定量比较,结果以累积分布曲线形式展示于图14与图15。

如图14所示,在M³FD数据集上,ETDFusion在AG、EN、SF与N_abf四项指标上均取得最优性能,表明其在纹理细节、信息量、空间清晰度及伪影抑制方面具备显著优势;在SD与MI指标上仅次于TarDAL方法,显示出良好的对比度保持与信息保留能力。如图15所示,在FMB数据集上,ETDFusion表现更为突出,在AG、SD、EN、SF与N_abf五项指标上均居首位,尤其在AG、SD、EN与SF方面优势明显,说明其在不同分布数据上均能稳定保持细节增强、对比度提升与信息保留的综合能力;N_abf指标虽领先幅度较小,但仍优于其他对比方法,反映其在不同场景下均具备良好的噪声控制能力。MI指标仅次于TarDAL,进一步验证了其保留跨模态信息的有效性。

跨数据集的定量结果表明,ETDFusion在未参与训练的数据集上仍能保持稳定的领先性能,说明其具备良好的泛化能力与鲁棒性。

综上所述,在多个数据集上进行的大量定性与定量实验结果表明,所提出的ETDFusion融合算法在目标信息保留与纹理细节保持方面均表现出显著优势。该性能提升主要源于以下3个方面创新:首先,针对红外与可见光图像的模态差异,设计了差异化的特征增强模块,有效提升了源图像的特征表达能力;其次,构建了CNN与ViT相结合的混合融合网络,实现了局部特征与全局依赖的协同建模,增强了跨模态特征交互能力;最后,引入基于语义分割与目标检测任务的三阶段联合训练策略,使融合过程在语义信息引导下自适应地整合互补特征,从而生成高质量融合图像。

3.4 消融实验

为系统验证所提ETDFusion算法中各组件与训练策略的有效性,设计并开展了两组消融实验:在网络结构上,引入了特征增强、特征提取、CBAM、ViT及高斯平滑等模块,以增强特征表达能力;在训练策略上,在传统融合损失基础上,进一步引入分割损失与目标检测损失,以提升融合图像对下游任务的适应性。实验组A(对应表7)重点评估网络结构的优化效果,实验组B(对应表8)则分析级联训练策略的性能贡献。为提升实验效率,训练过程采用MSRS数据集的70%进行,测试评估则基于随机选取的50对图像。

考虑到各评价指标的数值范围差异较大,为便于横向比较并节约篇幅,对所有指标进行了线性缩放处理以规范至相近区间,并采用对线性缩放不敏感的箱线图进行可视化。图16与图17分别展示了实验组A与实验组B的定量结果。

实验组A结果(图16)显示,基准方法Exp_A_01因未经过优化,各项指标中位数普遍偏低,存在明显性能瓶颈。Exp_A_02在引入源图像特征增强后,AG、SD、EN、SF等指标中位数有所提升,但箱线图四分位间距较大且存在离群点,稳定性不足。Exp_A_03至Exp_A_06通过逐步叠加网络模块,指标呈现阶梯式上升,说明模块间存在协同增效作用。Exp_A_07至Exp_A_10在特征增强基础上进一步叠加模块,AG、SD等关键指标显著提升,N_abf也随结构完善持续下降,表明其在提升性能的同时有效抑制了噪声。综合来看,网络结构的协同优化策略在多项指标上均实现了性能与稳定性的同步提升。

实验组B重点评估训练策略的贡献(图17)。其中,Exp_B_01仅使用融合损失;Exp_B_02引入分割损失;Exp_B_03引入目标检测损失;Exp_B_04则同时使用分割损失与目标检测损失。结果表明,Exp_B_04在SD、EN、SF、MI等多项指标上取得最优结果,且数据分布更为集中稳定,反映出双语义损失的协同作用能够有效提升融合图像的整体质量与语义一致性。相比之下,仅使用分割损失(Exp_B_02)虽在AG指标上表现良好,但在SD、MI和N_abf方面有所不足;相比之下,仅引入目标检测损失的Exp_B_03在多数指标上表现优于Exp_B_02,尤其在信息保留与噪声控制方面相对更具优势。实验B结果验证了所提三阶段联合训练策略在信息保留与噪声控制方面的综合优势。

以上消融实验从网络结构与训练策略两个维度验证了ETDFusion算法的有效性。实验结果表明,特征增强与多模块协同的网络设计能够显著提升融合性能与稳定性,而融合损失与双语义损失联合优化的训练策略进一步增强了模型对语义信息的保留能力与整体泛化性,二者共同作用为算法优越性能提供了可靠支撑。

3.5 任务驱动评价实验

为客观评估融合图像在高级视觉任务中的实际应用价值,采用任务驱动的评价范式,通过对比不同融合方法所得图像在语义分割任务上的性能表现,衡量其有效性。为确保对比的公平性,实验基于MMsegmentation框架,以DeepLabV3+作为统一的分割网络,分别使用9种基线方法、ETDFusion方法生成的融合图像以及原始红外与可见光图像作为输入进行训练,最终获取12组分割结果。采用平均交并比(mIoU)作为核心评价指标,对各组结果在不同语义类别上的分割性能进行定量评估,具体数据列于表9。

从表9可以看出,ETDFusion方法生成的融合图像在9个语义类别中有6项取得最优分割性能,平均交并比(mIoU)排名第一,显示出显著的任务适应优势;另有1项位列第二,3项位列第三,整体表现稳定且具有竞争力。该优势主要源于方法能够充分融合红外与可见光图像的互补信息,增强场景感知完整性;在突出红外显著目标的同时,有效保留可见光图像的纹理细节,提升目标边界的可辨识度;通过语义引导机制自适应整合判别性特征,并结合语义损失优化训练,使融合图像蕴含更丰富的语义信息,从而显著提升分割准确性。

为进一步验证分割效果,图18展示了红外、可见光及不同融合方法在3个典型场景(00027N、00259D、00370D)上的分割结果可视化对比。可以看出,红外图像在行人等热目标上信息突出,可见光图像则能清晰地呈现车辆、交通设施等背景细节。本文方法有效整合了源图像中的互补语义信息,在道路路沿、停车区、护栏、颜色锥及减速带等细节处分割结果边缘清晰、结构完整,整体分割质量优于其他融合方法。这不仅验证了方法在语义保持与结构表达方面的优势,也表明其在更广泛的工程应用场景中具有更高的可靠性与可用性,例如城市监控、交通管理、基础设施巡检及应急场景分析等。

通过任务驱动的评价实验表明,ETDFusion方法生成的融合图像在语义分割任务中取得了最优的mIoU性能,在多数语义类别上均表现出色,验证了其在提升下游视觉任务性能方面的有效性与实用性。结合定量与定性分析可知,该方法能够有效融合多模态图像的互补信息,增强语义特征的完整性及边界清晰度,从而为高级视觉任务提供更具判别性的输入数据。

4 结论

针对现有红外与可见光图像融合方法在特征保留、语义一致性及任务适应性方面的不足,围绕提升融合图像在高层视觉任务中的综合表现这一目标,提出一种增强特征与Transformer集成的双语义融合方法——ETDFusion。该方法在结构上实现了多模态特征增强与全局依赖建模的协同优化;在训练机制上,构建了融合内容损失与双语义损失的三阶段联合训练策略,其中双语义损失由语义分割损失和目标检测损失共同构成,使网络在语义信息引导下实现自适应特征整合,从而显著提升融合特征的表达力与任务适应性。通过在MSRS、M³FD和FMB这3个典型数据集上的系统实验验证,方法的有效性、泛化性与鲁棒性得到了充分证明,并体现出良好的工程实用性。主要结论如下。

(1)提出的ETDFusion融合框架能够有效实现红外与可见光图像的深度融合。通过特征增强、混合架构与语义引导三项核心模块,显著提升了融合图像在细节保持、目标显著性及语义一致性方面的表现,为下游高级视觉任务提供了更稳定的图像输入。

(2)构建的特征增强模块与双分支架构显著提升了跨模态特征建模能力。红外边缘强化与可见光亮度增强机制有效改善了输入特征质量,而CNN-Transformer混合架构兼具局部细节捕获效率与全局语义关联建模能力,解决了传统卷积无法稳定捕捉跨模态长程依赖的技术痛点,从而显著提升了模型在复杂光照与尺度变化条件下生成高质量融合结果的可靠性与适应性。

(3)设计的语义引导的三阶段联合训练策略提升了模型的任务适应性。通过内容损失、语义分割损失与目标检测损失的协同约束,网络能够学习到更具语义一致性和判别力的融合特征。

(4)实验结果表明,ETDFusion在主客观评价指标和下游任务性能上均优于现有主流方法。该方法在不同数据分布下表现出稳定的融合性能和较强的泛化能力,在语义分割任务中取得最优mIoU结果,充分验证了方法的实用价值。后续可结合实际应用需求进一步开展工程化优化,使模型更适用于智能监测、全天候道路感知与道路安全等多类场景的落地应用。

(5)未来研究方向。尽管ETDFusion在多项实验中表现优异,但在极端光照和复杂遮挡条件下仍有改进空间。后续工作将聚焦多模态特征对齐与跨域自适应机制,优化语义约束与损失设计,以进一步提升模型在复杂场景下的鲁棒性与实际应用价值。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	郑博文, 王琢, 曹昕宇. 基于复合型2S网络的红外与可见光图像配准研究[J]. 科学技术与工程, 2024, 24(16): 6783-6791.

[2]	Zheng Bowen, Wang Zhuo, Cao Xinyu. Infrared and visible image registration based on compound 2S network[J]. Science Technology and Engineering, 2024, 24(16): 6783-6791.

[3]	唐霖峰, 张浩, 徐涵, 等. 基于深度学习的图像融合方法综述[J]. 中国图象图形学报, 2023, 28(1): 3-36.

[4]	Tang Linfeng, Zhang Hao, Xu Han, et al. Deep learning-based image fusion: a survey[J]. Journal of Image and Graphics, 2023, 28(1): 3-36.

[5]	安晓东, 李亚丽, 王芳. 汽车驾驶辅助系统红外与可见光融合算法综述[J]. 计算机工程与应用, 2022, 58(19): 64-57.

[6]	An Xiaodong, Li Yali, Wang Fang. Overview of infrared and visible image fusion algorithms for automotive driving assistance system[J]. Computer Engineering and Applications, 2022, 58(19): 64-57.

[7]	朱自文, 宋晓鸥, 崔巍, 等. 可见光-红外图像融合的目标检测综述[J]. 计算机工程与应用, 2025, 61(17): 17-32.

[8]	Zhu Ziwen, Song Xiao’ou, Cui Wei, et al. Review of visible and infrared image fusion for intelligent object detection[J]. Computer Engineering and Applications, 2025, 61(17): 17-32.

[9]	李琳辉, 张鑫亮, 付一帆, 等. 基于TC-YOLOv7算法的可见光与红外后融合检测研究[J]. 汽车工程, 2023, 45(12): 2280-2290.

[10]	Li Linhui, Zhang Xinliang, Fu Yifan, et al. Research on visible light and infrared post-fusion detection based on TC-YOLOv7 algorithm[J]. Automotive Engineering, 2023, 45(12): 2280-2290.

[11]	汪方斌, 金蓄, 朱达荣, 等. 基于RGB颜色空间的红外偏振人脸识别[J]. 激光与光电子学进展, 2022, 59(12): 535-543.

[12]	Wang Fangbin, Jin Xun, Zhu Darong, et al. Infrared polarized face recognition based on RGB color space[J]. Laser and Optoelectronics Progress, 2022, 59(12): 535-543.

[13]	沈瑜, 强振凯, 魏子易, 等. 基于深度学习的红外与可见光图像融合综述: 发展与展望[J]. 控制与决策, 2025, 40(6): 1793-1806.

[14]	Shen Yu, Qiang Zhenkai, Wei Ziyi, et al. Review of infrared and visible image fusion based on deep learning: developments and prospects[J]. Control and Decision, 2025, 40(6): 1793-1806.

[15]	张宏钢, 杨海涛, 郑逢杰, 等. 特征级红外与可见光图像融合方法综述[J]. 计算机工程与应用, 2024, 60(18): 17-31.

[16]	Zhang Honggang, Yang Haitao, Zheng Fengjie, et al. Review of feature-level infrared and visible image fusion[J]. Computer Engineering and Applications, 2024, 60(18): 17-31.

[17]	吴一非, 杨瑞, 吕其深, 等. 红外与可见光图像融合: 统计分析, 深度学习方法和未来展望[J]. 激光与光电子学进展, 2024, 61(14): 42-60.

[18]	Wu Yifei, Yang Rui, Lü Qishen, et al. Infrared and visible image fusion: statistical analysis, deep learning approaches and future prospects[J]. Laser and Optoelectronics Progress, 2024, 61(14): 42-60.

[19]	Liu S, Lan X, Chen W, et al. AGMFusion: a real-time end-to-end infrared and visible image fusion network based on adaptive guidance module[J]. IEEE Sensors Journal, 2024, 24(17): 28338-28350.

[20]	He D, Li W, Wang G, et al. MMIF-INet: multimodal medical image fusion by invertible network[J]. Information Fusion, 2025, 114: 102666.

[21]	王娟, 柯聪, 刘敏, 等. 基于改进生成对抗网络的多聚焦图像融合[J]. 科学技术与工程, 2020, 20(25): 10308-10312.

[22]	Wang Juan, Ke Cong, Liu Min, et al. Multi-focus image fusion based on improved generative adversarial network[J]. Science Technology and Engineering, 2020, 20(25): 10308-10312.

[23]	张德银, 张裕尧, 李俊佟, 等. 结合CNN-Transformer特征交互的红外与可见光图像融合方法[J]. 红外技术, 2025, 47(7): 813-822.

[24]	Zhang Deyin, Zhang Yuyao, Li Juntong, et al. Method for infrared and visible image fusion combining CNN and Transformer feature interaction[J]. Infrared Technology, 2025, 47(7): 813-822.

[25]	李淑慧, 蔡伟, 王鑫, 等. 深度学习框架下的红外与可见光图像融合方法综述[J]. 计算机工程与应用, 2025, 61(9): 25-40.

[26]	Li Shuhui, Cai Wei, Wang Xin, et al. Review of infrared and visible image fusion methods in deep learning frameworks[J]. Computer Engineering and Applications, 2025, 61(9): 25-40.

[27]	杨艳春, 杨万轩, 雷慧云. 基于AGF和CNN的红外与可见光图像融合[J]. 激光与红外, 2024, 54(7): 1141-1148.

[28]	Yang Yanchun, Yang Wanxuan, Lei Huiyun. Infrared and visible image fusion based on AGF and CNN[J]. Laser and Infrared, 2024, 54(7): 1141-1148.

[29]	张洲宇, 曹云峰, 丁萌, 等. 采用多层卷积稀疏表示的红外与可见光图像融合[J]. 哈尔滨工业大学学报, 2021, 53(12): 51-59.

[30]	Zhang Zhouyu, Cao Yunfeng, Meng Ding, et al. Infrared and visible image fusion via multi-layer convolutional sparse representation[J]. Journal of Harbin Institute of Technology, 2021, 53(12): 51-59.

[31]	何友, 刘瑜, 李耀文, 等. 多源信息融合发展及展望[J]. 航空学报, 2025, 46(6): 29-54.

[32]	He You, Liu Yu, Li Yaowen, et al. Development and prospects of multisource information fusion[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(6): 29-54.

[33]	洪雨露, 吴小俊, 徐天阳. 基于差异双分支编码器的多阶段图像融合方法[J]. 模式识别与人工智能, 2022, 35(7): 661-670.

[34]	Hong Yulu, Wu Xiaojun, Xu Tianyang. Multi-stage image fusion method based on differential dual-branch encoder[J]. Pattern Recognition and Artificial Intelligence, 2022, 35(7): 661-670.

[35]	Cheng C, Xu T, Wu X. MUFusion: a general unsupervised image fusion network based on memory unit[J]. Information Fusion, 2023, 92: 80-92.

[36]	Ma J, Yu W, Liang P. FusionGAN: a generative adversarial network for infrared and visible image fusion[J]. Information Fusion, 2019, 48: 11-26.

[37]	Ma J, Xu H, Jiang J, et al. DDcGAN: a dual-discriminator conditional generative adversarial network for multi-resolution image fusion[J]. IEEE Transactions on Image Processing, 2020, 29: 4980-4995.

[38]	闵莉, 曹思健, 赵怀慈, 等. 改进残差密集生成对抗网络的红外与可见光图像融合[J]. 控制与决策, 2023, 38(3): 721-728.

[39]	Min Li, Cao Sijian, Zhao Huaici, et al. Infrared and visible image fusion with improved residual dense generative adversarial network[J]. Control and Decision, 2023, 38(3): 721-728.

[40]	Han K, Wang Y, Chen H, et al. A survey on vision transformer[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 45(1): 87-110.

[41]	杨天宇, 霍宏涛, 刘晓文, 等. 用于红外与可见光图像融合的信息交互线性Transformer网络[J]. 中国图象图形学报, 2025, 30(7): 2499-2513.

[42]	Yang Tianyu, Huo Hongtao, Liu Xiaowen, et al. Information interaction linear Transformer network for infrared and visible image fusion[J]. Journal of Image and Graphics, 2025, 30(7): 2499-2513.

[43]	Rao D, Xu T, Wu X. TGFuse: an infrared and visible image fusion approach based on transformer and generative adversarial network[J]. IEEE Transactions on Image Processing, 2023, 10: 3273451.

[44]	Qu L, Liu S, Wang M, et al. TransMEF: a Transformer-based multi-exposure image fusion framework using self-supervised multi-task learning[C]// Proceedings of the AAAI Conference on Artificial Intelligence. New York: AAAI, 2022: 2126-2134.

[45]	司坤宇, 牛春晖. 基于混合差分卷积和高效视觉Transformer网络的三重多模态图像融合算法[J]. 红外与激光工程, 2024, 53(11): 331-345.

[46]	Si Kunyu, Niu Chunhui. Triple multi-modal image fusion algorithm based on mixed difference convolution and efficient vision Transformer network[J]. Infrared and Laser Engineering, 2024, 53(11): 331-345.

[47]	Zhao D, Luo X, Zhang T. Combining transformers with CNN for multi-focus image fusion[J]. Expert Systems with Applications, 2024, 235: 121156.

[48]	冯福存, 常莉红. 基于内容增强的非下采样轮廓波图像融合方法[J]. 科学技术与工程, 2020, 20(24): 9970-9975.

[49]	Feng Fucun, Chang Lihong. Image fusion method of enhancement based on non-subsampled contourlet transform[J]. Science Technology and Engineering, 2020, 20(24): 9970-9975.

[50]	Yue J, Fang L, Xia S, et al. Dif-Fusion: toward high color fidelity in infrared and visible image fusion with diffusion models[J]. IEEE Transactions on Image Processing, 2023, 32: 5705-5720.

[51]	姜迈, 沙贵君, 李宁. 结合Tetrolet与红外显著性特征提取的红外与可见光融合[J]. 科学技术与工程, 2022, 22(30): 13398-13405.

[52]	Jiang Mai, Sha guijun, Li Ning. Infrared and visible light images fusion based on Tetrolet transform and infrared saliency feature extraction[J]. Science Technology and Engineering, 2022, 22(30): 13398-13405.

[53]	Tang H, Liu G, Qian Y, et al. EgeFusion: towards edge gradient enhancement in infrared and visible image fusion with multi-scale Transform[J]. IEEE Transactions on Computational Imaging, 2024, 10: 385-398.

[54]	程一航, 乔正钰, 黄勇, 等. 基于Retinex理论的亮度自适应红外与可见光图像融合(特邀)[J]. 激光与光电子学进展, 2024, 61(20): 127-140.

[55]	Cheng Yihang, Qiao Zhengyu, Huang Yong, et al. Luminance-adaptive infrared and visible image fusion based on Retinex theory (invited)[J]. Laser & Optoelectronics Progress, 2024, 61(20): 127-140.

[56]	Khazal R B, Habeeb N J. Enhancement infrared-visible image fusion using the integration of stationary wavelet transform and fuzzy histogram equalization[J]. Journal of Techniques, 2022, 4(4): 119-127.

[57]	胡建平, 郝梦云, 杜影, 等. 结构和纹理感知的Retinex融合红外与可见光图像[J]. 光学精密工程, 2022, 30(24): 3225-3238.

[58]	Hu Jianping, Hao Mengyun, Du Ying, et al. Fusion of infrared and visible images via structure and texture-aware Retinex[J]. Optics and Precision Engineering, 2022, 30(24): 3225-3238.

[59]	田博文, 丁建伟, 户子睿. 融合零参考深度曲线的低照度图像增强与去噪算法[J]. 科学技术与工程, 2025, 25(2): 704-712.

[60]	Tian Bowen, Ding Jianwei, Hu Zirui. Low-light image enhancement and denoising algorithm integrating zero-reference depth curves[J]. Science Technology and Engineering, 2025, 25(2): 704-712.

[61]	Zhang H, Tang L, Xiang X, et al. Dispel darkness for better fusion: a controllable visual enhancer based on cross-modal conditional adversarial learning[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2024: 26487-26496.

[62]	Tang L, Yuan J, Ma J. Image fusion in the loop of high-level vision tasks: a semantic-aware real-time infrared and visible image fusion network[J]. Information Fusion, 2022, 82: 28-42.

[63]	Liu J, Fan X, Huang Z, et al. Target-aware dual adversarial learning and a multi-scenario multi-modality benchmark to fuse infrared and visible for object detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 5802-5811.

[64]	Zhang X, Zhai H, Liu J, et al. Real-time infrared and visible image fusion network using adaptive pixel weighting strategy[J]. Information Fusion, 2023, 99: 101863.

[65]	Tang L, Li C, Ma J. Mask-DiFuser: a masked diffusion model for unified unsupervised image fusion[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025, 48(1): 591-608.

[66]	Liu X, Huo H, Li J, et al. A semantic-driven coupled network for infrared and visible image fusion[J]. Information Fusion, 2024, 108: 102352.

[67]	Liu J, Liu Z, Wu G, et al. Multi-interactive feature learning and a full-time multi-modality benchmark for image fusion and segmentation[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2023: 8115-8124.

[68]	Zhang H, Ma J. SDNet: a versatile squeeze-and-decomposition network for real-time image fusion[J]. International Journal of Computer Vision, 2021, 129(10): 2761-2785.

[69]	Li H, Wu X. CrossFuse: a novel cross attention mechanism based infrared and visible image fusion approach[J]. Information Fusion, 2024, 103: 102147.

基金资助

国家自然科学基金(72461018)

甘肃省重点研发计划(24YFGA038)

甘肃省自然科学基金(24JRRA251)

甘肃省高校青年博士科研支持项目(2025QB-039)

PDF (48076KB)

访问

被引

详细

导航

Received	Published	Revised
2025-10-12	2026-06-18	2025-11-27
Online Date
2026-08-04

摘要