基于频空双域Mamba网络的遥感图像变化描述方法

刘仲民; 周云龙; 胡文瑾

doi:10.12404/j.issn.1671-1815.2504468

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (18) :7809-7821 DOI: 10.12404/j.issn.1671-1815.2504468

自动化技术、计算机技术

基于频空双域Mamba网络的遥感图像变化描述方法

作者信息 +

Remote Sensing Image Change Captioning Based on Frequency-spatial Dual-domain Mamba Network

Author information +

文章历史 +

摘要

针对双时相遥感图像变化描述过程中存在的高频细节丢失以及全局与局部特征融合不充分的问题,提出了一种基于频空双域Mamba网络的遥感图像变化描述方法。首先,设计频空双域感知模块,通过频域-空间双域协同机制,实现全局与局部特征的高效融合。其次,设计傅里叶卷积增强模块,通过快速傅里叶卷积动态筛选关键频率成分,提升高频细节的表征能力;采用频域-空间拼接的方式,在增强高频细节的同时,有效提升了模型的全局感知能力。最后,提出了空间自适应门控模块,利用空间自适应坐标变换动态调整卷积核权重分布,通过与傅里叶卷积增强模块并行连接,进一步增强局部特征与全局上下文的动态融合能力。实验结果表明,所提方法在LEVIR-CC数据集上的BLEU-4和CIDEr-D核心指标分别达到66.06%和139.08%,表明其在遥感图像变化描述的准确性与细致性方面具有一定优势。

Abstract

The loss of high-frequency details and the insufficient fusion of global and local features remain key challenges in bi-temporal remote sensing image change captioning. To address these issues, a change captioning method based on a frequency-spatial dual-domain mamba network was proposed. A frequency-spatial dual-domain perception module was first constructed, through which global and local features are efficiently integrated via a collaborative mechanism operating across the frequency and spatial domains. Subsequently, a fourier convolution enhancement module was developed, in which fast Fourier convolution is employed to dynamically select critical frequency components, thereby improving the representation of high-frequency details. By concatenating frequency-and spatial-domain features, both high-frequency detail preservation and enhanced global perception were achieved. Finally, a spatial-adaptive gating module was introduced to regulate convolutional kernel weight distributions through spatially adaptive coordinate transformations. Connected in parallel with the Fourier enhancement branch, this module further strengthens the dynamic fusion between local features and global contextual information. Experimental results on the LEVIR-CC dataset show that BLEU-4 and CIDEr-D scores of 66.06% and 139.08% are achieved, demonstrating clear advantages in accuracy and fine-grained description quality for remote sensing image change captioning.

Graphical abstract

关键词

遥感图像变化描述 / 频空双域感知 / 傅里叶卷积 / 空间自适应门控

Key words

remote sensing image change captioning / frequency-spatial dual-domain perception / Fourier convolution / spatial-adaptive gating

引用本文

引用格式 ▾

刘仲民, 周云龙, 胡文瑾. 基于频空双域Mamba网络的遥感图像变化描述方法[J]. 科学技术与工程, 2026, 26(18): 7809-7821 DOI:10.12404/j.issn.1671-1815.2504468

LIU Zhong-min, ZHOU Yun-long, HU Wen-jin. Remote Sensing Image Change Captioning Based on Frequency-spatial Dual-domain Mamba Network[J]. Science Technology and Engineering, 2026, 26(18): 7809-7821 DOI:10.12404/j.issn.1671-1815.2504468

登录浏览全文

4963

注册一个新账户忘记密码

在中国,遥感技术已广泛应用于国土空间规划^[1]、森林资源动态监测^[2]以及灾害应急评估^[3]等国家重大需求。例如,针对中国城市群建设用地扩张的时空监测与特征分析^[1],对黄土高原等重点生态区的森林覆盖变化进行自动化监测^[4],均明当前应用已不仅需要判断“是否发生变化”,更要求准确回答“发生了什么变化”以及“变化的细节如何”,前者关乎宏观态势把握,后者则直接支撑精细化管理和科学决策。然而,例如城市新区地表材质结构的差异以及生态区域植被类型的演替等,往往表现为影像中高频分量的细微差异,以空间域建模为主的传统方法在此类信息的刻画与联合表达方面仍存在一定局限,难以充分挖掘其潜在判别价值,从而在一定程度上制约了自动化、语义化描述技术在实际业务场景中的应用。因此,发展能够协同建模频域与空间域特征的变化描述方法,有望在提升遥感智能解译精细化水平及结果可用性方面发挥积极作用,并具备较为重要的潜在应用价值。

遥感图像变化描述(remote sensing image change captioning, RSICC)旨在通过自然语言准确地描述双时相遥感图像中的地表变化,包括变化对象的类别(如建筑物、植被)、空间关系及动态趋势(如新增、消失、迁移等)^[5]。RSICC涉及遥感图像处理和变化描述生成两个关键环节。目前,主流方法大多采用编码器-解码器(encoder-decoder)架构实现端到端建模。在编码阶段,通过引入特征增强或对齐模块,对双时相图像的多尺度视觉特征进建模。这些模块通过强化空间细节表达与语义关联,提升特征的判别性,从而有效地刻画跨时相图像的变化区域及其细微差异^[6-7]。在解码阶段,利用语言模型将提取的视觉特征映射为自然语言描述。现有研究通常结合CNN或Transformer架构来增强编码器的特征提取能力,从而提升描述生成语义的准确性和空间一致性^[8-9]。

尽管现有方法在视觉特征建模方面取得了一定的成效,但“双时相独立编码+差异特征拼接”的串行处理范式,在建模跨时序空间关联方面存在一定的局限性。尤其是在应对渐进式城市扩张或灾害蔓延等复杂动态变化场景时,生成的描述常常存在上下文割裂现象,难以准确表达变化的语义内容与时空演化信息。为解决这一问题,Hoxha等^[10]提出了一种基于编码器-解码器架构的遥感图像变化描述生成方法,通过引入双时相图像特征融合策略,提升了变化描述的准确性。Liu等^[11]提出了一种双分支Transformer模型(transformer-based RSICC, RSICCformer),用于遥感图像变化描述任务。首先,分别对双时相遥感图像特征编码,每个分支均配备独立的Transformer编码器,提取各自时相的空间-语义特征。随后,通过融合模块对两个时相的特征进行差异建模,增强模型对地表覆盖变化的语义理解与表达能力。Chang等^[12]提出了一种基于注意力机制的变化描述网络(changes-to-captions network, Chg2Cap)。该方法通过引入层次化自注意力模块来定位双时相遥感图像中的变化相关特征,提升了描述生成语义的准确性。Liu等^[13]提出了一种基于渐进式尺度感知网络(progressive scale-aware network, PSNet),该网络通过结合渐进差异感知层和尺度感知强化模块提取遥感图像中的多尺度视觉特征,提升了遥感图像变化描述的丰富性与准确性。Yang等^[14]提出了融合关键变化特征提取与指令调优的多模态框架(key change features and instruction-tuned, KCFI)。该方法利用流估计对齐模块过滤无关变化区域,实现了关键变化特征的精准提取;同时,通过动态权重平均策略联合优化像素级变化检测与语义描述生成任务,提升了遥感图像变化特征的表达能力与描述的准确性。Yu等^[15]提出了一种基于扩散模型的遥感图像变化描述生成框架Diffusion-RSCC,该方法通过交叉模态融合模块和堆叠自注意力机制,强化了多时相遥感图像特征与文本语义的对齐能力,生成更加准确且流畅的变化语义描述。此外,Sun等^[16]提出了一种轻量化的稀疏聚焦Transformer模型(sparse focus transformer, SFT),该模型通过引入稀疏注意力机制,在保证描述准确性的同时显著降低了模型的计算复杂度。

尽管遥感图像变化描述在空间变化建模方面取得了一定的进展,但受限于遥感图像自身复杂的地物结构与高分辨率特性,现有方法在高频细节表征及全局与局部特征融合等方面仍存在明显不足。首先,现有方法普遍依赖堆叠式自注意力机制以建模长距离依赖关系,在生成变化描述的过程中,高频细节被忽略,导致模型对小范围目标或结构性变化的感知能力不足,使生成的文本描述在小尺度变化的反映上不够充分。其次,全局与局部特征融合不充分进一步限制了模型对图像多尺度信息的有效表达,导致生成的语义碎片化,影响描述的准确性与完整性。

为此,现提出一种基于频空双域Mamba网络的遥感图像变化描述方法(frequency-spatial dual-domain mamba network, FDMNet),通过协同建模图像的空间域与频域特征,增强对高频细节与全局语义的联合感知能力,以缓解现有方法在细微变化刻画与多尺度特征融合方面的不足,从而提升变化描述的精细化水平与语义一致性,为遥感智能解译在实际业务场景中的深入应用提供技术支撑。

1 RSICC与Mamba相关工作

1.1 遥感图像变化描述

RSICC任务旨在通过自然语言描述双时相遥感图像中的地表变化,其核心挑战包括对遥感图像中细微且复杂的变化区域进行准确建模,以及将这些变化有效转化为符合语义逻辑的自然语言描述。Hoxha等^[10]首次提出了RSICC任务框架,该框采用CNN提取双时相图像特征,并借助循环神经网络或支持向量机生成文本描述。然而,传统CNN架构由于局部感受野的固有局限,在遥感图像的大尺度结构变化建模和长程空间依赖关系捕捉方面存在不足,特别是在处理细粒度地物变化时尤为明显。为此,研究者转向采用Transformer架构来解决这些限制。Liu等^[11]提出了一种RSICCformer模型,通过结合双分支Transformer编码器(dual-branch transformer encoder, DTE)与多阶段双时相融合模块(multistage bitemporal fusion module, MBF),显著增强了模型对复杂语义变化的建模能力。Chang等^[12]提出了一种Chg2Cap网络,通过层次化自注意力机制,有效提升了对变化区域的定位精度,然而其注意力机制仍局限于空间域,对不同频域变化成分缺乏选择性建模,难以捕捉边缘模糊或微小变化。Zhou等^[17]提出了一种单流提取网络(single-stream extractor network, SEN),通过对比学习预训练有效缩小了双时相图像的域差异,并结合交叉注意力模块来增强对变化特征的捕捉。但其特征交互仍主要基于空间域建模,无法充分捕捉结构变化中的频域差异。为了应对复杂场景下的多尺度变化的挑战,Liu等^[13]提出的PSNet网络通过堆叠渐进式差异感知层聚焦变化区域,逐步提取双时相特征差异,高效捕获多尺度视觉信息。尽管其多层次机制有助于建模局部与全局变化信息,但完全依赖空间域注意力,对高频结构边缘、纹理细节等变化的感知能力依然不足。

总体而言,当前主流RSICC方法普遍依赖空间域注意力机制与多尺度融合策略,虽然通过全局特征交互缓解了传统卷积网络的局部感受野限制,提升了对变化区域的建模能力,但在地物变化建模过程中,频域信息的重要作用往往被忽视。频域特征在捕捉纹理变化、小目标变动以及结构突变等高频细节方面具有显著优势。然而,现有方法普遍缺乏对频域成分的显式建模与选择机制,导致模型在细粒度变化的感知与捕捉上存在不足,进而影响生成文本描述的语义完整性与准确性。

1.2 状态空间模型

状态空间模型(state space model, SSM)起源于控制系统^[18],用于描述动态系统中状态随时间的演变关系^[19]。近年来,SSM被逐步引入深度学习领域,作为一种高效的序列建模方法,其通过状态变量与线性或非线性变换能够在理论上以线性复杂度捕捉长程依赖^[20]。Gu等^[21]提出了Mamba架构,该架构通过选择性状态空间机制使模型参数能够根据输入自适应调整,从而增强上下文建模能力,同时保持较低的计算复杂度。凭借这一特性,Mamba架构在自然语言处理等序列建模任务中受到广泛关注,并开始被探索应用于计算机视觉任务^[22-23]。中国研究者已将Mamba架构引入遥感领域,陈辉等^[24]提出一种结合注意力机制与Mamba架构的遥感图像分类模型,通过引入空间分组坐标注意力模块和双流多向状态空间编码器,增强了模型对遥感图像空间信息的感知能力,提升了分类性能并降低了计算复杂度。马文浩等^[25]将Mamba架构拓展至遥感图像配准任务,提出双向多尺度Mamba网络。该方法通过多尺度选择性扫描捕获多级特征,结合跨空间交互模块建模图像间依赖,并采用互相关双向匹配提升几何一致性,有效缓解了多尺度信息利用不足、配准精度受限及计算效率低下的问题。针对遥感变化检测任务,杨瑞等^[26]提出了一种基于特征交互和差分对齐的遥感影像建筑物变化检测方法。该方法采用Mamba状态空间模型构建编码器-解码器架构,通过特征交互模块增强双时相特征的融合能力,并利用差分对齐模块校正图像间的空间偏移,提升了在复杂场景下的变化检测精度。针对遥感影像变化检测中多尺度信息利用不足、微小变化难以捕捉等问题,李雪等^[27]提出了基于变化引导的双向Mamba网络。该模型在编码阶段通过时域融合模块实现跨时间与跨尺度特征融合,增强双时相变化感知;在解码阶段引入双向Mamba模块,通过前向与反向建模捕获长程依赖,促进局部与全局特征协同建模;同时结合深度变化引导特征,以先验信息引导多尺度特征整合,从而保留关键变化信息。为进一步挖掘状态空间模型在遥感变化检测中的潜力并缓解其高计算开销,厉芳婷等^[28]提出了双流并行全向扫描Mamba网络,通过深度分析参数量关键因素,设计双流并行结构,在降低模型参数量与计算复杂度的同时,保持优异的检测性能。为缓解伪标签质量不足与特征利用单一的问题,张宇等^[29]提出了一种基于Mamba的空间-频率双域特征融合U-Net模型,借助Mamba模块捕获全局上下文并通过小波卷积增强频率域表征,从而缓解了双域信息互补不足的问题。

尽管上述方法在遥感图像分割、分类与变化检测任务中取得了一定成果,现有模型仍多聚焦于空间域建模,在高频细节建模与频域增强方面,缺乏对频域特征的有效利用,限制了模型对变化区域的细粒度语义表达能力。

2 本文方法

提出了一种基于频空双域Mamba网络的遥感图像变化描述方法,该方法主要由CNN特征提取器、频空双域Mamba编码层和描述生成器组成。框架结构如图1所示。

首先,双时相遥感图像I_A和I_B通过一个共享权重的CNN进行处理,以提取空间特征F_A和F_B,从而获得多尺度深层语义信息。随后,提取的图像特征与二维位置嵌入进行融合,构造图像标记嵌入。与此同时,文本输入经过词向量嵌入并映射至统一维度的隐藏空间,以实现跨模态对齐。图像特征随后被输入至多个堆叠的频空双域感知模块,该模块通过串行的全局分支与局部分支联合建模图像的频域-空间特征。具体而言,全局分支引入视觉状态空间模块以建模跨时序的长程依赖关系,并结合傅里叶卷积增强模块提取关键的频域高频信息;而局部分支则在层归一化(layer norm, LN)后,通过空间自适应门控模块保留通道特定的特征表达,以充分建模局部上下文关系,同时借助傅里叶卷积增强模块进一步提升对细粒度变化的捕捉能力。各模块输出通过残差连接进行特征整合,形成最终的图像嵌入表示。最后,融合后的图像表示与词嵌入共同输入基于Transformer的描述生成器,通过跨模态注意力机制生成结构化自然语言描述,实现对遥感图像变化的精准表达。

2.1 频空双域感知模块

高频信息分布于图像的边缘、纹理及局部细节区域,这些区域通常对应于双时相图像中的实际地物变化。对高频信息的有效建模能够提升模型对变化区域的定位,增强其对小目标、边界变动等细粒度结构变化的感知能力,生成信息全面、细节丰富的文本描述。此外,全局与局部特征的有效融合不仅提升模型对局部细节变化的敏感性,也有助于保持整体语义的连贯与完整。然而,现有的RSICC方法多依赖于空间域自注意力机制与多尺度融合策略,忽视了高频细节的有效建模,且在全局与局部特征融合方面存在不足,导致模型在处理小尺度和局部结构变化时表现受限,生成的描述存在信息遗漏和语义碎片化等问题。为此,提出一种频空双域感知模块(frequency-spatial dual-domain perception module, FSDP)以增强模型对高频信息及全局与局部特征的建模能力,结构如图2所示。模块结合频域的傅里叶卷积增强模块和空间域的视觉状态空间模块及空间自适应门控模块,通过频域与空间域的协同建模,融合全局和局部特征,实现跨域多维度的高效特征融合。

(1)全局特征联合优化。将给定的第i-1层输出特征图x_i_-1作为第i层的输入,在第i层FSDP通过3个并行分支对输入进行全局联合优化。首先,通过级联的层归一化与视觉状态空间模块建模空间维度上的远距离依赖关系;其次,通过傅里叶卷积增强模块在频域维度引入高频特征线索,同时增强视觉状态空间模块的表征能力;最后,引入可学习缩放因子α,实现跨域特征的自适应加权融合。经过全局频空联合建模后的输出特征Y。

(1)Y=α_ix_i_-1+VSSM[LN(x_i_-1)]+FCEM(x_i_-1)

式(1)中:VSSM为视觉状态空间模块;FCEM为傅里叶卷积增强模块。

(2)局部特征联合优化。在完成全局特征建模后,输出特征Y通过3个并行分支对输入进行局部联合优化。首先,通过LN对特征Y进行标准化处理,以确保数值稳定性;接着,采用空间自适应门控模块提取空域局部特征;其次,通过傅里叶卷积增强模块的频域学习机制提升局部特征建模的感知能力;最后,借助可学习缩放因子α_i₊₁实现局部特征与全局表征的动态自适应融合,如式(2)所示。

(2)x_i=α_i₊₁Y+SAGM[LN(Y)]+FCEM(Y)

式(2)中:SAGM为空间自适应门控模块。

2.2 傅里叶卷积增强模块

在RSICC任务中,现有方法通常面临高频细节丢失的问题,导致对地表变化的描述不够准确。然而,傅里叶变换方法具备全局建模能力,能够有效分离图像中的退化成分,使遥感影像在频域中展现出更稳定且显著的特征,从而减少冗余信息的干扰。因此,基于傅里叶变换设计了一种傅里叶卷积增强模块(Fourier convolution enhancement module, FCEM),通过结合普通卷积的空间信息和傅里叶变换的频域信息空间-频域进行双域协同特征提取,有效增强高频细节的表征能力,并促进全局与局部特征的动态融合。结构如图3所示。

对于给定的特征图x_i_-1∈R^H^×^W^×^C,其傅里叶变换公式为

(3)F(u,v)=$\frac{1}{\sqrt{\mathit{H}\mathit{W}}}\stackrel{\mathit{H}-1}{\sum _{\mathit{h}=0}}$

$\stackrel{\mathit{W}-1}{\sum _{\mathit{w}=0}}$

X(h,w)${\mathrm{e}}^{-\mathrm{j}2\mathrm{\pi }\left(\frac{\mathit{h}\mathit{v}}{\mathit{H}}+\frac{\mathit{w}\mathit{v}}{\mathit{W}}\right)}$

式(3)中:F(u,v)为以傅里叶空间为复数分量;H、W、C分别为特征图的高度、宽度、通道数;h和w为空间域的索引,分别表示特征图在高度和宽度方向上的位置;u和v为傅里叶空间的坐标。

在空间域操作中,首先使用点卷积来提升输入特征图x_i_-1∈R^H^×^W^×^C的表达能力,然后将其分为两组来提取多尺度局部特征,最终得到多尺度局部特征X_spa∈R^H^×^W^×2^C,如式(4)所示:

(4)X_spa=PConv(σConv_multi{Split[PConv(x_i_-1)]})

式(4)中:Conv_multi为3×3和5×5的多尺度卷积核;PConv为点卷积;σ为GeLU激活函数。

在频域操作中,X_spa首先通过离散傅里叶变换F,转换为实部和虚部,并进行拼接。接着使用1×1卷积核进行卷积操作,得到分离的实部和虚部。然后进行逆离散傅里叶变换F^-1,将频域特征转换回空间域,即

(5)X_R,X_I=F(X_spa)

(6)$\hat{{\mathit{X}}_{\mathrm{R}}}$,$\hat{{\mathit{X}}_{\mathrm{I}}}$=σBN{PConv[Concat(X_R,X_I)]}

(7)X_fre=F^-1(${\hat{\mathit{X}}}_{\mathrm{R}}$,${\hat{\mathit{X}}}_{\mathrm{I}}$)

式中:X_R和X_I分别为傅里叶变换后得到的实部和虚部特征;

$\hat{{\mathit{X}}_{\mathrm{R}}}$

和

$\hat{{\mathit{X}}_{\mathrm{I}}}$

分别为调制后的实部与虚部特征。

最后,通过残差连接和PConv得到最终的空间-频域特征y‴,即

(8)y‴=PConv(X_spa+X_fre)

2.3 视觉状态空间模块

在RSICC任务中,生成准确且语义一致的文本不仅依赖于对显著变化区域的细粒度局部建模,还要求模型具备对跨时相、跨空间尺度的全局语义理解能力。尽管当前主流方法采用基于Transformer的架构进行全局依赖建模,但其标准自注意力机制对地理空间连续性的建模存在固有偏差,难以充分表达复杂的变化语义。为了解决这一问题,基于状态空间模型设计了一种视觉状态空间模块(vision state space module, VSSM),结构如图4所示。该模块通过结构化状态转移机制,增强模型对跨区域长程依赖的建模能力,进一步提升全局感知能力。

在与局部分支协同建模的过程中,VSSM不仅优化整体语义建模的完整性,还为傅里叶卷积增强模块提供更具上下文深度的先验支撑,从而强化模型对高频变化细节的感知与表达能力,有效提升变化描述的准确性与语义一致性。

在状态空间分支中,归一化特征x_N=LN(x_i_-1)首先通过线性投影层φ₁在通道维度上进行扩展,其扩展因子为λ,随后进行1×1深度卷积f₁、SiLU激活函数σ₁、状态空间模型(SSM)和层归一化(LN),从而生成第一分支的输出,记为h₁。该分支的定义为

(9)h₁=LN[SSM(σ₁{f₁[ϕ₁(x_N,λ)]})]

在普通卷积分支中,输入特征图x_i_-1∈R^H^×^W^×^C首先通过线性投影层φ₂进行扩展、随后进行1×1深度卷积f₂和SiLU激活函数σ₂来生成第二个分支的输出h₂。该分支的输出为

(10)h₂=σ₂{f₂[ϕ₂(x_N,λ)]}

最后,通过逐元素乘积对分支特征h₁与h₂进行逐元素交互,捕获跨分支的细粒度特征关联。融合后的特征经线性投影层φ₃映射至目标特征空间,生成最终输出y″,即

(11)y″=ϕ₃(h₁☒h₂)

2.4 空间自适应门控模块

现有的图像描述方法通常采用多层感知机(multilayer perceptron, MLP)^[30]进行特征传播,或在建模长距离依赖关系后,结合注意力机制或生成对抗网络等方法,以增强模型对图像语义和空间信息的建模能力^[31-32]。然而,在遥感图像变化描述任务中,此类方法在空间变化建模方面仍存在局限,难以充分捕捉精细的局部变化特征。为此,提出空间自适应门控模块(spatial-adaptive gating module, SAGM),该模块在像素域内对局部特征进行选择性增强或抑制,同时保持通道特异性信息,通过逐点融合坐标特征与门控权重,实现对局部上下文关系的建模。SAGM有效提升了模型对空间变化特性的感知与表达能力,其结构如图5所示。

对于给定的输入特征y首先通过一个1×1卷积把通道维度扩展至2c。随后按通道维度划分为y₁和y₂。y₁和y₂分别被送入局部感知和门控生成分支。

在局部感知分支中,依次通过卷积、深度可分离卷积以及通道注意力模块CAB,以提取局部结构与空间坐标特征y_coor,即

(12)y_coor=CAB{Dconv[Conv(y₁)]}

在门控生成分支中,特征y₂通过逐像素线性投影层与GELU激活函数,生成动态门控权重M,即

(13)M=GELU[Linear(y₂)]

最后,两分支的输出通过逐元素乘法进行融合,并通过1×1卷积进一步整合特征,输出最终结果x″_i,即

(14)x″_i=Conv(M☉y_coor)

3 实验与结果分析

3.1 数据集和评价指标

LEVIR-CC数据集^[11]涵盖显著的土地利用变化,包含10 077对高分辨率遥感图像块,每对图像尺寸为256×256像素,每对图像有5条变化描述,总计50 385条文本注释。数据集划分为训练集(7 590对)、验证集(1 438对)和测试集(2 135对)。

Dubai-CC数据集^[33]聚焦迪拜地区城市变化,包含500对50×50遥感图像块,每对图像标注5条变化描述,总计2 500条文本注释。参照文献[10]实验设置,将数据划分为训练集(300对)、验证集(50对)和测试集(150对)对模型进行验证。

为全面衡量模型性能,实验采用4种广泛应用于遥感图像描述任务的通用评估指标。

(1)BLEU-N(N=1,2,3,4)^[34]通过多粒度n-gram匹配机制评估生成文本的质量。其计算过程分为3个阶段:首先计算1~4阶n-gram在生成文本与参考文本之间的精确匹配度;其次采用几何平均算法融合不同粒度的匹配结果;最后通过简洁度惩罚因子(brevity penalty, BP)对生成文本的长度偏差进行补偿校准。该指标通过协同考量局部语义准确性与全局结构完整性,实现对文本生成质量的量化评估。

(15)BLEU-N=exp($\stackrel{\mathit{N}}{\sum _{\mathit{n}=1}}\frac{1}{\mathit{N}}$lnp_n)BP

式(15)中:p_n为n-gram的精度;BP为简洁度惩罚因子。

(2)ROUGE-L^[35]通过计算生成描述与参考描述之间的最长公共子序列(longest common subsequence, LCS)来评估二者的相似性。该方法以较长序列的长度为基准,分别计算LCS相对于它们的比例,从而量化生成描述对参考内容核心语义的匹配程度。

(16)ROUGE-L=$\frac{\mathrm{L}\mathrm{C}\mathrm{S}(\mathit{g},\mathit{r})}{\mathrm{m}\mathrm{a}\mathrm{x}\left[\mathrm{l}\mathrm{e}\mathrm{n}\right(\mathit{g}),\mathrm{l}\mathrm{e}\mathrm{n}(\mathit{r}\left)\right]}$

式(16)中:LCS(g, r)为生成描述g与参考描述r的最长公共子序列长度;len(g)和len(r)分别为生成文本和参考文本的长度。

(3)METEOR(metric for evaluation of translation with explicit ORdering)^[36]通过计算生成描述与参考描述之间的最长公共子序列(longest common subsequence, LCS)长度,来衡量它们在序列结构上的相似性。该指标通过强化连续匹配片段优化文本连贯性,并利用调和平均机制实现精确率与召回率的动态平衡,从而更全面地反映生成内容与参考内容的对齐程度。

(17)METEOR=(1-α)PR

$\frac{\mathit{P}+\mathit{\beta }\mathit{R}}{\mathit{P}+\mathit{R}}$

式(17)中:P为精确率;R为召回率;α和β为可调节参数。

(4)CIDEr-D^[37]通过基于TF-IDF权重的n-gram匹配机制,量化生成描述与参考描述间的语义一致性。该指标注重识别多样化且具描述性的短语表达,对信息密度更高、语言表述更丰富的生成内容分配更高权重,从而精准评估生成文本的语义覆盖广度及表达多样性。

(18)CIDEr-D=TF-IDF(gen,ref)

式(18)中:gen和ref分别为生成描述和参考描述;TF-IDF为通过词频与逆文档频域加权计算的相似度指标,用于衡量生成描述与参考描述在语义层面上的匹配程度,从而精准反映两者在关键信息表达上的关联性。

上述指标通过对比生成句子与参考句子的语义契合度来评估描述质量,数值越高则表明生成内容在关键信息、句式表达及逻辑连贯性上与参考内容的相似度越高,进而更直观体现描述生成模型的准确度与可信度。

3.2 实验平台

处理器选择12th Gen Intel© CoreTMi7-12700KF*20,操作系统版本为Ubuntu 18.04.6LTS,显卡型号为NVIDIA GeForce RTX 3090Ti/PCIe/SSE2,所有实验均在相同配置环境下进行。在基于PyTorch的深度学习框架上进行训练,训练过程中采用Adam优化器^[38]进行优化,初始学习率设为0.000 1,并采用预热策略使学习率逐渐下降至最小,以确保模型在训练过程中具备稳定的收敛性与较高的性能表现。

3.3 对比试验

为验证频空双域Mamba网络在遥感图像变化描述任务中的有效性,在两个公开数据集LEVIR-CC和Dubai-CC上进行了实验,与DUDA^[39]、MCCFormers^[40]、RSICCformer^[11]、PSNet^[13]、SEN^[17]和SFT^[16]现有方法进行对比。从多个评价维度出发,包括描述的准确性、一致性以及语义匹配性等方面,对各方法的性能表现进行了全面评估。表1和表2分别展示了不同方法在两个数据集上的评估结果。

在LEVIR-CC数据集上,FDMNet方法在所有评估指标上均取得最佳性能,在BLEU-4和CIDEr-D关键指标上分别达到了66.06%、139.08%,优于当前对比方法,展现了其在高分辨率城市遥感场景中对建筑结构变迁与细粒度语义的精确捕捉能力。DUDA、SEN等方法主要依赖空间域差异建模,或通过多尺度注意力机制提升跨图像的语义对齐能力,虽然在一定程度上缓解了跨时序表达的差异,但在频域变化建模、高频细节表征和时序长距离语义依赖建模方面存在局限。引入傅里叶卷积增强模块和视觉状态空间模块,以捕捉跨帧的长期依赖关系,从而增强语义表达的连贯性与准确性这两者协同作用显著提升了模型对复杂变化过程的有效建模能力。例如,在句子准确性和内容匹配度敏感的指标BLEU-4和METEOR上,FDMNet均优于所有对比方法,验证了该方法在描述复杂场景变化方面的有效性。这种性能提升,特别是对BLEU-4、CIDEr-D等衡量细节和语义一致性指标的改善,在实际应用中可转化为更高的信息价值与决策支持能力。例如,在城市建设监测场景中,基线模型可能仅生成“出现了新建筑”这类笼统描述。相比之下,FDMNet得益于其频域增强与细节感知能力,更倾向于生成如“在街区南侧空地上,新建了一栋蓝色屋顶板房”等包含位置、颜色、结构等多维度细节的描述。这类描述能够提供更加直接且可定位的辅助信息,从而提升自动化监测系统的实用性与决策支持能力。

在Dubai-CC数据集上,FDMNet也展现出良好的性能与泛化能力,如表2所示。该数据集场景复杂且图像分辨率相对较低,模型在捕捉局部细节和短距离上下文信息时面临一定挑战,导致部分低阶指标略逊于部分对比方法。但在更侧重整体语义表达和长距离依赖的BLEU-4与CIDEr-D指标上,FDMNet分别取得了37.95%与92.05%的领先成绩,体现了其在复杂语义建模中的优势。尽管在BLEU-2等偏重词级匹配的指标上,各方法之间差异相对有限,但FDMNet在综合衡量语义连贯性与信息丰富度的CIDEr-D指标上表现更为稳健。这一优势在复合变化场景中尤为重要。面对快速城市化或大型工程区域中同时存在的多类型变化,FDMNet依托频空协同机制,更有效地协调全局场景理解与局部变化定位,从而生成层次清晰、要素较为完整的综合性描述。该能力有助于支撑结构化变化报告的生成,在提升信息可读性与应用价值方面具有积极意义。

RSICC任务中,存在的伪变化、光照干扰与遮挡问题,对模型的鲁棒性提出更高要求。FDMNet依托频率域特征筛选机制,有效抑制了无效响应区域,提高了对真实变化的辨识能力,在语义一致性指标METEOR和CIDEr-D上取得了较好成绩,验证了模型在描述稳定性与判别能力方面的有效性。

相较于MCCFormers-S、DUDA和FDMNet,FDMNet凭借其全局频率聚焦能力,有效适应复杂变化干扰与跨域场景泛化需求,通过频域层面的深度语义整合,提升模型表达能力。该网络在两个基准数据集上均获得优异的CIDEr-D评分,验证了其在跨任务适应性与高阶语义建模方面的优势。

3.4 消融实验

3.4.1 频空双域感知模块各组件的消融研究

为验证频空双域感知模块中各组件的有效性,在数据集LEVIR-CC与Dubai-CC上进行了消融研究,结果如表3和表4所示。

(1)FSDP-V-S:FSDP中移除VSSM和SAGM。

(2)FSDP-V-F:FSDP中移除VSSM和FCEM。

(3)FSDP-S-F:FSDP中移除SAGM和FCEM。

(4)FSDP-V:FSDP中移除VSSM。

(5)FSDP-S:FSDP中移除SAGM。

(6)FSDP-F:FSDP中移除FCEM。

FDMNet在数据集LEVIR-CC上的BLEU-4为66.06%,CIDEr-D为139.08%,优于其他消融配置。具体来看,FSDP移除VSSM后,CIDEr-D下降至137.82%,表明缺乏视觉状态空间的全局建模能力,削弱了模型对复杂时序信息的建模效果。移除SAGM导致BLEU-4降至65.59%,说明空间校准机制在提升句子结构一致性与目标边界表征方面具有显著贡献;移除FCEM后,CIDEr-D下降至138.58%,表明频域增强机制在细粒度语义建模中的重要性。FCEM能够有效提取图像中的高频结构特征,如变化区域的边界与纹理信息。通过在频域建模,FCEM提升了模型对细节变迁、边界过渡、局部扰动的感知能力,进一步增强生成描述中对目标外观变化、轮廓特征等要素的表达精度。上述结果表明,FSDP模块通过3种子模块的协同感知,在空间与频率两个维度实现深层次特征对齐与增强,有效支撑了复杂变化场景下的自然语言描述生成。

为进一步验证FSDP模块的跨场景适应性与协同建模能力,在Dubai-CC数据集上进行相同的消融实验。结果显示表4所示,FDMNet模型在CIDEr-D与BLEU各项指标上同样取得最优结果,验证了频空双域感知机制的普适性。移除VSSM后CIDEr-D下降至91.82%,表明VSSM的全局时序感知机制能够有效捕捉建设过程中的阶段性变化,在增强语义连贯性与变化路径建模方面表现出优势。移除SAGM后,CIDEr-D降至91.37%,说明其局部结构的自适应建模能力在空间特征对齐与语义边界表征中发挥了关键作用。SAGM能够有效引导模型精确感知变化目标的边界与结构轮廓,提升描述中对细节变化的刻画能力,增强语义表达的准确性与完整性。FSDP模块中的三者协同机制不仅在多尺度遥感变化场景中形成互补,在跨区域、跨语义复杂度的数据集上表现出良好的稳定性和可迁移性。

3.4.2 频空双域感知模块有效性分析

为验证FSDP的有效性,选取空间结构感知融合(structure-aware state fusion, SASF)^[41]、频域感知级联注意力(frequency-aware cascade attention, FCA)^[42]和频域感知注意力模块(frequency-aware attention block, FAB)^[43]在数据集LEVIR-CC和DUBAI-CC上进行模块消融实验,结果如图6所示。在LEVIR-CC数据集上,FSDP的BLEU-4与CIDEr-D分别达到66.06%、139.08%,均优于其他模块。相较于FCA模块,BLEU-4与CIDEr-D分别提升3.07%和2.48%。表明FSDP通过FCEM的动态傅里叶卷积选择机制,有效筛选跨时空关键频率分量,增强模型对图像细粒度高频变化的感知与建模能力,如“道路边缘”、“建筑裂缝”。与SASF相比,FSDP在BLEU-4和CIDEr-D指标上分别提升1.08%与2.24%,验证了其依托VSSM的时序状态建模能力与SAGM的空间注意校准机制,能够更好地实现频域与空间域信息的协同融合,有效缓解传统方法中频域与空间特征建模之间的协同不足问题。此外,相较于FAB模块,FSDP的BLEU-4和CIDEr-D分别为提升0.21%和0.19%。表明FSDP的联合感知机制具备较强的适应性,能够根据图像变化类型自适应地选择最具判别力的频率与空间特征子空间。

为进一步验证FSDP模块的跨场景适应性与协同建模能力,在Dubai-CC数据集上进行相同的消融实验。结果显示,FDMNet模型在CIDEr-D与BLEU各项指标上同样取得较优结果。表明FSDP在建模细粒度变化、应对不同尺度差异及提升语义描述完整性等方面表现出更强的稳定性和跨场景泛化能力,验证其设计中的频空协同机制在遥感变化描述任务中的潜力。

3.4.3 频空双域Mamba网络在不同深度孪生结构下的适应性分析

为验证频空双域Mamba网络在不同深度孪生结构下的性能表现,基于ResNet18、ResNet34、ResNet50和ResNet101设计多组对比实验,结果如表5和表6所示。在LEVIR-CC数据集上,模型性能随着主干网络深度的增加呈现稳步提升趋势。其中,采用ResNet101作为主干时,在CIDEr-D和BLEU-4等关键指标上相较于较浅层结构取得更优表现,CIDEr-D指标提升约4.09%,BLEU-4提升约13.55%,且各BLEU子指标均显示出与深度正相关的增长趋势。在Dubai-CC数据集的跨域验证中,采用ResNet101时,相较于ResNet18,METEOR和ROUGE-L指标分别提升约25.7%和9.0%,展现出该网络结构在复杂场景下的较强适应能力。整体而言,频空双域Mamba网络在不同深度架构中均带来稳定的性能增益,具备良好的结构适应性与跨深度泛化潜力,进一步验证了所提频空双域感知机制在遥感图像变化描述任务中的有效性。

3.5 定性分析

为验证所提出的频空双域Mamba网络在遥感图像变化描述任务中的有效性,在数据集LEVIR-CC和Dubai-CC上对遥感双时相图像的变化区域进行热力图可视化,并生成相应的变化描述结果,如图7和图8所示。由图7(a)可以看出,该方法能够聚焦于道路发生的细节变化,所输出的文本由真实标注的“一条新路”细化为“一条新水泥路”,这表明FDMNet能够有效捕捉道路等细粒度结构的高频变化。结合图7(b)可以发现,FDMNet能够关注到结构发生轻微变化的局部区域,所输出的文本由真实标注“四栋建筑”准确地描述为“五栋别墅”,这表明FDMNet能够结合全局建模与局部细节感知能力,实现由整体到细节的刻画。FDMNet在数据集Dubai-CC上展示了相同的表现。如图8(a)所示,FDMNet所关注的区域聚焦于人工湖的新建区域,所输出的真实标注“一条河”描述为“一条人工河”,展现出FDMNet对遥感区域语义发生转移时的细粒度建模能力。通过定性结果分析,FDMNet通过增强高频信息建模能力,并有效融合全局结构信息与局部细节特征,在变化区域定位精度及语言表达细粒度方面均表现出较好的性能。这种由“是否发生变化”向“变化细节如何”的描述能力提升,是从传统变化检测迈向可解释变化描述的重要步骤。在国土变更调查、城市规划监管及灾害损毁评估等实际应用场景中,此类细粒度描述有助于降低人工复核过程中的不确定性,为决策提供更加直观且可靠的信息支持,体现出所提方法良好的应用潜力。

4 结论

提出了基于频空双域Mamba网络的遥感图像变化描述方法,缓解了双时相遥感图像变化中高频细节丢失及全局与局部特征融合不足的问题。该方法中的频空双域感知模块由傅里叶卷积增强模块、视觉状态空间模块及空间自适应门控模块组成,能够同时联合建模频域与空间域特征,实现全局上下文与局部细节的融合。其中,傅里叶卷积增强模块借助快速傅里叶变换筛选关键频率成分,增强对显著变化区域的高频感知能力;视觉状态空间模块通过结构化状态转移机制建模遥感图像中的长程依赖关系,提供全局语义支持;空间自适应门控模块则引入坐标引导机制,动态调整特征响应权重,以强化局部变化的感知与表达。

实验结果表明,本文方法在LEVIR-CC和Dubai-CC两个数据集上均取得性能提升,优于现有的对比方法。定性分析展示本方法能够准确地定位和描述微小变化区域,生成文本更具细致性和一致性。

总体而言,所提出的基于频空双域Mamba网络的遥感图像变化描述方法通过融合频域与空间域特征,在一定程度上增强了对变化语义的建模能力,适用于遥感影像中大尺度结构变化与复杂纹理信息的联合建模,体现出一定的技术时效性与应用潜力。随着遥感数据规模的持续增长以及应用场景的不断扩展,该方法有望在智能地理信息系统、自动化变化监测平台及灾害应急响应系统等领域发挥积极作用,为遥感图像变化解译技术向更智能化、语义化方向发展提供参考。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	张涛, 王光辉, 郑利娟, 等. 近30年中国城市群城市建设用地扩张遥感监测与时空变化特征分析[J]. 遥感学报, 2024, 28(11): 2838-2849.

[2]	Zhang Tao, Wang Guanghui, Zheng Lijuan, et al. Remote sensing monitoring and spatiotemporal change characteristics of urbanconstruction land expansion in China’s urban agglomerations over the past 30 years[J]. Journal of Remote Sensing, 2024, 28(11): 2838-2849.

[3]	袁艺馨, 温庆可, 徐进勇, 等. 1990—2020年粤港澳大湾区红树林动态变化遥感监测[J]. 遥感学报, 2023, 27(6): 1496-1510.

[4]	Yuan Yixin, Wen Qingke, Xu Jinyong, et al. Remote sensing monitoring of dynamic changes in mangrove forests in the Guangdong-Hong Kong-Macao Greater Bay Area from 1990 to 2020[J]. Journal of Remote Sensing, 2023, 27(6): 1496-1510.

[5]	晏红波, 徐鹏钧, 卢献健. 基于GF6遥感影像的喀斯特地区植被对短期干旱的响应[J]. 科学技术与工程, 2024, 24(27): 11576-11585.

[6]	Yan Hongbo, Xu Pengjun, Lu Xianjian. Response of vegetation to short-term drought in the Karst region based on GF6 remote sensing imagery[J]. Science Technology and Engineering, 2024, 24(27): 11576-11585.

[7]	刘博, 牛全福, 王刚, 等. 联合多源遥感数据的黄土高原(甘肃区)森林覆盖变化及驱动力分析[J]. 科学技术与工程, 2025, 25(1): 54-66.

[8]	Liu Bo, Niu Quanfu, Wang Gang, et al. Analysis of forest cover changes and driving forces in the Loess Plateau (Gansu region) based onmultisensor remote sensing images[J]. Science Technology and Engineering, 2025, 25(1): 54-66.

[9]	Yang Y, Liu T, Pu Y, et al. Remote sensing image change captioning using multi-attentive networkwith diffusion model[J]. Remote Sensing, 2024, 16(21): 4083.

[10]	李健慷, 张桂欣, 祝善友, 等. 融合多尺度特征Transformer的高分辨率遥感图像变化检测[J]. 遥感学报, 2025, 29(1): 266-278.

[11]	Li Jiankang, Zhang Guixin, Zhu Shanyou, et al. Change detection of high-resolution remote sensing images using multi-scale feature Transformer[J]. Journal of Remote Sensing, 2025, 29(1): 266-278.

[12]	高崇钦, 谷延超, 沈富强, 等. 基于改进深度卷积生成对抗网络的遥感影像变化检测[J]. 科学技术与工程, 2025, 25(23): 9911-9918.

[13]	Gao Chongqin, Gu Yanchao, Shen Fuqiang, et al. Remote sensing image change detection based on improved deep convolutional gene-ration adversarial network[J]. Science Technology and Engineering, 2025, 25(23): 9911-9918.

[14]	宋井宽, 曾鹏鹏, 顾嘉扬, 等. 基于视觉区域聚合与双向协作的端到端图像描述生成[J]. 软件学报, 2023, 34(5): 2152-2169.

[15]	Song Jingkuan, Zeng Pengpeng, Gu Jiayang, et al. End-to-end image description generation based on visual region aggregation and bidirectional collaboration[J]. Journal of Software, 2023, 34(5): 2152-2169.

[16]	晋嘉利, 余璐. 应用动态Token的融合特征的持续图像字幕生成[J]. 计算机工程与应用, 2025, 61(4): 176-191.

[17]	Jin Jiali, Yu Lu. Continual image captioning with dynamic Token-used fusion feature[J]. Computer Engineering and Applications, 2025, 61(4): 176-191.

[18]	Hoxha G, Chouaf S, Melgani F, et al. Change captioning: a new paradigm for multitemporal remote sensing image analysis[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-14.

[19]	Liu C, Zhao R, Chen H, et al. Remote sensing image change captioning with dual-branch transformers: a new method and a large scale dataset[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-20.

[20]	Chang S, Ghamisi P. Changes to captions: an attentive network for remote sensing changecaptioning[J]. IEEE Transactions on Image Processing, 2023, 32: 6047-6060.

[21]	Liu C, Yang J, Qi Z, et al. Progressive scale-aware network for remote sensing image change captioning[C]// IEEE International Geoscience and Remote Sensing Symposium (IGARSS). Pasadena: IEEE, 2023: 6668-6671.

[22]	Yang C, Li Z, Jiao H, et al. Enhancing perception of key changes in remote sensing image change captioning[J]. arxiv Preprint arxiv: 2409.12612, 2024.

[23]	Yu X, Li Y, Ma J, et al. Diffusion-rscc: diffusion probabilistic model for change captioning in remote sensing images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2025, 63: 1-13.

[24]	Sun D, Bao Y, Liu J, et al. A lightweight sparse focus transfor-mer for remote sensing image change captioning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2024, 17: 18727-18738.

[25]	Zhou Q, Gao J, Yuan Y, et al. Single-stream extractor network with contrastive pre-training for remote sensing change captioning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62: 1-14.

[26]	Smith J T H, Warrington A, Linderman S W. Simplified state space layers for sequence modeling[J]. arXiv Preprint arXiv: 2208.04933, 2022.

[27]	岳仁田, 牛萌. 基于飞行冲突网络的低空多无人机冲突探测与解脱策略[J]. 科学技术与工程, 2025, 25(22): 9631-9639.

[28]	Yue Rentian, Niu Meng, et al. Conflict detection and resolution strategy for low-altitude multiple UAVs based on flight conflict network[J]. Science Technology and Engineering, 2025, 25(22): 9631-9639.

[29]	Gu A, Goel K, Ré C. Efficiently modeling long sequences with structured state spaces[J]. arXiv Preprint arXiv: 2111.00396, 2021.

[30]	Gu A, Dao T. Mamba: linear-time sequence modeling with selective state spaces[J]. arXiv Preprint arXiv: 2312.00752, 2023.

[31]	Dong W, Zhu H, Lin S, et al. Fusion-mamba for cross-modality object detection[J]. arXiv Preprint arXiv: 2404.09146, 2024.

[32]	Liu Y, Tian Y, Zhao Y, et al. Vmamba: visual state space model[J]. Advances in Neural Information Processing Systems, 2024, 37: 103031- 103063.

[33]	陈辉, 李子旭. 基于空间分组坐标注意力和Mamba的遥感图像分类[J]. 光学学报, 2025, 45(15): 293-303.

[34]	Chen Hui, Li Zixu. Remote sensing image classification based onspatial group coordinate attention and Mamba[J]. Acta Optica Sinica, 2025, 45(15): 293-303.

[35]	马文浩, 陈颖, 李铖昊, 等. 基于双向多尺度Mamba网络的遥感图像配准方法[J]. 光学学报, 2025, 45(22): 90-102.

[36]	Ma Wenhao, Chen Ying, Li Chenghao, et al. Remote sensing ima-ge registration method based on bidirectional multi-scale Mamba network[J]. Acta Optica Sinica, 2025, 45(22): 90-102.

[37]	杨瑞, 刘钰. 基于特征交互和差分对齐的遥感影像建筑物变化检测方法[J]. 地球信息科学学报, 2025, 27(11): 2731-2740.

[38]	Yang Rui, Liu Yu. Remote sensing image building change detection method based on feature interaction and differential alignment[J]. Journal of Geo-information Science, 2025, 27(11): 2731-2740.

[39]	李雪, 李栋, 房建东, 等. 基于变化引导和双向Mamba网络的遥感影像变化检测方法[J]. 光学学报, 2025, 45(5): 218-229.

[40]	Li Xue, Li Dong, Fang Jiandong, et al. Remote sensing image change detection method based on change-guided and bidirectional Mamba network[J]. Acta Optica Sinica, 2025, 45(5): 218-229.

[41]	厉芳婷, 张过, 周方栋, 等. 基于双流并行全向扫描Mamba的遥感影像建筑物变化检测[J]. 武汉大学学报(信息科学版), 2024, 49(9): 1574-1585.

[42]	Li Fangting, Zhang Guo, Zhou Fangdong, et al. Building change detection based on dual-stream parallel omnidirectional scan Mamba network[J]. Geomatics and Information Science of Wuhan University, 2024, 49(9): 1574-1585.

[43]	张宇, 庄会富, 张祥, 等. MSF-UNet: 空间-频率双域特征融合的SAR影像无监督变化检测方法[J]. 地球信息科学学报, 2025, 27(9): 2213-2229.

[44]	Zhang Yu, Zhuang Huifu, Zhang Xiang, et al. MSF-UNet: an unsupervised change detection method for SAR images via spatial-frequency dual-domain feature fusion[J]. Journal of Geo-information Science, 2025, 27(9): 2213-2229.

[45]	Ma Y, Ji J, Sun X, et al. Image captioning via dynamic path customization[J]. IEEE Transactions on Neural Networks and Learning Systems, 2025, 36(4): 6203-6217.

[46]	刘仲民, 陈恒, 胡文瑾. SENet生成对抗网络在图像语义描述中的应用[J]. 光学精密工程, 2023, 31(9): 1379-1389.

[47]	Liu Zhongmin, Chen Heng, Hu Wenjin. Application of SENet generative adversarial network in image semantic captioning[J]. Optics and Precision Engineering, 2023, 31(9): 1379-1389.

[48]	武光利, 郭振洲, 李雷霆. 融合自上而下和自下而上注意力的图像描述生成[J]. 科学技术与工程, 2022, 22(32): 14313-14320.

[49]	Wu Guangli, Guo Zhenzhou, Li Leiting. Combining bottom-up and top-down attention for image captioning[J]. Science Techno-logy and Engineering, 2022, 22(32): 14313-14320.

[50]	Lu X, Wang B, Zheng X, et al. Exploring models and data for remote sensing image caption generation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(4): 2183-2195.

[51]	Papineni K, Roukos S, Ward T, et al. Bleu: a method for automatic evaluation of machine translation[C]// Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics. Philadelphia: Association for Computational Linguistics, 2002: 311-318.

[52]	Lin C Y. Rouge: a package for automatic evaluation of summaries[C]// Text Summarization Branches Out. Barcelona: Association for Computational Linguistics, 2004: 74-81.

[53]

Banerjee S, Lavie A. METEOR: an automatic metric for MT eva-luation with improved correlation withhuman judgments[C]// Proceedings of the ACL Workshop on Intrinsic and Extrinsic Evaluation Measures for Machine Translation and/or Summarization. Ann Arbor: Association for Computational Linguistics, 2005: 65-72.

[54]	Vedantam R, Lawrence Zitnick C, Parikh D. CIDEr-D: consensus-based image description evaluation[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society, 2015: 4566-4575.

[55]	Kingma D P. Adam: a method for stochastic optimization[J]. arXiv Preprint arXiv: 1412.6980, 2014.

[56]	Park D H, Darrell T, Rohrbach A. Robust change captioning[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Los Alamitos: IEEE Computer Society, 2019: 4624-4633.

[57]	Qiu Y, Yamamoto S, Nakashima K, et al. Describing and localizing multiple changes with transformers[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Los Alamitos: IEEE Computer Society, 2021: 1951-1960.

[58]	Xiao C, Li M, Zhang Z, et al. Spatial-mamba: effective visual state space models via structure-aware state fusion[J]. arXiv Preprint arXiv: 2410.15091, 2024.

[59]	Dai T, Wang J, Guo H, et al. FreqFormer: frequency-aware transformer for lightweight image super-resolution[C]// Proceedings of the 33rd International Joint Conference on Artificial Intelligence. California: IJCAI Organization, 2024: 731-739.

[60]	Wu W, Zheng C, Yang Z, et al. Frequency guidance matters: skeletal action recognition by frequency-aware mixed transformer[C]// Proceedings of the 32nd ACM International Conference on Multimedia. New York: Association for Computing Machinery, 2024: 4660-4669.

基金资助

国家自然科学基金(62061042)

甘肃省自然科学基金(23JRRA796)

中央引导地方科技发展资金(25ZYJN001)

PDF (10563KB)

访问

被引

详细

导航

Received	Published	Revised
2025-06-16	2026-06-28	2025-12-16
Online Date
2026-07-29

摘要