云环境中跨模态特征协同的加密图像检索方法

郭争龙; 陈若男; 周昕; 袁胜

doi:10.12404/j.issn.1671-1815.2505334

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (19) :8286-8297 DOI: 10.12404/j.issn.1671-1815.2505334

自动化技术、计算机技术

云环境中跨模态特征协同的加密图像检索方法

郭争龙 ¹ ,
陈若男 ¹ ,
周昕 ² ,
袁胜 ¹^,^*

作者信息 +

Cross-modal Feature Collaborative Encrypted Image Retrieval in Cloud Environment

Author information +

文章历史 +

摘要

云环境中加密图像检索能够有效保护数据隐私,但在密文状态下特征表达受限、视觉语义模糊仍是限制检索精度的关键瓶颈。提出一种融合动态特征表达与跨模态语义协同约束的加密图像检索方法。首先,构建非对称交叉注意力驱动的局部-全局动态特征融合网络,通过关联建模实现细粒度纹理与全局语义的互补表达,显著增强视觉特征的判别能力。其次,设计视觉-文本语义约束的跨模态哈希协同机制,将融合特征与文本特征映射至统一哈希空间,通过文本对视觉特征的弱监督纠偏,提高跨模态一致性与哈希码可分性。最后,结合BFV(Brakerski-Fan-Vercauteren)同态加密模型,实现密文哈希码的相似度计算,使检索在加密状态下完成,确保特征与结果的隐私安全。在Olivia-2688、GHIM-10k、Caltech-101及NWPU-RESISC45四个公开数据集上进行实验验证。结果表明,所提出的动态融合模块使mAP(mean average precision) 提升14.01%~15.23%,跨模态语义约束进一步提升4.56%~9.93%;同时,多项式环阶数为8 192时,密文相似度计算与明文结果保持完全一致,且具备较高的计算效率。综合结果表明,该方法能够在复杂场景下实现高判别特征表达,实现了云环境中跨模态特征协同的高精度加密图像检索。

Abstract

In cloud environments, encrypted image retrieval can effectively protect data privacy; however, limited feature expressiveness and weakened visual semantics in the ciphertext domain remain major challenges that constrain retrieval accuracy. To address these issues, an encrypted image retrieval method that integrates dynamic feature representation with cross-modal semantic co-constraints was proposed. First, a non-symmetric cross-attention-based local-global dynamic feature fusion network was developed to model the complementary relationships between fine-grained textures and global semantics, thereby enhancing the discriminability of visual features. Second, a visual-text semantic constrained cross-modal hashing framework was designed to project fused visual features and textual features into a unified hashing space, where textual semantics provide weak supervisory guidance to reduce visual ambiguity and improve cross-modal consistency. Third, the BFV(Brakerski-Fan-Vercauteren) homomorphic encryption scheme was incorporated to enable similarity computation directly in the encrypted domain, ensuring the privacy of both feature representations and retrieval results. Experiments conducted on Olivia-2688, GHIM-10k, Caltech-101, and NWPU-RESISC45 demonstrate that the proposed dynamic fusion module improves mAP(mean average precision) by 14.01%~15.23%, while the cross-modal semantic constraint yields an additional 4.56%~9.93% performance gain. Furthermore, when the polynomial ring degree is set to 8 192, ciphertext-domain similarity computation is fully consistent with its plaintext counterpart and exhibits high computational efficiency. The results confirm that the proposed method achieves highly discriminative encrypted feature representation and supports high-precision encrypted image retrieval in complex cloud environments.

Graphical abstract

关键词

数据安全 / 图像检索 / 特征协同 / 跨模态 / 同态加密

Key words

data security / image retrieval / feature collaboration / cross-modal / homomorphic encryption

引用本文

引用格式 ▾

郭争龙, 陈若男, 周昕, 袁胜. 云环境中跨模态特征协同的加密图像检索方法[J]. 科学技术与工程, 2026, 26(19): 8286-8297 DOI:10.12404/j.issn.1671-1815.2505334

GUO Zheng-long, CHEN Ruo-nan, ZHOU Xin, YUAN Sheng. Cross-modal Feature Collaborative Encrypted Image Retrieval in Cloud Environment[J]. Science Technology and Engineering, 2026, 26(19): 8286-8297 DOI:10.12404/j.issn.1671-1815.2505334

登录浏览全文

4963

注册一个新账户忘记密码

智能终端设备的普及使得数据量激增,用户越来越倾向于将数据存储在云服务器中,这也带来了隐私泄露的风险。基于内容的图像检索(content based image retrieval, CBIR)技术是云存储环境中广泛应用的重要支撑,传统的明文存储与检索模式已无法满足隐私保护需求,尤其是在医疗诊断、安防等高数据安全需求的应用场景中。为此,研究者通过加密算法确保图像在传输、存储以及检索过程中的安全性,同时利用先进的特征提取技术从图像中提取出有效特征信息,构建索引并进行相似度计算,从而实现高效、准确的隐私保护图像检索^[1-3]。

基于加密图像的检索方法将图像数据加密存储于云端,在不解密的前提下完成特征提取与相似性匹配。梁海华^[4]提出了兼容JPEG格式的加密检索方法;Martolia等^[5]提出了改进局部二值模式(local binary pattern,LBP)纹理的加密检索方法;Xia等^[6]提出了安全LBP纹理的加密检索方法;Ma等^[7]提出了基于混合加密与改进DenseNet的加密检索方法;Zhang等^[8]、Wang等^[9]与Song等^[10]则从安全神经网络推理和同态加密计算优化出发,提出了结合近似同态加密与深度神经网络的密文图像检索框架。然而,受限于同态计算噪声累积与高计算开销,这类方法在特征有效性和检索效率上仍面临挑战。基于加密特征的检索方法先提取图像特征再进行加密,通过深度学习模型提取紧凑且高效的特征表示。Zhang等^[11]提出了结合混沌算法与深度学习的安全检索方法;Wang等^[12]提出了可搜索加密的安全检索方法;Yang等^[13]提出了多密钥管理和水印追踪的安全检索方法;Li等^[14]提出了基于聚类改进和分层索引树的安全检索方法;Wu等^[15]提出了一种基于边缘计算的端到端架构的安全检索方法;潘华峰等^[16]提出了局部敏感散列的安全检索方法。此外,为进一步提升检索效率,研究者们还提出了多种深度哈希方法,如深度哈希卷积神经网络(deep hashing convolutional neural networks, DHCNN)^[17]、深度神经网络哈希(deep neural network hashing, DNNH)^[18]、深度哈希网络(deep hashing network, DHN)^[19]和双激活哈希网络(dual activation hashing network, DAHNet)^[20]等,通过紧凑的二值编码形式提升大规模数据检索的性能。

然而,现有方法仍然存在一定的局限性:一方面,特征表达模式单一,通常依赖于单一特征提取网络提取图像特征,如卷积神经网络(convolutional neural network, CNN)、视觉Transformer (vision transformer, ViT)等单一模型结构,图像特征难以全面描述复杂场景下图像的局部细节与全局结构。另一方面,深度哈希方法虽能够提高检索效率,但通常仅关注于视觉特征的哈希映射,忽视了文本特征对视觉歧义的修正作用。此外,传统加密方案难以在保证计算效率和高精度的同时支持密文相似度计算。

针对以上问题,现结合加密特征的图像检索技术提出一种基于动态特征融合、跨模态特征协同和端到端安全架构的加密检索方案,通过增强特征表达与跨模态哈希对齐提升检索准确性;结合同态计算实现密文下的特征相似度计算。为了解决传统单一CNN或Transformer特征难以兼顾图像局部细节与全局语义结构的问题,构建非对称交叉注意力驱动的局部-全局动态特征融合网络,实现局部纹理特征与全局语义特征之间的动态互补,有效增强视觉特征的表达能力与判别性。在此基础上,针对跨模态检索中的语义鸿沟,提出视觉-文本语义约束驱动的跨模态哈希协同机制,将融合后的视觉特征与文本语义特征映射至统一哈希空间,并利用文本语义对视觉歧义进行弱监督纠偏,从而提升了加密检索场景下的跨模态检索精度与鲁棒性。此外,构建面向跨模态检索任务的同态加密安全计算框架,通过将BFV(Brakerski-Fan-Vercauteren)同态加密算法与跨模态哈希检索过程深度耦合,实现密文状态下的特征相似度计算。期望通过上述方法,有效解决加密环境下特征表达受限与跨模态语义对齐困难的问题,在保障特征安全性与隐私性的同时,显著提升加密图像检索的准确性与系统整体的鲁棒性。

1 图像检索系统

采用一种安全CBIR系统,该系统由图像所有者、云服务器和用户三个实体组成,系统架构图如图1所示。

图像所有者负责对原始图像数据进行预处理,包括特征提取、加密与数据上传;云服务器存储加密图像与加密特征,在不解密的情况下完成密文哈希特征间的相似度计算,并返回密文检索结果;用户提交查询请求,并对返回的密文检索结果进行解密与查看。

为实现端到端的数据保护,系统在图像上传前采用高级加密标准(advanced encryption standard, AES)进行对称加密^[21];密钥通过Kyber算法实现加密密钥封装与交换^[22],从而实现密钥的安全传输。上述加密方案作为系统安全模块的基础支撑,为后续加密特征处理与密文检索提供可信运行环境。

在此基础上,现聚焦于特征提取与密文相似度计算的协同优化。针对跨模态协同检索任务,提出了基于卷积-Transformer混合架构的多模态特征提取模型,实现图像与文本的哈希对齐。模型图像分支融合了图像的局部细节与全局上下文信息,获得判别性更强的视觉特征表示;文本分支则提取语义标签的嵌入向量。最终,通过跨模态对齐机制将两种模态映射到统一的哈希空间,提升了跨模态检索的语义相关性。

为防止特征泄露,在特征提取后引入BFV同态加密算法对哈希特征进行加密。BFV具有同态计算特性,支持密文下的整数运算,使云服务器能够在不解密的条件下直接完成相似度度量,有效防止特征泄露,保障了特征匹配过程中的安全性。

2 卷积-Transformer混合架构的多模态哈希网络模型

采用卷积-Transformer混合架构的多模态哈希(convolutional-transformer multimodal Hashing, CT-MHash)网络模型提取图像特征,该模型能够实现特征的紧凑表示与跨模态哈希自适应对齐,其模型结构如图2所示。

CT-MHash模型图像分支的局部视觉特征选择ResNet34预训练模型提取,使用倒数第二层全局平均池化层的输出作为图像的局部精细特征。全局视觉特征选择预训练模型CLIP(contrastive language-image pre-training)的Transformer架构图像编码器提取,使用最后一层提取的CLS Token作为图像的全局视野特征。文本处理分支选择预训练模型CLIP的文本编码器提取,使用最后一层提取的CLS Token作为文本语义特征。两个模型均在大规模数据集上进行预训练,具有很好的鲁棒性,能够提取出图像和文本的有效特征^[23-24]。

为了克服单一尺度视觉特征的局限性,设计了基于多头注意力的融合模块,专注于优化图像模态内部的特征。该模块以图像的局部特征和全局特征作为输入,通过注意力机制深度挖掘二者之间的互补信息和关联性。其输出的是一个融合特征向量,它整合了局部细节与全局上下文信息,形成了语义更完备、判别性更强的图像特征表示。

为了弥补图像与文本模态间的差异,设计了跨模态哈希网络模块,专注于图像和文本特征在公共哈希空间中的对齐。该模块的核心功能是跨模态嵌入学习,将融合特征与文本特征作为输入,并对其进行线性变换和降维对齐。一方面保留输入特征的核心语义结构,另一方面约束两个分支(图像分支和文本分支)的输出在低维哈希空间中尽可能接近,从而有效减小模态差异,最终可提取出图像的二进制哈希特征和文本的二进制哈希特征。

2.1 交叉注意力融合模块

交叉注意力机制融合模块采用交叉注意力非对称网络架构,将局部视觉特征作为Query,全局视觉特征分别映射为Key-Value对,通过多头注意力机制计算关联权重;随后将注意力加权的全局特征与原始局部特征进行残差连接,归一化后输入多层感知机(multilayer perceptron, MLP)进行非线性增强,输出局部视觉特征与全局视觉特征的融合特征,其结构如图3所示。

交叉注意力机制的核心目标是动态权重分配,注意力权重的核心计算过程表示为

(1)W=softmax$\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt{{\mathrm{d}}_{\mathrm{k}}}}\right)$

式(1)中:Q为提取的局部特征(F_local);K为提取的全局特征(F_global);d_k为缩放因子;W为注意力权重矩阵。

局部特征(F_local)包含像素级纹理信息,但其感受野有限,难以建模图像内容的长程依赖;全局特征(F_global)提供图像的整体语义框架,但忽略了细节差异。交叉注意力机制通过权重矩阵W反映局部特征在各个位置上对全局特征的关注程度,使得局部特征能够聚焦于全局特征中与自身相关的部分,从而增强自身的表达能力;将全局特征的高层语义作为上下文先验,动态修正局部特征的影响区域,使局部特征在键值映射过程中学习与全局特征的关联模式,获取相关的语义信息,从而抑制歧义。其计算过程表示为

(2)F^*_local=WF_global

式(2)中:F^* _local为局部特征通过全局特征增强后的特征。

最终融合特征(F_fused)由残差连接后归一化生成,表达式为

(3)F_fused=LayerNorm(F_local+${\mathit{F}}_{\mathit{l}\mathit{o}\mathit{c}\mathit{a}\mathit{l}}^{\mathrm{*}}$)

联合损失函数由分类交叉熵损失(L_cls)和下游任务的对齐损失(L_task)组成,前者确保融合特征的判别性,后者约束下游特征在度量空间中的对齐性。该模块的优化目标可建模为

(4)L_total=L_cls(F_fused,y)+L_task(F_fused)

式(4)中:L_cls为融合特征分类的交叉熵损失;y为其类别标签;L_task为下游跨模态对齐损失。

局部特征承载细粒度纹理,全局特征蕴含高层语义,在查询、键和值的交互框架下,多头注意力机制通过并行子空间建模多样化特征交互模式,通过交叉注意力机制实现局部与全局特征前向融合-反向优化的双向优化通路,实现了局部特征与全局特征的有效融合^[25]。该模块在前向特征融合阶段,局部视觉特征通过注意力权重矩阵补充全局特征的细粒度信息;在反向语义优化阶段,全局语义特征引导局部特征动态聚焦于判别性区域,从而形成有自适应判别能力的层次化视觉表征系统。

2.2 跨模态哈希网络模块

跨模态哈希网络模块通过建立视觉-语义特征的双向优化通路,将图像与文本特征映射到统一哈希空间,同时保留特征相似性,实现跨模态特征的相似性保持。其结构如图4所示。

该模块分别对图像和文本特征进行非线性变换,将输入的文本和视觉特征降维映射到统一哈希空间对齐。在推理阶段对特征进行二值化,得到特征哈希码。在该模块中关注两个优化目标:相似性保持和量化损失。

相似性保持是确保相似样本在哈希空间中保持相似,不相似样本在哈希空间中保持不相似。使用对比损失来实现这一目标,表达式为

(5)L_img→txt=$\frac{1}{\left|\mathit{P}\right|}\sum _{(\mathit{i},\mathit{j})\in \mathit{P}}[1-\mathrm{c}\mathrm{o}\mathrm{s}({\mathit{h}}_{\mathit{i}}^{\mathit{i}\mathit{m}\mathit{g}},{\mathit{h}}_{\mathit{j}}^{\mathit{t}\mathit{x}\mathit{t}}{\left)\right]}^{2}$+$\frac{1}{\left|\mathit{N}\right|}\sum _{(\mathrm{i},\mathrm{j})\in \mathrm{N}}\left\{\mathrm{m}\mathrm{a}\mathrm{x}\right[0,\mathrm{c}\mathrm{o}\mathrm{s}({\mathit{h}}_{\mathit{i}}^{\mathit{i}\mathit{m}\mathit{g}},{\mathit{h}}_{\mathit{j}}^{\mathit{t}\mathit{x}\mathit{t}}{)-\mathit{m}]\}}^{2}$

(6)L_txt→img=$\frac{1}{\left|\mathit{P}\right|}\sum _{(\mathit{i},\mathit{j})\in \mathit{P}}[1-\mathrm{c}\mathrm{o}\mathrm{s}({\mathit{h}}_{\mathit{i}}^{\mathit{t}\mathit{x}\mathit{t}},{\mathit{h}}_{\mathit{j}}^{\mathit{i}\mathit{m}\mathit{g}}{\left)\right]}^{2}$+$\frac{1}{\left|\mathit{N}\right|}\sum _{(\mathrm{i},\mathrm{j})\in \mathrm{N}}\left\{\mathrm{m}\mathrm{a}\mathrm{x}\right[0,\mathrm{c}\mathrm{o}\mathrm{s}({\mathit{h}}_{\mathit{i}}^{\mathit{t}\mathit{x}\mathit{t}},{\mathit{h}}_{\mathit{j}}^{\mathit{i}\mathit{m}\mathit{g}}{)-\mathit{m}]\}}^{2}$

式中:P为正样本对集合;N为负样本对集合;h_txt为文本特征哈希码;h_img为视觉特征哈希码;cos(h_i,h_j)为计算两个哈希码的余弦相似度;m为控制不相似样本对的相似度上限的超参数。

总相似性保持损失为

(7)L_sim=$\frac{1}{2}$(L_img→txt+L_txt→img)

量化损失是促使哈希码接近二值化,取值为-1或1。使用L2损失来实现这一目标,表达式为

(8)$L_{\text {quant }}=\frac{1}{2 S} \sum_{i=1}^{s}\left[\left(\left|\boldsymbol{h}_{i}^{\mathrm{img}}\right|-1\right)^{2}+\left(\left|\boldsymbol{h}_{i}^{\mathrm{txt}}\right|-1\right)^{2}\right]$

式(8)中:S为批次大小;$ \left | \boldsymbol{h}_{i} \right | $为哈希码的绝对值;L_quant为总量化损失。

该模块的优化目标可建模为

(9)L_total=L_sim+λL_quant

式(9)中:λ为平衡两项损失权重的超参数。

哈希编码训练阶段生成连续特征,可表示为

(10)h_cont=tanh(Wf+b)

式(10)中:f为输入特征;W和b为哈希网络参数;h_cont为连续实值的特征。

推理阶段生成二值哈希码,即

(11)h_hash=sign(h_cont)

式(11)中:sign(·)为符号函数;h_hash为二值特征哈希码。

3 基于BFV同态特性的密文相似度计算

为实现相似度计算任务在加密环境下的可行性,对特征哈希编码进行了BFV同态加密,使得服务器能够在不解密的前提下执行相似度计算操作。在检索过程中,服务器无需解密即可在密文之间计算特征相似度,避免了特征信息泄露,保障了检索过程中的数据安全。

1)汉明距离计算原理

在哈希检索任务中,汉明距离是哈希码之间相似性度量的重要指标,不仅能够保证检索结果的准确性,还能大幅提升系统的响应速度^[26]。其计算过程可表示为

(12)$D_{\mathrm{H}}(\boldsymbol{x}, \boldsymbol{y})=\sum_{i=1}^n\left(\boldsymbol{x}_i \oplus \boldsymbol{y}_i\right)$

式(12)中:x和y为两个等长向量,n为向量的长度;⊕表示逻辑异或运算,规则为:对于二进制a和b,若a≠b,则a⊕b=1;若a=b,则a⊕b=0。

2)密文汉明距离计算设计

异或操作可转化为向量间的直接运算,计算过程为

(13)$\boldsymbol{x} \oplus \boldsymbol{y}=\sum_{i=1}^n\left(\boldsymbol{x}_i+\boldsymbol{y}_i-2 \boldsymbol{x}_i \boldsymbol{y}_i\right)$

在BFV同态加密下,可以利用其同态性在密文域直接计算,计算过程可表示为

(14)D^E_H(x_E,y_E)=$\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}[{\mathit{x}}_{\mathrm{E}}+{\mathit{y}}_{\mathrm{E}}-2\mathrm{R}\mathrm{e}\mathrm{l}\mathrm{i}\mathrm{n}({\mathit{x}}_{\mathrm{E}}{\mathit{y}}_{\mathrm{E}}{\left)\right]}_{\mathit{i}}$

式(14)中:x_E和y_E分别为x和y对应的密文哈希向量;Relin(·)为同态乘法后的重线性化操作。

最终,通过解密后的汉明距离与明文汉明距离相等,即

(15)D_H(x,y)=Dec[D^E_H(x_E,y_E)]

3)多模态融合密文相似度计算

在密文环境中提出一种视觉-文本相似度融合评分机制,实现加密状态下的跨模态协同检索。

相似度计算过程中,将查询图像特征与被查询图像特征的相似度作为视觉模态的相似度,查询文本特征与被查询视觉特征的相似度作为文本模态的相似度。将两个模态得到的相似度相加得到图像相似度的总得分,确保了图像在两个模态中的相似度都能被综合考虑。其计算过程可表示为

(16)S(q_v,q_t,d_v)=D_H(q_v,d_v)+D_H(q_t,d_v)

式(16)中:q_v与q_t为分别查询的视觉与文本特征;d_v为被查询的视觉特征。

在BFV同态加密下,计算过程可表示为

(17)S_E(q^E_v,q^E_t,d^E_v)=D^E_H(q^E_v,d^E_v)+D^E_H(q^E_t,d^E_v)=$\mathrm{ }\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}${[q^E_v+d^E_v-2Relin(q^E_vd^E_v)]+ [q^E_t+d^E_v-2Relin(q^E_td^E_v)]}_i

式(17)中:

${\mathit{q}}_{\mathrm{v}}^{\mathrm{E}}$

、

${\mathit{q}}_{\mathrm{t}}^{\mathrm{E}}$

和

${\mathit{d}}_{\mathrm{v}}^{\mathrm{E}}$

分别为q_v、q_t和d_v对应的密文向量。

该融合机制利用了BFV同态加密的同态特性,实现了密文状态下视觉与文本特征的协同相似度约束,提升了加密检索的准确性与安全性。

4 实验与性能分析

4.1 实验设置

为验证本文所提出的跨模态模型在加密图像检索任务中的有效性,在多个公开数据集上进行了实验。

4.1.1 数据集介绍

本方法在Olivia-2688^[27]、GHIM-10k^[28]、Caltech-101^[29]和NWPU-RESISC45^[30]四个公共基准图像数据集上进行了测试。

数据集1:Olivia-2688由2 688 张人造场景图像组成。该数据集分为海岸、森林、公路、城市内部、山区、开阔乡村、街道和高层建筑8 类。每个类别由不同数量的图像组成,最多的有410 张图像,最少的有260 张图像。

数据集2:GHIM-10k是一个用于图像分类和检索的数据集,包含10 000 张自然场景图像,分为20 类,如日落、汽车、山脉、昆虫等,每个类别500 张图像。

数据集3:Caltech-101数据集包含101 类的9 000多张物体图像,如直升机、大象、椅子等。每个类别有40~800 张图像,大多数类别大约有50 张图像。

数据集4:NWPU-RESISC45是由西北工业大学发布的高分辨率遥感场景数据集,共31 500 张图像,包含45 类典型遥感场景,涵盖机场、港口、居民区、森林、河流、工业区等复杂地表场景。每类700 张图像。

4.1.2 数据集划分与检索评估设置

测试时将每张图像视觉特征与其类别标签的文本特征在测试集中进行匹配,同一类的图像作为正样本来评估检索效率。为确保实验结果的公平性与代表性,在进行数据集划分时,采用了按类别均衡的随机划分策略。具体而言,对于每个类别的样本,按照固定比例(50%用于训练,20%用于验证,30%用于测试)分别随机选取样本,以保证各子集中类别分布一致,避免由于类别不平衡或划分偏倚对模型性能造成干扰。该划分方式有助于评估模型在各类别上的泛化能力,从而提升实验的可信度。

4.2 评价指标定义

为评估加密图像检索系统的检索性能,采用以下三个经典指标。

(1)平均检索精度:平均检索精度(average retrieval precision, ARP)表示在前k个检索结果中,相关结果所占比例。其定义为

(18)ARP=$\frac{1}{\mathit{k}}\stackrel{\mathit{k}}{\sum _{\mathit{i}=1}}$rel(i)

式(18)中:rel(i)∈{0, 1},为第i个结果的相关性。

(2)精确率-召回率:精确率-召回率( P-R)曲线通过不同召回率水平下对应的计算精度绘制,用于展示模型在不同检索阈值下的鲁棒性。P-R曲线越平滑、越靠近右上角,说明模型越优。

召回率计算公式为

(19)R@K=$\frac{\mathrm{前}\mathit{K}\mathrm{个}\mathrm{图}\mathrm{像}\mathrm{的}\mathrm{相}\mathrm{关}\mathrm{数}}{\mathrm{所}\mathrm{有}\mathrm{相}\mathrm{关}\mathrm{图}\mathrm{像}\mathrm{数}}$×100%

(3)平均精度:平均精度(mean average precision, mAP)是衡量所有查询的平均检索精确率的综合指标。其定义为

(20)mAP=$\frac{1}{\mathit{Q}}\stackrel{\mathit{Q}}{\sum _{\mathit{q}=1}}\frac{1}{{\mathit{N}}_{\mathit{q}}}\stackrel{{\mathit{N}}_{\mathit{q}}}{\sum _{\mathit{k}=1}}$P_q(k)rel_q(k)×100%

式(20)中:Q为查询图像总数;N_q为第q个相关图像数量;P_q(k)为前k个检索结果的精确率。

这些指标能从排序精确率、召回率和全局稳定性等多个维度有效评估图像检索性能。

4.3 检索性能比较

为全面验证本文方法在密文图像检索任务中的性能,将本文方法与已有典型方法[包括ICNNH(improved CNN-based hashing)^[31]、VITH(vision transformer hashing)^[32]、POST(prototype-oriented similarity transfer)^[33]和MFF(multi-feature fusion)^[34]]在四个基准数据集上进行了系统对比,主要采用ARP与前N个匹配结果数量的关联性曲线,以及P-R曲线,分别反映不同方法在排序精度和整体召回能力方面的性能表现。实验结果如图5~图8所示。

从Olivia-2688数据集(图5)可以看出,CT-MHash在Top-N检索范围内始终取得最高的ARP值,尤其在Top-10内,ARP接近99%,明显优于POST与VITH等方法。P-R曲线整体分布最为平滑,始终位于对比方法之上,说明该方法在复杂人造场景中表现出更好的全局稳定性。

在GHIM-10k数据集(图6)中,CT-MHash的提升同样显著。在Top-20排序区间,ARP基本保持在95%以上,而其他方法在高召回率时显著下降。P-R曲线进一步显示,CT-MHash在召回率>0.8的区域仍具有较高精确率,表现出较强的自然场景泛化能力。

在Caltech-101数据集(图7)上,由于类别数量多、类内差异大,检索任务更加具有挑战性。尽管如此,CT-MHash仍然保持最优性能,ARP和P-R曲线均显著优于其他方法。尤其在高召回区域(召回率>0.85),CT-MHash的精确率仍保持在90%左右,而传统方法在该区域普遍出现较大性能衰减,说明所提出的跨模态语义协同机制能够有效缓解视觉歧义带来的干扰。

在遥感场景数据集NWPU-RESISC45(图8)上,CT-MHash同样取得最优结果。该数据集包含大量复杂地物结构(如机场、工业区等),对模型的全局语义理解能力要求更高。实验结果显示,CT-MHash在Top-K匹配中均取得最高的ARP,其P-R曲线在各召回率下均呈现最优走势,进一步证明本文方法在多场景、多模态、多尺度环境下均具有稳定且鲁棒的表达能力。

综上所述,在四个数据集上,CT-MHash均显著优于对比方法,体现出更高的排序精度、更稳定的召回性能以及更优的跨场景泛化能力。实验结果表明,提出的“动态局部-全局特征融合”与“跨模态语义对齐”机制在提升加密图像检索质量方面具有显著效果。

4.4 消融实验分析

为验证本文模型结构中各关键模块的作用,本文在Olivia-2688、GHIM-10k、Caltech-101和NWPU-RESISC45数据集上开展了结构级与模块级相结合的消融实验,结果以mAP作为主要评价指标进行对比分析,如表1所示。

(1)局部特征与全局特征的互补性分析。仅使用局部视觉特征时,四个数据集上的mAP分别为62.44%、67.73%、60.35%和65.82%。当进一步引入全局视觉特征并与局部特征进行拼接后,mAP分别提升至67.28%、75.68%、68.91%和71.46%,相比单一局部特征分别提升4.84%、7.95%、8.56%和5.64%。该结果表明,全局语义特征能够有效弥补局部特征感受野受限的问题,在场景整体结构表达方面发挥了重要作用。

(2)交叉注意力动态融合机制的有效性分析。在局部与全局特征拼接的基础上,进一步引入交叉注意力机制对两类特征进行动态加权融合后,四个数据集的mAP分别提升至81.29%、89.90%、81.51%和86.69%,较简单拼接方式分别提升14.01%、14.22%、12.60%和15.23%。该结果充分说明,交叉注意力机制能够有效建模局部细节与全局语义之间的依赖关系,通过自适应权重分配实现信息互补,从而显著增强融合特征的判别能力。

(3)特征空间可视化分析。为直观分析交叉注意力融合对特征判别性的影响,对局部特征、全局特征以及融合特征分别进行了二位嵌入空间可视化,如图9~图11所示,分别展示了局部特征、全局特征和融合特征在二维可视化后的聚类情况,不同颜色代表不同类别。可以观察到,局部特征与全局特征均存在类内分布离散、类间重叠明显的问题;而融合特征在嵌入空间中呈现出更加紧凑的类内聚合性与更清晰的类间分离性,进一步验证了交叉注意力融合机制在增强特征判别性方面的有效性。

(4)文本语义约束对视觉歧义的纠偏作用分析。在融合视觉局部特征与全局特征的基础上,进一步引入文本特征参与跨模态哈希对齐后,四个数据集上的检索性能均得到进一步提升,mAP分别提升至85.85%、94.67%、91.44%和93.27%,相较于仅采用视觉融合特征的情形分别提升4.56%、4.77%、9.93%和6.58%。其中,在Caltech-101复杂物体场景数据集上的提升最为显著,表明在类内变化大、类间相似度高的场景中,仅依赖视觉表观特征易因颜色、结构等相似性产生语义歧义,而文本语义信息能够提供更稳定的高层语义约束;同时在NWPU-RESISC45遥感场景数据集上的提升同样显著,表明在地物结构复杂、类间视觉特征高度相似的场景中,仅依赖视觉特征易因光谱纹理相似性产生语义混淆,而文本语义信息能够提供更稳定的类别约束,有效弥补视觉特征在复杂地物判别层面的不足。

为了进一步验证文本语义约束对视觉歧义的纠偏作用,随机抽取图像进行了检索实验,对比了仅基于视觉特征和融合文本特征后的协同检索结果,如图12所示。其中第一行为仅基于视觉特征的检索结果,第二行为视觉与文本特征协同检索结果;每组示例最左侧为查询图像,右侧依次为前五个相似度最高的候选图像,绿色边框表示正确匹配,红色边框表示误匹配结果。

以湖泊场景为例,在仅使用视觉特征进行检索时,由于色调与纹理分布相近,系统在Top 3和Top 5位置误检出两张语义不一致的山地场景图像;而在引入文本语义约束后,协同检索结果能够准确聚焦于“湖泊”这一语义概念,显著降低了由视觉相似性引发的语义误检。类似地,在第二组案例中,纯视觉检索返回了与树林场景颜色与轮廓相似的海岸场景图像(Top 2和Top 3),而在文本语义协同约束下,该类误匹配被有效抑制。

综合定量指标与可视化结果可以看出,文本语义特征的引入能够在一定程度上纠正由视觉特征不完备或语义歧义带来的检索偏差,显著提升了跨模态哈希检索结果的语义一致性与整体准确性,验证了所提出语义协同约束机制在复杂场景检索任务中的有效性。

(5)跨模态对齐能力分析。模型的跨模态对齐能力,进一步在“文搜图”和“图搜文”双向检索任务上进行了验证,实验结果如表2所示,两项任务的mAP均达到99.5%以上,表明模型在统一哈希空间中实现了高质量的视觉-文本特征对齐,为跨模态协同检索提供了可靠保障。

(6)加密对检索精度及计算效率分析。为验证BFV同态加密参数设置对检索精度一致性与计算效率的影响,在不同多项式环阶数条件下,对密文相似度计算的数值一致性与计算耗时进行了对比实验,实验结果如表3所示。多项式环阶数是BFV同态加密体系中的关键安全参数,其取值大小直接影响系统的安全强度与计算复杂度。

实验结果表明,随着多项式环阶数的增大,密文相似度计算结果与明文计算结果的一致性逐渐趋于稳定,数值误差不断减小;与此同时,相应的计算耗时呈现逐步上升趋势,体现出安全性与计算效率之间的客观权衡关系。综合检索精度一致性与计算效率两方面因素,当多项式环阶数取8 192时,密文相似度计算结果与明文结果保持完全一致,一致率达到100%,且平均计算耗时为0.015 7 s,在保证足够安全强度的前提下,实现了检索精度与计算效率之间的良好平衡。

该结果进一步表明,所构建的BFV同态加密检索框架在保证特征隐私安全的同时,仍具备良好的工程可用性。

综合以上消融实验结果可以得出:局部特征、全局特征、交叉注意力融合机制与文本语义约束在提出的加密图像检索框架中均发挥着不可替代的作用,各模块之间相互协同,共同构成了高精度密文跨模态检索的关键支撑。

5 结论

面向云环境中加密图像检索精度不足、视觉语义歧义显著以及密文计算可用性受限等问题,提出了一种融合动态视觉表达与跨模态语义约束的加密检索方法,并构建了密文下可执行相似度评分的BFV同态加密框架,主要结论如下。

(1)动态局部-全局特征融合机制显著增强了视觉表达能力。通过非对称交叉注意力实现局部纹理与全局语义的深度互补,解决了传统单模态特征难以兼顾细节与语义的问题。在四个数据集上,该模块使mAP平均提升超过14%,有效增强了高维视觉空间的判别性。

(2)跨模态语义约束有效缓解视觉歧义,实现视觉-文本的统一哈希对齐。融合文本特征作为弱监督信号,可对视觉特征的类间混淆进行纠偏,在复杂场景(如物体多样化或遥感场景)中mAP最高提升近10%,显著提高跨模态检索的一致性与稳定性。

(3)BFV同态加密实现了密文状态下的高精度相似度计算。所构建的同态检索框架在不暴露任何视觉或文本特征的前提下实现了高精度的密文相似度计算,兼具安全性与计算效率。

综合而言,本文提出的“动态注意力融合+跨模态语义协同+同态安全计算”一体化方案,实现了检索精度、语义鲁棒性与隐私安全性的同步提升,为云环境下的高精度加密图像检索提供了一种可行的技术路径。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Farayola O A, Olorunfemi O L, Shoetan P O. Data privacy and security in it: a review of techniques and challenges[J]. Computer Science & IT Research Journal, 2024, 5(3): 606-615.

[2]	Zhang B, Xu Y Y, Yan Y J, et al. Privacy-preserving image retrieval based on additive secret sharing in cloud environment[J]. Cluster Computing, 2024, 27(4): 5021-5045.

[3]	Feng Q H, Li P Y, Lu Z X, et al. Evit: privacy-preserving image retrieval via encrypted vision transformer in cloud computing[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(8): 7467-7483.

[4]	梁海华. 面向隐私保护的加密图像检索研究[D]. 上海: 上海大学, 2020.

[5]	Liang Haihua. Research on encrypted image retrieval for privacy protection[D]. Shanghai: Shanghai University, 2020.

[6]	Martolia M, Dhanore N, Singh A, et al. A modified local binary pattern (LBP) for content-based image retrieval[J]. International Journal of Advanced Science and Technology, 2020, 29(1): 1630-1644.

[7]	Xia Z H, Wang L, Tang J, et al. A privacy-preserving image retrieval scheme using secure local binary pattern in cloud computing[J]. IEEE Transactions on Network Science and Engineering, 2020, 8(1): 318-330.

[8]	Ma W T, Zhou T Q, Qin J H, et al. A privacy-preserving content-based image retrieval method based on deep learning in cloud computing[J]. Expert Systems with Applications, 2022, 203: 117508.

[9]	Zhang X Y, Hong J W. A dynamic authorizable ciphertext image retrieval algorithm based on security neural network inference[J]. PloS One, 2024, 19(10): e0309947.

[10]	Wang Y, Chen L Q, Wu G, et al. Efficient and secure content-based image retrieval with deep neural networks in the mobile cloud computing[J]. Computers & Security, 2023, 128: 103163.

[11]	Song C, Huang R W. Secure convolution neural network inference based on homomorphic encryption[J]. Applied Sciences, 2023, 13(10): 6117.

[12]	Zhang Q, Yan Y, Lin Y, et al. Image security retrieval based on chaotic algorithm and deep learning[J]. IEEE Access, 2022, 10: 67210-67218.

[13]	Wang Z, Zhang Q Y, Meng L T, et al. Secure content based image retrieval scheme based on deep hashing and searchable encryption[J]. Computers, Materials & Continua, 2023, 75(3): 6161-6184.

[14]	Yang T F, Ma J F, Miao Y B, et al. Muteir: traceable encrypted image retrieval in the multi-user setting[J]. IEEE Transactions on Services Computing, 2022, 16(2): 1282-1295.

[15]	Li Y Y, Ma J F, Miao Y B, et al. Similarity search for encrypted images in secure cloud computing[J]. IEEE Transactions on Cloud Computing, 2020, 10(2): 1142-1155.

[16]	Wu Y R, Guo H F, Chakraborty C, et al. Edge computing driven low-light image dynamic enhancement for object detection[J]. IEEE Transactions on Network Science and Engineering, 2022, 10(5): 3086-3098.

[17]	潘华峰, 王春玲, 毋涛. 结合哈希网络和敏感散列的图像检索推荐研究[J]. 计算机技术与发展, 2022, 32(7): 173-178.

[18]	Pan Huafeng, Wang Chunling, Wu Tao. Research on image retrieval recommendation based on hash network and sensitive hashing[J]. Computer Technology and Development, 2022, 32(7): 173-178.

[19]	Chen H Z, Zhou H, Zhang J, et al. Perceptual hashing of deep convolutional neural networks for model copy detection[J]. ACM Transactions on Multimedia Computing, Communications and Applications, 2023, 19(3): 1-20.

[20]	Luo X, Wang H X, Wu D Q, et al. A survey on deep hashing methods[J]. ACM Transactions on Knowledge Discovery from Data, 2023, 17(1): 1-50.

[21]	Xiao X N, Cao S, Wang L J, et al. Deep hashing image retrieval based on hybrid neural network and optimized metric learning[J]. Knowledge-Based Systems, 2024, 284: 111336.

[22]	Jiang X, Tang H, Li Z H. Global meets local: dual activation hashing network for large-scale fine-grained image retrieval[J]. IEEE Transactions on Knowledge and Data Engineering, 2024, 36(11): 6266-6279.

[23]	Mohammed Z K, Mohammed M A, Abdulkareem K H, et al. A metaverse framework for IoT-based remote patient monitoring and virtual consultations using AES-256 encryption[J]. Applied Soft Computing, 2024, 158: 111588.

[24]	Bos J, Ducas L, Kiltz E, et al. CRYSTALS-Kyber: a CCA-secure module-lattice-based KEM[C]// 2018 IEEE European Symposium on Security and Privacy (EuroS&P). Piscataway: IEEE, 2018: 353-367.

[25]	李韬, 朱文忠, 车璇. 基于改进ResNet-50与迁移学习的苹果叶片病害的图像识别[J]. 科学技术与工程, 2024, 24(24): 10370-10381.

[26]	Li Tao, Zhu Wenzhong, Che Xuan. Image recognition of apple leaf disease based on improved ResNet-50 and transfer learning[J]. Science Technology and Engineering, 2024, 24(24): 10370-10381.

[27]	Dai K Y, Shao J, Gong B, et al. CLIP-FSSC: a transferable visual model for fish and shrimp species classification based on natural language supervision[J]. Aquacultural Engineering, 2024, 107: 102460.

[28]	马荣恒, 喻春雨, 童亦新. 基于残差密集网络与注意力机制的图像降噪[J]. 科学技术与工程, 2025, 25(9): 3795-3805.

[29]	Ma Rongheng, Yu Chunyu, Tong Yixin. Image denoising based on residual dense networks and attention mechanisms[J]. Science Technology and Engineering, 2025, 25(9): 3795-3805.

[30]	Ma Z Y, Wang S W, Luo X, et al. HARR: learning discriminative and high-quality hash codes for image retrieval[J]. ACM Transactions on Multimedia Computing, Communications and Applications, 2024, 20(5): 1-23.

[31]	Srivastava P, Khare A. Utilizing multiscale local binary pattern for content-based image retrieval[J]. Multimedia Tools and Applications, 2018, 77: 12377-12403.

[32]	Chu K, Liu G H. Image retrieval based on a multi-integration features model[J]. Mathematical Problems in Engineering, 2020, 2020(1): 1461459.

[33]	Li F F, Fergus R, Perona P. Learning generative visual models from few training examples: an incremental bayesian approach tested on 101 object categories[C]// 2004 Conference on Computer Vision and Pattern Recognition Workshop. Piscataway: IEEE, 2004: 178.

[34]	Cheng G, Han J W, Lu X Q. Remote sensing image scene classification: benchmark and state of the art[J]. Proceedings of the IEEE, 2017, 105(10): 1865-1883.

[35]	Pan W Y, Wang M M, Qin J H, et al. Improved CNN-based hashing for encrypted image retrieval[J]. Security and Communication Networks, 2021(1): 5556634.

[36]	Dubey S R, Singh S K, Chu W T. Vision transformer hashing for image retrieval[C]// Proceedings of the 2022 IEEE International Conference on Multimedia and Expo (ICME). Piscataway: IEEE, 2022: 1-6.

[37]	Guo Z, Wei B X, Cai Q L, et al. POST: prototype-oriented similarity transfer framework for cross-domain facial expression recognition[J]. Computer Animation and Virtual Worlds, 2024, 35(3): e2260.

[38]	Tian M, Su M T, Xiao X L, et al. High-precision privacy-protected image retrieval based on multi-feature fusion[J]. Knowledge-Based Systems, 2025, 315: 113243.