基于CLIP与注意力机制优化的多阶段人脸图像修复方法

赵阳; 丁建伟

doi:10.12404/j.issn.1671-1815.2500712

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (4) :1575-1585 DOI: 10.12404/j.issn.1671-1815.2500712

自动化技术、计算机技术

基于CLIP与注意力机制优化的多阶段人脸图像修复方法

赵阳 ,
丁建伟 ^*

作者信息 +

Multi-stage Face Image Restoration Method Based on CLIP and Attention Mechanism Optimization

ZHAO Yang ,
DING Jian-wei ^*

Author information +

文章历史 +

摘要

现有的人脸图像修复方法在处理大面积遮挡时生成的图像往往会出现结构不协调和上下文语义不连贯的问题，无法准确恢复面部细节。针对此问题，提出一种基于CLIP（contrastive language-image pre-training）与注意力机制优化的多阶段人脸图像修复算法。首先，通过编解码器结构进行初步的面部恢复。然后，针对口罩遮挡区域进行局部特征处理，在局部细节网络中引入AOT （aggregated contextual transformations） block，增强面部边缘和遮挡区域的细节重建效果。最后，将预训练好的CLIP模型嵌入到全局编码器中捕捉图像的整体细粒度细节，并通过注意力机制整合面部全局信息，确保修复后的图像在全局一致性和局部细节上都达到高质量复原的要求。在多个数据集上将该方法与多种算法进行比较，实验结果表明，所提方法在主观评价和客观评价方面均表现突出，在融合计算效率和提高修复质量之间实现了更好的平衡。

Abstract

The existing face image restoration methods often generate images with structural incoordination and contextual semantic incoherence when dealing with large-area occlusion，and are unable to accurately restore facial details. Aiming at this problem，a multi-stage face image restoration algorithm based on contrastive language-image pre-training （CLIP） and attention mechanism optimization was proposed. First of all，the initial facial recovery was carried out through the codec structure. Then，local feature processing was carried out for the mask-covered areas，and aggregated contextual transformations（AOT） blocks were introduced into the local detail network to enhance the detail reconstruction effect of the facial edges and covered areas. Finally，the pre-trained CLIP model was embedded into the global encoder to capture the overall fine-grained details of the image，and the global facial information was integrated through the attention mechanism to ensure that the restored image meets the requirements of high-quality restoration in terms of global consistency and local details. This method was compared with various algorithms on multiple datasets. The experimental results show that the proposed method performs outstandingly in both subjective and objective evaluations，achieving a better balance between integrating computational efficiency and improving the quality of restoration.

Graphical abstract

关键词

注意力机制 / 人脸图像修复 / CLIP / 多阶段修复网络 / 生成式对抗网络

Key words

attention mechanism / face image restoration / contrastive language-image pre-training（CLIP） / multi-stage repair / generative adversarial network

引用本文

引用格式 ▾

赵阳, 丁建伟. 基于CLIP与注意力机制优化的多阶段人脸图像修复方法[J]. 科学技术与工程, 2026, 26(4): 1575-1585 DOI:10.12404/j.issn.1671-1815.2500712

ZHAO Yang, DING Jian-wei. Multi-stage Face Image Restoration Method Based on CLIP and Attention Mechanism Optimization[J]. Science Technology and Engineering, 2026, 26(4): 1575-1585 DOI:10.12404/j.issn.1671-1815.2500712

登录浏览全文

4963

注册一个新账户忘记密码

图像修复是从图像现存内容出发，通过重建丢失或损坏部分的信息，恢复图像的完整性和视觉效果。图像修复在艺术修复、历史文献复原、数字媒体编辑等领域都有着广泛的应用，具有重要的研究价值。

在深度学习广泛应用之前，图像修复采用的算法主要分为两类：一类是基于图像扩散原理的方法，另一类则是基于图像块匹配技术的补丁法。Bertalmio等^[1]开发的基于微分方程的方法适用于小面积损坏，但在处理大面积损坏时效果有限。Criminisi等^[2]提出了一种基于图像块匹配的修复方法，但在处理复杂图像时效果不佳。门控卷积层Yu等^[3]设计了门控卷积层，适用于规则形状的掩膜，但对不规则掩膜的修复效果有限。

随着深度学习技术的流行，图像修复领域迎来了众多创新方法。Pathak等^[4]重点关注图像的空间一致性、像素间的关联性，并掌握了从图像未受损部分推测丢失区域像素的技术。Iizuka等^[5]在全卷积网络的应用上取得了进展，他们通过结合局部和全局判别器，进一步提升了图像修复中全局和局部纹理的质量。Liu等^[6]提出了部分卷积和门控卷积，通过区分有效和无效像素来进行修复，并引入注意力机制进一步提高了纹理连贯性。Zeng等^[7]提出了基于金字塔注意力的方法，通过生成深层语义特征并利用这些特征引导浅层特征的填充，以确保纹理的连贯性，并且进一步提出利用Transformer架构^[8]进行长距离注意力修复的方法。Karras等^[9]结合CLIP（contrastive language-image pre-training）和VAE（variational autoencoder）编码器的信息，能够更好地捕捉和重现输入图像中的细节特征，使生成的图像在视觉上更加贴近原始输入图像。彭红等^[10]提出一种最优控制模型，通过特定数值计算格式及优化方法，实现局部细节修复和整体特征的均衡。邱小锋等^[11]提出了基于递归特征估计的图像修复模型，该模型基于部分卷积和注意力机制且无需额外标签，解决了现有图像修复方法中纹理不清晰和结构错乱等问题。周遵富等^[12-13]提出了基于归一化注意力模块的三阶段网络人脸图像修复方法，通过粗修复网络进行初步修复，局部修复网络对细节进行优化，最后由全局细化修复网络增强语义连贯性和纹理结构的协调性。陈顺明^[14]通过改进的U-Net模型结合注意力机制使修复后的人脸图像在色彩和纹理上与未遮挡区域保持一致，减少伪影。张铮^[15]提出通过分割和多级掩膜学习策略的遮挡区域移除与恢复技术的人脸识别方法，能够有效消除遮挡造成的损坏特征影响。Quan等^[16]设计了包含局部和全局细化的三阶段修复网络，在处理不规则遮挡图像时表现出良好的修复效果，但该方法计算成本较高，并且在学习上下文特征方面存在不足，面对人脸图像中较大面积的缺失，仍然难以完全恢复受损人脸的真实外观。

针对这些问题，提出一种改进的注意力机制和 CLIP 模型增强的多阶段人脸图像修复模型，旨在有效解决人脸图像恢复中结构不协调和上下文语义不连贯的问题。在局部特征增强方面，采用基于AOT（aggregated contextual transformations） block^[17]的残差单元来提升面部细节纹理的重建精度，该模块使用小范围感知机制，使每个输出单元仅关注相邻区域。这样可以使模型在修复缺损区域时主要利用其周围的局部信息，而不会受到远处特征的干扰，相较于传统的局部特征处理方式，AOT block可以更好地保留和增强人脸图像中的细节信息，使人脸的五官、皮肤纹理等局部特征更加清晰、自然。在全局信息整合方面，通过预训练的CLIP模型^[18]输入到全局细节网络的编码器中，利用其强大的语义理解和特征提取能力提供更丰富的语义指导，从而提高调节图像细节的输出保真度，并使用创新的注意力模块来改进传统的分组策略以实现对全局上下文信息深层次挖掘和融合，从而显著提升人脸图像修复任务中的修复质量和语义一致性。

1 本文网络架构概述

本文网络架构（图1）以U-Net（）网络为基础网络，主要包含初步修复网络Net_C、局部细节修复网络Net_L和全局细节修复网络Net_G。这种多阶段架构设计旨在逐步提升人脸图像修复的质量，从整体结构恢复到局部细节增强，再到全局语义一致性优化，各子网络协同工作以实现高质量的人脸图像修复。实验结果表明，本文方法能够生成高质量的、在视觉和语义上接近原图的人脸图像。

1.1 初步修复网络

初步修复网络采用带有跳跃连接的编解码器架构，该网络包含8个下采样和上采样操作，通过跳跃连接逐层恢复下采样过程中丢失的特征。掩码经过预处理以匹配图像通道数，从而帮助网络区分遮挡与非遮挡像素。部分卷积层根据掩码区分有效像素和缺失像素，并对有效像素进行卷积操作，避免无效像素对修复的干扰。此外，基于块的光谱归一化鉴别器与生成器进行对抗训练，通过判断修复图像与真实图像的差异，促使生成器生成更接近真实图像的修复结果。

加权L₁损失函数用于像素级图像重建。这种方法有效地减少了训练过程中的冗余信息，强化模型捕捉图像细节能力，通过优化这一损失函数精确重建输入图像的像素结构，提升图像生成的质量和准确性。L₁损失表达式为

（1）$ \mathcal{L}_{\text {vaild }}^{\mathrm{C}}=\frac{1}{\operatorname{sum}(1-M)}\left\|\left(I_{\text {out }}^{\mathrm{C}}-I_{\mathrm{gt}}\right) \odot(1-M)\right\|_{1}$

（2）$\mathcal{L}_{\text {hole }}^{\mathrm{C}}=\frac{1}{\operatorname{sum}(M)}\left\|\left(I_{\text {out }}^{\mathrm{C}}-I_{\mathrm{gt}}\right) \odot M\right\|_{1}$

（3）I^C_mer=I_in☉（1-M）+I^C_out☉M

式中：$\mathcal{L}$ ^C_vaild为未掩码区域；$\mathcal{L}$ ^C_hole为掩码区域；I_in为输入图像；☉为点乘积运算符；sum（M）为二进制掩码图像M中缺失像素的总和；sum（1-M）为二进制掩码图像M中有效像素的总和；I_gt为原始图像；I^C_out为初步修复网络输出的结果；I^C_mer为图像合并后的结果，也是局部细节修复网络的输入图像。

对抗损失公式为

（4）I^C_mer=I_in☉（1-M）+I^C_out☉M

（5）$\mathcal{L}_{\mathrm{G}}^{\mathrm{C}}=E_{I_{\text {mer }} \sim p_{I_{\text {mer }}}\left(I_{\text {mer }}\right.}\left\{\left[D\left(I_{\text {mer }}^{\mathrm{C}}\right)-1\right]^{2}\right\}$

（6）$\begin{aligned} \mathcal{L}_{\mathrm{D}}= & \frac{1}{2 E_{I \sim p_{\mathrm{data}}(I)}\left\{\left[D\left(I_{\mathrm{gt}}\right)-1\right]^{2}\right\}}+ \\ & \frac{1}{2} E_{I_{\mathrm{mer}} \sim p_{I_{\mathrm{mer}}}\left(I_{\mathrm{mer}}\right)}\left\{\left[D\left(I_{\mathrm{mer}}^{\mathrm{C}}\right)\right]^{2}\right\} \end{aligned}$

式中：$\mathcal{L}$ ^C_G为生成器的损失；D为判别器；E_{I_mer~p_{I_mer}（I_mer）} 代表从合并图像中得到一部分图片，然后通过判别器D计算{$[D（{I}_{mer}^{C}）-1{]}^{2}$}的期望；E_{I~p_data（I）} 代表从真实图片中选择的一部分data，然后通过判别器D计算[D（I_gt）-1]² 的期望；$\mathcal{L}$_D为判别器损失。

重建损失的表达式为

（7）$\mathcal{L}_{\mathrm{r}}^{\mathrm{C}}=\mathcal{L}_{\text {vaild }}^{\mathrm{C}}+\lambda_{\mathrm{h}} \mathcal{L}_{\text {hole }}^{\mathrm{C}}$

式（7）中：λ_h为平衡因子，λ_h=6。初步修复网络Net_C的总损失函数定义为

（8）$\mathcal{L}_{\mathrm{C}}=\mathcal{L}_{\mathrm{r}}^{\mathrm{C}}+\lambda_{\mathrm{g}} \mathcal{L}_{\mathrm{G}}^{\mathrm{C}}$

式（8）中：梯度损失权重λ_g=1。

1.2 局部细节修复网络

局部细节修复网络包含两次下采样和两次上采样操作，以及4个AOT block（图2）。AOT block内部的空洞卷积以扩张率r=1、2、4、8处理输入特征，这种设计在保持参数量和计算负荷稳定的同时，能够有效拓宽感受野，精准捕捉多尺度特征。

AOT block在聚合上下文信息方面具有显著优势。它基于小感受野理论，利用周围的局部信息来修复缺失的结构和纹理，有效避免远处信息的干扰，这种方式能确保每个输出神经元专注于局部区域，从而增强局部处理效能和修复精度。

虽然理论上增加更多的残差块可以逐步扩大感受野，但实验结果表明，这种方式可能会使过多的全局信息覆盖重要的局部细节，从而影响修复的精度。为了解决这一问题，AOT block通过卷积和sigmoid操作生成门限系数g（g∈[0,1]）从而动态权衡输入特征与残差特征的融合权重。当g取值接近1时，输入特征占据主导地位，能够保留并强化输入特征所携带的纹理、结构与语义信息；当g取值接近0时，残差特征的贡献比重显著提升，更侧重于借助残差特征对修复区域进行细节微调与优化。根据不同修复场景需求，g可以动态调整输入特征与残差特征的融合权重，对区域特征进行精细化加权更新，从而确保高质量的修复效果。因此，局部细节修复网络采用了AOT block来实现这一目标。

AOT block的计算公式为

（9）x₃=x₁g+x₂（1-g）

式（9）中：x₁为输入特征；x₂为残差特征；x₃为输出结果。

输入损失函数及作用如下。

（1）重构损失$\mathcal{L}$ ^L_r。与初步修复网络相似，但以局部细节修复网络的输出I^L_out替代了初步修复网络中的I^C_out，确保修复区域与原始图像在像素及结构上匹配，维持图像整体连贯性。

（2）总变分损失。作为平滑惩罚引入，依图像相邻像素差值计算，使修复区域纹理过渡自然，提升图像视觉平滑度与质量。表达式为

（10）$\begin{aligned} \mathcal{L}_{\mathrm{tv}}^{\mathrm{L}}= & \left\|I_{\mathrm{mer}}^{\mathrm{L}}(i, j+1)-I_{\text {mer }}^{\mathrm{L}}(i, j)\right\|_{1}+ \\ & \left\|I_{\text {mer }}^{\mathrm{L}}(i+1, j)-I_{\text {mer }}^{\mathrm{L}}(i, j)\right\|_{1} \end{aligned}$

式（10）中：i 和 j 为图像中像素的坐标索引。

（11）I^L_mer=I^C_mer☉（1-M）+I^L_out☉M

（3）感知损失。借助VGG16（Visual Geometry Group 16-layer network）网络特征图衡量修复图像与原始图像特征差异，可表示为

（12）$\begin{aligned} \mathcal{L}_{\text {per }}^{\mathrm{L}}= & \sum_{i}\left\|\boldsymbol{G}_{i}\left(I_{\text {out }}^{\mathrm{L}}\right)-\boldsymbol{F}_{i}\left(I_{\mathrm{gt}}\right)\right\|_{1}+ \\ & \left\|\boldsymbol{F}_{i}\left(I_{\text {mer }}^{\mathrm{L}}\right)-\boldsymbol{F}_{i}\left(I_{\mathrm{gt}}\right)\right\|_{1} \end{aligned}$

式（12）中：F_i为VGG-16网络的第i层特征，i∈5，10，17；G_i（·）=F_i（·）F_i（·）^T，G_i为Gram矩阵。

（4）风格损失。利用Gram（Gramian matrix）矩阵计算，关注图像风格特征。表达式为

（13）$\begin{aligned} \mathcal{L}_{\text {sty }}^{\mathrm{L}}= & \boldsymbol{G}_{i}\left(I_{\text {out }}^{\mathrm{L}}\right)-\boldsymbol{G}_{i}\left(I_{\mathrm{gt}}\right) \|_{1}+ \\ & \left\|\boldsymbol{G}_{i}\left(I_{\text {mer }}^{\mathrm{L}}\right)-\boldsymbol{G}_{i}\left(I_{\mathrm{gt}}\right)\right\|_{1} \end{aligned}$

局部细化修复网络Net_L的总损失函数定义为

（14）$\begin{aligned} \mathcal{L}_{\mathrm{C}}= & \mathcal{L}_{\text {vaild }}^{\mathrm{L}}+\lambda_{\mathrm{h}} \mathcal{L}_{\text {hole }}^{\mathrm{L}}+\lambda_{\mathrm{tv}} \mathcal{L}_{\mathrm{tv}}^{\mathrm{L}}+ \\ & \lambda_{\text {per }} \mathcal{L}_{\text {per }}^{\mathrm{L}}+\lambda_{\text {sty }} \mathcal{L}_{\text {sty }}^{\mathrm{L}} \end{aligned}$

式（14）中：λ_h=6；λ_tv=0.1；λ_per=0.05；λ_sty=120，λ_h、λ_tv、λ_per、λ_sty为各自损失的权重。

在本研究的超参数配置中，发现保持权重设置在相对平衡的数量级是有益的，因此保留了其超参数设置。

1.3 全局细节修复网络

局部细节增强处理后，图像结构得到了改善，但仍存在一些不协调的问题。为了进一步提升修复效果，在全局细节修复网络中引入注意力机制。然而，仅依赖于注意力机制所提取的上下文信息并不足以实现图像的精确修复。因此，引入预训练的CLIP模型（图3），CLIP是一个基于多模态对比学习的视觉语言模型，由图像编码器和文本编码器组成。CLIP模型中的图像编码器可以将图像转换为固定维度的嵌入向量，这些嵌入向量包含了从大规模数据中提取的丰富上下文语义信息，能够捕捉图像的语义特征。

为了增强图像的语义信息，对CLIP模型进行微调，使其能够在缺乏文本对的情况下，确保修复的图像部分在语义上与整体保持一致，从而避免结构与上下文语义不协调的问题。具体来说，输入图像首先通过 CLIP 的图像编码器提取特征，这些提取到的图像特征随后被传递到图像修复网络中，并与网络其他模块的输出进行融合。这一过程有助于修复网络在生成修复图像时保留图像的全局语义结构，确保修复后的图像细节与原图在语义上保持一致，避免细节修复时出现语义不连贯或结构不一致的问题。

在解码器的设计中，采用双向拓展的注意力机制，以实现对空间与通道注意力的深度整合。具体而言，首先将通道维度分组为多个子特征并行处理。在空间维度，结合ECA（efficient channel attention）注意力^[19]通过轻量级的结构来捕获空间特征之间的相互关系，通过1D卷积和自适应选择的内核尺寸来高效地捕获通道间的相互关系，增强了对图像中局部区域的敏感性。在通道维度，结合SK（selective kernel networks）注意力^[20]根据输入特征的统计特性来自适应地调整其感受野大小，能够更好地适应不同目标的尺度变化。最后，通过通道洗牌操作促进不同子特征之间的信息交流。

全局细化网络的损失函数与局部细化网络相似，包括像素重建损失、总变分损失、感知损失和风格损失。局部细化网络中的I^C_out被全局细化网络的I^G_out替代，将此部分的损失函数记为$\mathcal{L}$_G。最终的总损失函数为$\mathcal{L}$_C+$\mathcal{L}$_L+$\mathcal{L}$_G。

2 实验

2.1 数据集与实验设置

使用CelebA数据集^[21]、FFHQ数据集^[22]、Henlen数据集^[23]进行实验。CelebA数据集包括30 000张256×256分辨率的名人人脸图像，随机选择10 000张人脸图像作为训练集，1 000张人脸图像作为测试集验证。FFHQ是一个高质量的人脸数据集，其中包含70 000张1 024×1 024分辨率的高清人脸图像，随机选择10 000张图像进行训练，1 000张进行测试。Henlen数据集由2 330张400×400像素的人脸图像组成。其中包含2 000张训练图像和330张测试图像组成，将2 000张图像作为训练集，330张图像作为测试集。针对不同遮挡类型以及不同遮挡比例，在1%~10%、10%~20%、20%~30%、30%~40%、40%~50%、50%~60%遮挡率上进行了系统测试，以评估模型在不同遮挡情况下的泛化能力。掩码示意图如图4所示。

所有实验操作均在pytorch平台上执行，具体版本为1.12.1，Nvidia GeForce RTX 3090 GPU。选用Adam（algorithm development and mining）优化算法，并对其超参数进行了细致的调整以适应实验需求。初始学习率设置为0.000 2，并在训练的前100个周期内保持不变，以确保模型能够从较低的学习率开始，逐步适应数据分布。随后在后续的100个周期内线性衰减降至零，batchsize设置为8，总共训练200个epoch。

2.2 实验结果分析

对所提出的方法与数种现行的几种主流图像修复算法进行了定量和定性比较：Deepfillv2^[24]、Pconv^[6]、LGnet^[16]和Deepfillv1^[25]。

（1）Deepfillv2。展现了一种创新的门控卷积网络应用，旨在精准地识别并处理自由形状图像修复任务中的有效与无效像素。

（2）Pconv。利用部分卷积和自动掩码更新机制解决了不规则遮罩图像修复中颜色不一致和模糊等问题。

（3）LGnet。通过结合局部和全局精细化网络，关注不同角度的感受野以改善图像修复结果。

（4）Deepfillv1。基于上下文注意力机制的生成式图像修复法，通过学习图像上下文与聚焦缺失区域关联信息生成高质量修复结果。

2.2.1 定量比较

选用几种标准的评估指标进行定量比较，包括平均绝对误差（mean absolute error，MAE）、峰值信噪比（peak signal-to-noise ratio，PSNR）、结构相似性指数（SSIM）和Frechet初始距离（FID）。MAE主要预测值与真实值的绝对误差的平均值。PSNR主要评估像素级别的精确度，而SSIM则衡量图像结构的相似性。FID用于度量生成图像与真实图像的分布差异。记录了各模型在这些指标上的表现（表1~表3）。结果显示，本文方法展现出了优异的性能，超过了其他对比模型，这表明本文方法在生成高质量人脸图像方面具有较强的鲁棒性。

2.2.2 定性比较

图5~图7展示了的方法与Deepfillv1、Deepfillv2、 PConv和Lgnet在3个具有不规则掩码的数据集上的定性比较。观察到Deepfillv1、Deepfillv2和PConv的视觉质量相对较差，这与本文定量结果也一致。通过比较修复结果图，本文方法可以更好地恢复面部的结构和细节。例如，与Deepfillv1、Deepfillv2、 PConv相比，本文方法在局部细节修复方面表现出更高的精度和自然度，尤其是在处理复杂的人脸特征（如眼睛、鼻子和嘴巴）时，能够更精细地恢复这些局部结构。也能更好地处理Lgnet修复方法出现的纹理不合理问题，这可能是由于lgnet在利用遮挡区域周围的背景信息方面存在局限，导致无法充分恢复原始图像的细节和结构特征。

2.3 模型复杂度分析

表4对比了几种修复方法的计算复杂度，采用FLOPs（floating-point operations per second）、参数量和GPU（graphics processing unit）推理时间作为评估指标。本文模型在计算量和参数量上显著高于其他方法，主要是由于预训练的CLIP特征提取模块。尽管FLOPs较高，但通过GPU并行计算和算法优化，推理时间保持在合理范围内，模型在处理高分辨率图像或视频时能够更好地捕捉细节，获得更高质量的修复结果。

尽管模型在修复性能上表现出色，但较高的计算复杂度和参数量仍需关注，未来工作将聚焦于模型压缩和加速技术以降低计算负担，同时保持修复性能。

2.4 消融实验

为了评估本文模型在人脸修复任务中的性能，针对模型中的不同模块在Celeba、FFHQ、Henlen数据集上开展消融实验（表5~表7），用于验证各个模块对整体性能的影响。具体为：Net1仅包含基础网络结构，缺失 AOT block、注意力机制以及 CLIP模型。Net2仅包含注意力机制，未引入AOT block和CLIP模型。Net3仅包含 AOT block，未引入注意力机制和 CLIP 模型。Net4结合了 AOT block和注意力机制，但未采用 CLIP 模型。Net5同时包含 AOT block、注意力机制和 CLIP 模型。通过对比 SSIM（结构相似性）、PSNR（峰值信噪比）和 MAE（平均绝对误差）、FID（Fréchet初始距离）4个指标。修复效果如图8所示。

从实验结果来看，Net1在图像修复任务中存在局限性，在所有数据集和遮挡比例下的表现最差，表明基础网络缺乏对细节和语义的优化能力，难以应对复杂的人脸修复任务。Net2在Net1的基础上引入了注意力机制，实验结果显示，Net2在所有指标上均优于Net1。例如，在CelebA数据集上，Net2的MAE在1%~10%遮挡比例下为0.649 8，显著低于Net1的0.994 2，说明所提出的改进注意力机制能够有效增强模型对细节和结构的捕捉能力，提升修复结果的细节表现和整体自然度。Net3在Net1的基础上引入AOT block，通过局部特征增强和边缘结构优化，提升了模型对局部细节的处理能力，说明其在修复局部遮挡区域时具有独特优势。当注意力机制与AOT block结合（Net4）时，模型在所有指标上均优于Net2和Net3，特别是在高遮挡比例下，各个评价指标都更优，这表明全局和局部信息的协同处理对于提升修复质量至关重要。完整模型（Net5）在所有指标上均表现最佳，可能因误差有极个别指标除外。CLIP模型的引入进一步增强了模型的语义理解和全局一致性，使修复结果在视觉效果和语义连贯性上达到最佳，表明语义引导在复杂修复任务中具有不可替代的作用。这些实验结果证明了各模块的有效性和协同作用，为所提出的图像修复网络设计提供了有力验证。

3 结论

针对人脸图像修复中的细节和结构恢复难题，提出一种改进的三阶段图像修复框架，显著提升了修复质量。该框架通过初步修复网络恢复整体结构，利用局部细节增强网络提升图像边缘清晰度和精细度，并结合预训练的CLIP模型和改进注意力机制实现语义自然过渡，在图像边缘和细节修复质量上表现尤为突出。实验结果表明，该方法在多个公开数据集上均实现了对现有技术的超越，关键性能评价指标（如SSIM和PSNR）均优于现有方法。尽管当前算法在计算复杂度方面仍存在改进空间，但未来通过优化网络架构和引入更高效的上下文语义捕捉机制，有望进一步提升图像细节恢复效果，为人脸图像修复领域提供更优的解决方案。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Bertalmio M, Sapiro G, Caselles V, et al. Image inpainting[C]// Proceedings of the IEEE Conference on Computer Graphics and Interactive Techniques. New York: IEEE, 2000: 417-424.

[2]	Criminisi A, Patrick P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[3]	Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2018: 5505-5514.

[4]	Pathak D, Krahenbuhl P, Donahue J, et al. Context encoders: Feature learning by inpainting[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2016: 2536-2544.

[5]	Iizuka S, Simo-Serra E, Ishikawa H. Globally and locally consistent image completion[J]. ACM Transactions on Graphics (ToG), 2017, 36(4): 1-14.

[6]	Liu G, Reda F A, Shih K J, et al. Image inpainting for irregular holes usingpartial convolutions[C]// Proceedings of the European Conference on Computer Vision (ECCV). New York: IEEE, 2018: 85-100.

[7]	Zeng Y, Fu J, Chao H, et al. Learning pyramid-context encoder network for high-quality image inpainting[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 1486-1494.

[8]	Zheng C, Cham T J, Cai J, et al. Bridging global context interactions for high-fidelity image completion[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 11512-11522.

[9]	Karras J, Holynski A, Wang T C, et al. Dreampose: fashion image-to-video synthesis via stable diffusion[C]// IEEE/CVF International Conference on Computer Vision (ICCV). New York: IEEE, 2023: 22623-22633.

[10]	彭红, 周彬, 孙艳, 等. 向量值偏微分方程约束控制的图像修复模型[J]. 科学技术与工程, 2025, 25(5): 2019-2026.

[11]	Peng Hong, Zhou Bin, Sun Yan, et al. Image restoration model constrained by vector-valued partial differential equations[J]. Science Technology and Engineering, 2025, 25(5): 2019-2026.

[12]	邱小锋, 丁友东, 梁冰, 等. 基于递归特征估计的图像修复算法[J]. 科学技术与工程, 2022, 22(3): 1098-1106.

[13]	Qiu Xiaofeng, Ding Youdong, Liang Bing, et al. Image restoration algorithm based on recursive feature estimation[J]. Science Technology and Engineering, 2022, 22(3): 1098-1106.

[14]	周遵富, 张乾, 石计亮, 等. 基于纹理和结构交互的人脸图像修复[J]. 山东大学学报(工学版), 2025, 55(4): 18-28, 39.

[15]	Zhou Zunfu, Zhang Gan, Shi Jiliang, et al. Face image restoration based on texture and structure interaction[J]. Journal of Shandong University (Engineering and Technology Edition), 2025, 55(4): 18-28, 39.

[16]	周遵富. 基于局部和全局细化的人脸图像修复[D]. 贵阳: 贵州民族大学, 2024.

[17]	Zhou Zunfu. Face image restoration based on local and global refinement[D]. Guiyang: Guizhou Minzu University, 2024.

[18]	陈顺明. 基于注意力机制的口罩遮挡人脸图像修复方法研究[D]. 南昌: 江西财经大学, 2024.

[19]	Chen Shunming. Research on the restoration method of masked face images based on attention mechanism[D] Nanchang: Jiangxi University of Finance and Economics, 2024.

[20]	张铮. 基于遮挡区域移除与恢复技术的人脸识别方法研究[D]. 北京: 中国人民公安大学, 2024.

[21]	Zhang Zheng. Research on face recognition method based onocclusion area removal and restoration technology[D]. Beijing: People’s Public Security University of China, 2024.

[22]	Quan W, Zhang R, Zhang Y, et al. Image inpainting with local and global refinement[J]. IEEE Transactions on Image Processing, 2022, 31: 2405-2420.

[23]	Zeng Y, Fu J, Chao H, Guo B. 2022. Aggregated contextual transformations for high-resolution image inpainting[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 3155756.

[24]	Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision[C]// Proceedings of the International Conference on Machine Learning. New York: IEEE, 2021: 8748-8763.

[25]	Wang Q, Wu B, Zhu P, et al. ECA-Net: efficient channel attention for deep convolutional neural networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2020: 11534-11542.

[26]	Li X, Wang W, Hu X, et al. Selective kernel networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2019: 510-519.

[27]	Liu Z, Luo P, Wang X, et al. Deep learning face attributes in the wild[C]// Proceedings of the IEEE International Conference on Computer Vision. New York: IEEE, 2015: 3730-3738.

[28]	Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 4401-4410.

[29]	Le V, Brandt J, Lin Z, et al. Interactive facial feature localization[C]// Computer Vision-ECCV 2012: 12th European Conference on Computer Vision. Florence: IEEE, 2012: 679-692.

[30]	Yu J, Lin Z, Yang J, et al. Free-form image inpainting with gated convolution[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2019: 4471-4480.

[31]	Yu J, Lin Z, Yang J, et al. Generative image inpainting with contextual attention[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2018: 5505-5514.