芮城永乐宫壁画图像数字化复原

雷桐; 刘慧婕; 李艺璇; 张盈乙; 周雯

doi:10.12404/j.issn.1671-1815.2502087

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (9) :3867-3875 DOI: 10.12404/j.issn.1671-1815.2502087

自动化技术、计算机技术

芮城永乐宫壁画图像数字化复原

雷桐 ¹^,² ,
刘慧婕 ² ,
李艺璇 ² ,
张盈乙 ¹ ,
周雯 ¹^,^*

作者信息 +

Digital Restoration of the Murals in Yongle Palace, Ruicheng

LEI Tong ¹^,² ,
LIU Hui-jie ² ,
LI Yi-xuan ² ,
ZHANG Ying-yi ¹ ,
ZHOU Wen ¹^,^*

Author information +

文章历史 +

摘要

山西芮城永乐宫壁画是黄河文化遗产的重要组成部分,在国内外都备受关注与支持。然而,随着时间的推移,这些壁画因自然因素和人为干预出现了信息缺失和色彩逐渐退化的现象,不仅削弱了其多元文化价值,也在一定程度上制约了其在学术研究和实际应用中的进一步发展。基于上述问题,提出了基于图像块匹配和色彩修复模型的壁画图像数字化复原方法,该方法先采用基于图像块匹配的传统算法进行初步的结构性修复,之后在此基础之上,利用基于深度学习的修复方法,针对壁画图像中的色彩部分再次进行修复,引入多特征融合模块,分别从梯度和特征两个层面进行特征提取,改善模型特征提取不足的问题,提升壁画图像的色彩修复质量和视觉观赏效果。实验结果表明,所提方法的主客观分析指标较高,能够弥补壁画图像缺失信息、提高壁画图像色彩的修复质量。

Abstract

The murals of Yongle Palace in Ruicheng, Shanxi, are an essential part of the Yellow River cultural heritage and have received widespread attention and support both domestically and internationally. However, over time, these murals have experienced information loss and gradual color degradation due to natural factors and human interventions. This has not only weakened their cultural value but also limited their further development in academic research and practical applications. To address these issues, a digital restoration method for mural images based on patch matching and color restoration models was proposed. Traditional algorithms based on patch matching were first employed for preliminary structural restoration. Subsequently, a deep learning-based restoration method was applied to further restore the color of the murals. A multi-feature fusion module was introduced to extract features from both gradient and feature levels, addressing the shortcomings of feature extraction and improving the color restoration quality and visual effects of mural images. Experimental results demonstrate that the proposed method achieves high subjective and objective evaluation metrics, effectively compensates for missing information in mural images, and enhances the quality of color restoration.

Graphical abstract

关键词

永乐宫 / 图像块匹配 / 色彩修复模型 / 壁画图像复原

Key words

Yongle Palace / patch matching / color restoration model / mural image restoration

引用本文

引用格式 ▾

雷桐, 刘慧婕, 李艺璇, 张盈乙, 周雯. 芮城永乐宫壁画图像数字化复原[J]. 科学技术与工程, 2026, 26(9): 3867-3875 DOI:10.12404/j.issn.1671-1815.2502087

LEI Tong, LIU Hui-jie, LI Yi-xuan, ZHANG Ying-yi, ZHOU Wen. Digital Restoration of the Murals in Yongle Palace, Ruicheng[J]. Science Technology and Engineering, 2026, 26(9): 3867-3875 DOI:10.12404/j.issn.1671-1815.2502087

登录浏览全文

4963

注册一个新账户忘记密码

山西芮城永乐宫是元代重要的道教宫观建筑,其壁画规模宏大、技艺精湛,尤以三清殿《朝元图》为代表,被誉为中国古代道教壁画的巅峰之作,与敦煌莫高窟壁画并称为“中国古代壁画双璧”,是黄河文化遗产的重要组成部分。然而,历经岁月的侵蚀以及自然与人为因素的双重影响,这些壁画出现了褪色、脱落、裂缝和空鼓等病害,导致画面信息严重缺失。因此,对其进行数字化图像修复显得尤为重要。

图像修复是利用算法对受损、缺失的图像进行恢复的过程,能够提高图像的质量和呈现效果。近年来,除应用于数字摄影、视频图像和医学影像等领域中^[1],壁画图像领域也成为热点。早期修复技术以传统算法为主,主要包括三类:基于扩散的方法、基于样本块匹配的方法和基于稀疏表示的方法,如Bertalmio等^[2]基于扩散的方法,将三阶偏微分方程用于图像修复中,并提出了沿图像修复边界的等照度线方向,进行各向异性扩散的模型;在此之后,后人又进行了一系列的改进,提出了多种基于扩散的修复方法^[3-5]并不断优化,但在修复高频纹理和大面积缺损时常出现边界模糊和细节丢失的问题。基于样本块匹配的方法以Criminisi等^[6]提出的方法为代表,这类型的方法^[7-10]主要为采用图像中的完整区域,与图像中待修复区域边缘相匹配,选取匹配度最高的样本块进行修复,能较好保留纹理连续性,但面对结构复杂或大范围缺失的区域,匹配精度下降,易产生视觉违和。而基于稀疏表示的方法,能够同时兼顾保留图像更多的原始信息和处理图像中失真等状况,Olshausen等^[11]首次将稀疏表示引入图像处理中,伴随着大量研究,当前基于稀疏表示的方法已有很大改进,如Arya等^[12]基于小波块和基于组的稀疏表示学习,利用两者的优势在小波分解分量上使用自适应K-奇异值分解(K-singular value decomposition,K-SVD)创建多个字典;陈永等^[13]则通过非下采样轮廓波变换优化传统稀疏表示方法以适配壁画结构与纹理的异质性,但此类方法普遍依赖高质量字典构建,计算复杂度高,对不同图像内容的适应性有限。

随着技术发展,基于深度学习的图像修复方法成为研究热点,特别适用于破损程度严重、语义结构复杂的图像重建。主要方法可分为U-Net网络、编码-解码网络、生成对抗网络、Transformer等方法。如Wang等^[14]对U-Net网络进行改进,提出一种动态选择网络(dynamic selection network,DS-Net),引入了有效性可迁移卷积(validity-aware migratable convolution,VMC)和区域复合归一化模块(regional composite normalization,RCN);Wadhwa等^[15]利用超微图卷积的超微保护连接节点,以此提升图像特征之间的关系,还在鉴别器中引入所设定的卷积,保证预测图像中局部的一致性;Zeng等^[16]基于生成对抗网络,提出了上下文重建损失,其中查询-引用特征相似性和基于引用的重构器与修复生成网络联合优化;Dong等^[17]提出利用额外的结构恢复器来逐步促进图像修复,在固定的低分辨率草图空间中使用强大的基于注意力的Transformer模型恢复整体图像的结构。然而,深度学习方法在壁画修复领域中的应用仍面临两大挑战:一是对大规模标注样本的依赖,如遇到壁画数据稀缺、样本获取困难等情况,容易导致模型过拟合;二是在局部复杂纹理或艺术细节表达上,当前模型仍存在修复精度不足的问题。

综上所述,结合永乐宫壁画的破损特征与修复需求,尽管传统图像修复方法在低破损程度的壁画修复中取得了显著成效,但面对永乐宫中的巨幅壁画,其大面积、复杂纹理的损坏特征暴露了传统方法的局限性,易出现内容失真、细节模糊以及边界不匹配等问题。相比之下,深度学习图像修复方法以其强大的特征提取能力和端到端训练机制,能够自动学习缺失区域与非缺失区域之间的上下文关联性,同时捕捉壁画整体的语义一致性,在全局特征重建方面展现了明显优势。然而,深度学习方法对大规模标注数据的依赖性较高,而永乐宫壁画内容的复杂性与样本的稀缺性限制了其广泛应用,在数据有限的情况下可能因为过拟合而导致无效修复,并且深度学习的方法在处理局部复杂纹理或精细化细节时仍存在一定的修复精度不足问题。

因此,针对芮城永乐宫壁画的破损情况和艺术特征,现提出一种双阶段的方法,融合传统方法与深度学习的修复方法,先使用人机交互式的传统图像修复方法,用于重建壁画图像的局部结构与纹理,以确保修复区域在细节上与整体风格一致;再使用深度学习图像修复方法专注于壁画图像中,色彩部分的全局一致性恢复,通过捕捉缺失区域与现有区域之间的色彩相关性,提升壁画图像的色彩过渡自然性与视觉连贯性。这种双阶段的方法能够在结构复杂、色彩信息丰富的壁画修复中充分发挥两种方法的优势,且能够有效缓解深度学习模型在小样本条件下的过拟合风险,增强对高复杂度壁画图像的适应能力。

1 壁画色彩修复相关工作

永乐宫壁画在色彩上的表现是中国重彩绘画艺术史上的典范,因此针对其色彩修复,梳理了相关工作。在壁画图像色彩修复中,色彩信息的准确还原是恢复壁画视觉效果和历史价值的重要环节。当前,基于深度学习的色彩修复方法主要依赖卷积神经网络对图像的全局特征进行提取与生成,如徐志刚等^[18]针对壁画褪色、变色问题,提出了采用双重约束卷积神经网络提取壁画图像的高阶段特征;He等^[19]采用神经特征进行匹配,提出用于在具有感知相似语义结构的图像间进行色彩传输,优化了满足图像局部和全局约束的色彩传输的局部线性模型;Leon等^[20]采用对象识别优化的卷积神经网络,分离和重新组合图像内容及风格,使图像信息变得明确;Song等^[21]针对现有网络结构中壁画缺陷修复不足的问题进行改进,将壁画图像转换为色彩空间,引入色度、饱和度及亮度功能,使用置信度和数据来确定脱落边界点的优先级,并建立多结构形态学滤波器来消除图像噪声;Li等^[22]提出了一个基于人工智能算法的生成判别网络模型,优化了判别性网络模型,同时采用神经网络技术将图像风格进行迁移;曹建芳等^[23]基于生成对抗网络,采用全卷积网络(fully convolutional network, FCN)提取深度特征和反卷积将特征映射的方式改进生成网络,但该方法需要高质量数据,随后曹建芳等^[24]又针对壁画图像褪色、变色,以及修复完成的壁画图像中假色、伪影等问题,提出在循环一致性损失中添加同一映射损失,并引入协调注意力机制。

2 双阶段壁画图像修复方法

如图1所示,所提出的壁画图像修复方法整体采用双阶段框架,即图1中“A-基于图像块匹配”黄色部分和“B-基于深度学习”绿色部分。黄色部分为第一阶段,侧重于局部结构与纹理的重建,结合人机交互方式,通过图像块匹配策略,引导修复区域在形态、纹理和风格上与完整区域保持一致,为后续处理提供结构基础。该阶段利用传统方法在细节保持与人工控制方面的优势,适用于壁画中具有明确边缘和重复纹理的区域修复,且这一阶段模型已在其他受损壁画中应用,具备一定的迁移性^[25]。绿色部分为第二阶段,引入基于深度学习的图像修复模型,重点解决壁画图像在色彩层面的全局一致性问题。该阶段利用深度神经网络自动建构缺失区域与非缺失区域之间的上下文语义关系,提升色彩过渡的自然性与图像整体的视觉连贯性。在修复过程中,深度学习方法弥补了传统方法在全局建模与高层语义理解上的不足,增强了对复杂破损区域的表达能力。

2.1 基于图像块的壁画图像复原模型

针对永乐宫壁画当前状况,所提模型先基于图像块的方法进行第一阶段壁画图像复原,在图像块层面填补缺失区域。在这一模型中,会使用人工引导进行结构标记,属于交互式壁画图像复原方法^[25]。具体过程为,先对待修复壁画图像样本预先进行部分人工修复和人工结构标记,如图2所示。之后基于图像块的壁画图像复原模型,利用人工引导的结构标记信息实现数字化自动修复。

步骤1 对壁画待修复区域${\psi }_{u}$进行分类,判断是否包含结构引导标记信息,包含属于结构块集合$S=\left\{{\psi }_{s}\right\}(s=\mathrm{1,2},\dots,N)$,不包含属于纹理块集合$T=\left\{{\psi }_{t}\right\}(t=\mathrm{1,2},\dots,M)$。

步骤2 若纹理块集合不为空集,则优先进行修复并随机选定待修复的纹理块${\psi }_{p}$,利用式(1)和式(2)选定K个最优匹配已知图像样本块${\psi }_{q}$且满足条件为

(1)${\psi }_{q}=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}\left[\mathrm{S}\mathrm{i}\mathrm{m}\mathrm{i}\right({\psi }_{p},{\psi }_{q}\left)\right]$

式(1)中:Simi(·)为样本图像块相似度计算函数。

在RGB显示模式下,设样本图像块大小为m×m像素,x表示样本图像块${\psi }_{p}$的像素色彩值,y表示样本图像块${\psi }_{q}$的像素色彩值。则两样本图像块的相似度值可表示为

(2)$\mathrm{S}\mathrm{i}\mathrm{m}\mathrm{i}({\psi }_{p},{\psi }_{q})=\sqrt{\stackrel{m}{\sum _{i=1}}\stackrel{m}{\sum _{j=1}}({x}_{i,j}-{y}_{i,j}{)}^{2}}$

步骤3 建立约束方程,利用K个最优匹配已知样本图像块的线性组合去填充块${\psi }_{p}$。约束方程为

(3)$\left\{\begin{array}{l}\stackrel{H}{\sum _{w=1}}{a}_{\mathrm{c}\mathrm{w}}=1\\ =\stackrel{-}{E}{\hat{\mathrm{\psi }}}_{p}-E{\mathrm{\psi }}_{\mathrm{p}}{=}_{2}^{2}<\varepsilon \end{array}\right.$

式(3)中:向量${a}_{c}=({a}_{c1},{a}_{c2},\dots,{a}_{cw},\dots,{a}_{cH})$为${\psi }_{p}$的稀疏解,其和为1;$\stackrel{-}{E}$和E分别为壁画图像已知区域和待修复区域的逻辑矩阵;${\hat{\psi }}_{p}$为${\psi }_{p}$的线性估计;ε为容忍度。

步骤4 图样块置信度更新,纹理块集合T为空之前,重复操作步骤2~步骤4。

步骤5 当纹理块集合T为空,结构块集合S不为空时,基于结构复杂度对${\psi }_{s}$的优先权P(s)进行计算。

(4)$P\left(s\right)=C\left(s\right)\mathrm{C}\mathrm{o}\mathrm{m}\mathrm{p}\left(s\right)$

式(4)中:C(s)为置信项;Comp(s)为待修复样本图像块的结构复杂度函数,计算公式为

(5)$\mathrm{C}\mathrm{o}\mathrm{m}\mathrm{p}\left(s\right)=\frac{1}{2}\mathrm{e}\mathrm{x}\mathrm{p}\left[-\frac{\sum _{S\in {\psi }_{s}\bigcap \Omega }H\left(s\right)}{\left|{\psi }_{s}\right|}\right]$

式(5)中:$\sum _{S\in {\psi }_{s}\bigcap \mathrm{\Omega }}H\left(s\right)$为${\psi }_{s}$中的结构像素数分别;$\left|{\psi }_{s}\right|$为${\psi }_{s}$中的总像素数。

步骤6 选择优先权最大样本图像块作为当前待修复样本图像块。结构块集合S为空之前,重复步骤3和步骤4,随即结束。

2.2 多特征融合壁画图像色彩修复模型

2.2.1 梯度生成器

多特征融合壁画图像色彩修复模型的第一模块为梯度生成器。尽管二值边缘图和梯度图均可一定程度上反映壁画的结构特征,但二值边缘图仅能标识色块边界的位置,而梯度图则能够更全面地表达边界位置、梯度方向以及梯度强度等信息。相比之下,梯度图中包含的丰富信息更适配于所提色彩修复模型,即计算相关色彩区域及修正缺失区域的色彩具有更好的效果和效率。因此,色彩修复模型借鉴文献[26]的思想,采用梯度图来表征壁画的结构特征,并引入梯度生成器作为壁画结构修复的核心网络。

梯度生成器表示为G_s,壁画中结构缺失的梯度图表示为S_in,所生成的结构完整的梯度图表示为S_out,待修复壁画图像表示为I_in,待修复壁画图像的灰度图像表示为I_in,gray,壁画图像缺失区域标记图表示为M,具体计算公式为

(6)${S}_{\mathrm{o}\mathrm{u}\mathrm{t}}={G}_{\mathrm{s}}({S}_{\mathrm{i}\mathrm{n}},{{I}_{\mathrm{i}\mathrm{n},}}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{y}},M)$

所使用的损失函数L₁表达式为

(7)${\mathrm{L}}_{{G}_{\mathrm{s}}}=\frac{1}{{N}_{{S}_{\mathrm{g}\mathrm{t}}}}={S}_{gt}-{S}_{out}{=}_{1}$

式(7)中:S_gt为壁画图像对应的真实梯度图的梯度真值;N_{S_gt}为S_gt中所含元素的总数。

2.2.2 RGB生成器

多特征融合壁画图像色彩修复模型的第一模块为RGB生成器。RGB生成器表示为G_c,输入待修复壁画图像表示为I_in和第一模块生成的结构完整梯度图S_out,再次生成出色彩完整的壁画图像I_out,具体计算公式为

(8)${I}_{\mathrm{o}\mathrm{u}\mathrm{t}}={G}_{\mathrm{s}}({S}_{\mathrm{o}\mathrm{u}\mathrm{t}},{I}_{\mathrm{i}\mathrm{n}},M)$

引入文献[27]中的损失函数对本文模型进行训练,其被多次用于训练且训练效果较为稳定。该损失函数公式^[27]为

(9)${\mathrm{L}}_{{G}_{\mathrm{c}}}={\lambda }_{\mathcal{l}1}{\mathrm{L}}_{\mathcal{l}1}+{\lambda }_{\mathrm{a}\mathrm{d}\mathrm{v}}{\mathrm{L}}_{\mathrm{a}\mathrm{d}\mathrm{v},{G}_{\mathrm{c}}}+{\lambda }_{\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{c}}{\mathrm{L}}_{\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{c}}+{\lambda }_{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}{\mathrm{L}}_{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}$

式(9)中:${\mathrm{L}}_{\mathcal{l}1}$为L₁损失函数;L_adv为对抗损失函数;L_perc为感知损失函数;L_style为风格损失函数;${\lambda }_{\mathcal{l}1}$、λ_adv、λ_perc、λ_style为平衡各损失的超参数。

如表1所示,4个损失项分别对壁画图像的不同层面进行约束,以提升生成图像的质量。${\lambda }_{\mathcal{l}1}$、λ_adv、λ_perc、λ_style的具体参数设置如表2所示。

通过输入原始壁画图像I_in至I_out的目标区域中,最终生成的壁画图像表示为I_inp,计算公式为

(10)${I}_{\mathrm{i}\mathrm{n}\mathrm{p}}={I}_{\mathrm{o}\mathrm{u}\mathrm{t}}☉M+{I}_{\mathrm{i}\mathrm{n}}☉(1-M)$

式(10)中:☉为Hadamard乘积,即两个同尺寸矩阵在对应位置进行逐元素相乘。

2.2.3 多特征融合模块

为重点提升对于永乐宫壁画图像的色彩修复质量和色彩相似性,在基于深度学习的修复模型当中,引入结构信息引导的多特征融合模块^[28]。如图3所示,该模块分别从梯度和特征两个层面进行特征提取,梯度指导从图像修复目标区域中不同色彩的交界处进行特征提取;特征指导则从图像修复目标区域中相同色彩的区域中进行特征提取,作为特征补充,最终将所提取的所有特征进行融合,以此增强壁画图像色彩的修复效果。

具体的步骤为,先输入RGB生成器中特定层所对应的特征图f,图像修复目标区域特征则表示为$\left\{f\right(p),p\in \Omega \}$,之后,目标区域p从梯度和特征两个层面,提取并整合目标区域周围相关的特征信息。梯度指导的特征提取通过整合目标区域周围相关的特征信息,对目标区域的特征进行调整。周围特征对目标特征的贡献程度由其与目标位置梯度的相似性决定。

在梯度指导的特征提取中,根据目标区域表示为p,其相邻区域表示为U_r(p),相邻区域特征表示为$\left\{f\right(q),q\in {U}_{\mathrm{r}}(p\left)\right\}$,目标区域特征表示为f(p)。相邻区域特征的提取程度为目标区域p和相邻区域q所对应梯度之间的相似度w_g(p,q),计算公式为

(11)${w}_{\mathrm{g}}(p,q)=\frac{{S}_{\mathrm{g}}(p,q)+1}{2}$

式(11)中:S_g(p,q)为目标区域p的预测梯度S_out(p)和相邻区域q的梯度S_out(q)的余弦相似度,计算公式为

(12)${S}_{\mathrm{g}}(p,q)=\frac{S\left(p\right)S\left(q\right)}{\Vert S\left(p\right)\Vert \Vert S\left(q\right)\Vert }$

通过相邻区域特征$\left\{f\right(q),q\in {U}_{\mathrm{r}}(p\left)\right\}$和相似度w_g(p,q)细化提取特征,计算公式为

(13)${f}_{\mathrm{g}}\left(\mathrm{p}\right)=\frac{\sum _{q\in {U}_{\mathrm{r}}\left(p\right)}{w}_{\mathrm{g}}(p,q)f\left(q\right)}{\sum _{q\in {U}_{\mathrm{r}}\left(p\right)}{w}_{\mathrm{g}}(p,q)}$

与梯度指导的特征提取类似,特征指导的特征提取通过式(14)细化特征^[29],表达式为

(14)${f}_{\mathrm{f}}\left(p\right)=\frac{{\sum }_{q\in {U}_{\mathrm{r}}\left(p\right)}{w}_{\mathrm{b}}(p,q)f\left(q\right)}{{\sum }_{q\in {U}_{\mathrm{r}}\left(p\right)}{w}_{\mathrm{b}}(p,q)}$

式(14)中:w_b(p,q)为w_f(p,q)和w_d(p,q)的乘积。

同理,相似度度量S_f(p,q)为目标区域特征f(p)和相邻区域特征f(q)的余弦相似度,w_f(p,q)为S_f(p,q)归一化得到的权重,w_d(p,q)、w_f(p,q)、S_f(p,q)的计算公式如下。

(15)${w}_{\mathrm{d}}(p,q)=\mathrm{e}\mathrm{x}\mathrm{p}\left[\frac{({x}_{p}-{x}_{q}{)}^{2}+({y}_{p}-{y}_{q}{)}^{2}}{2{\sigma }_{\mathrm{d}}^{2}}\right]$

(16)${w}_{\mathrm{f}}(p,q)=\frac{{S}_{\mathrm{f}}(p,q)+1}{2}$

(17)${S}_{\mathrm{f}}(p,q)=\frac{f\left(p\right)f\left(q\right)}{\Vert f\left(p\right)\Vert \Vert f\left(q\right)\Vert }$

式中:(x_p,y_p)为特征图中目标区域p的坐标;(x_q,y_q)为特征图中目标区域q的坐标;σ_d为超参数,控制高斯窗口内每个位置的权重;w_d(p,q)为高斯窗口内的权重。

通过梯度指导和特征指导,分别得到了特征f_g和f_f,将两个层面的特征进行融合,输出最终特征信息f_refined。输入两个特征的张量并在通道上进行融合,对融合后的特征进行1×1的卷积操作,这一操作表示为h(·),最终输出的特征f_refined通道数量与原始壁画图像特征图f通道数量相同。

(18)${f}_{\mathrm{r}\mathrm{e}\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{d}}=h({f}_{\mathrm{g}},{f}_{\mathrm{f}})$

3 实验结果

3.1 实验环境与数据集

实验在配置为AMD锐龙9 7950X处理器、32.0 GB内存和NVIDIA GeForce RTX 4090显卡的Windows 10平台上进行,使用python3.6及Pytorch 1.8搭建实验网络来验证所提策略的有效性。

实验选取了《永乐宫壁画集》《永乐宫壁画全集》《中国古代壁画经典高清大图系列·永乐宫壁画》3本电子资源画册中的永乐宫壁画图像作为数据集来源,并通过2.1节提出基于图像块的壁画图像复原模型对其进行数据集扩充,最终以1 000张壁画图像的数据集进行整体实验验证。

3.2 对比实验

在对比实验中分别选取了3个方法与本文方法从定性和定量两个方面,对实验结果进行分析。所选取的方法为文献[6]、文献[27]、文献[31],分别为3个类型的主流方法,文献[6]为Criminisi算法,是基于图像块的经典图像修复方法;文献[27]为基于卷积神经网络的双阶段图像修复方法,且相似框架在壁画图像修复领域中多次应用;文献[31]则是基于卷积神经网络的单阶段图像修复方法,同样常应用于壁画图像修复。

3.2.1 对比实验的定性分析

实验分别模拟破损壁画修复和真实破损壁画修复,并且每个类型的实验选取了4张永乐宫壁画图像对其添加掩膜,模拟破损壁画修复实验中添加的为中心掩膜,真实破损壁画修复实验则是根据需要修复的区域添加掩膜。修复结果如图4和图5所示。

图4与图5展示了4种方法对永乐宫壁画的修复结果,两幅图分别从横向对比来看,文献[6]对于较大面积的壁画破损无法完成有效块匹配操作,出现结果紊乱、错误修复等情况[图4(c)、图5(c)];文献[27]在结构缺失区域的预测上具有一定的准确性,但生成内容的色彩效果仍存在不足[图4(d)、图5(d)];文献[31]易在缺失区域生成模糊图像,同时伴随明显且不自然的修复痕迹,影响了整体效果的修复质量[图4(e)、图5(e)]。本文方法的修复结果不仅结构修复合理,色彩修复也有明显的改善[图4(f)、图5(f)],在视觉效果上极大提高了修复图像的整体质量。

3.2.2 对比实验的定量分析

实验除了以专家视觉评判对修复结果进行主观评价,还采用了两个定量评价指标进行客观评价,分别是峰值信噪比(peak signal-to-noise ratio,PSNR)和结构相似度(structural similarity,SSIM)。PSNR用于量化受损图像的重构质量,数值越大,修复效果越好;SSIM用于衡量图片的失真程度和衡量两张图片的相似程度,数值越大,失真越小。表3为4种真实破损壁画修复结果的量化效果。

如表3所示,本文方法基于PSNR和SSIM两种指标,与其他3种方法比较,获得了更好的量化指标,验证了壁画图像的修复质量更好,以及对于永乐宫壁画修复的有效性。

3.3 消融实验

为了验证所提双阶段修复模型中主要设计模块对修复结果的影响,使用单一查询模式,依次将第一阶段模型中的人工引导模块、第二阶段模型中的多特征融合模块分别引入模型中,且采用15%掩码率的图像进行实验,同样从定性和定量两个方面进行分析。

3.3.1 消融实验的定性分析

为了更直观地验证所提出的方法在壁画修复中的有效性,依次将添加模块后的可视化结果进行对比,实验结果如图6所示。

图6(c)所示为未引入任何模块的双阶段基准模型(Baseline)的修复效果。可以观察到,基准模型在缺失区域内难以生成清晰的结构轮廓或线条边缘。相比之下,图6(d)所示为引入人工引导模块后的修复结果,明显改善了该问题,生成的壁画结构更加清晰且具备艺术风格一致性,表明人工结构引导在准确重建壁画结构方面具有关键作用。图6(e)进一步展示了在此基础上引入第二阶段模型中多特征融合模块后的最终修复效果,其中原本结构区域内存在的不合理色彩被有效校正,色彩分布更加自然、视觉效果更为协调。综上所述,消融实验结果表明,本文方法所提出的各个关键模块在特征重建与色彩优化方面均发挥了积极作用,显著提升了壁画图像修复的整体质量与表现力。

3.3.2 消融实验的定量分析

定量评价如表4所示,可见,随着各模块的逐步引入,模型在PSNR和SSIM两项指标上均持续提升,充分说明本文方法所设计的双阶段融合策略在提升壁画图像修复质量方面具有显著效果。

4 结论

提出了一种针对永乐宫壁画修复的双阶段修复方法,将传统图像修复方法与深度学习方法相结合,以提升壁画复原的整体质量与适应性。首先,通过基于图像块匹配的传统修复方法,重建壁画图像的局部结构和纹理,确保修复区域在细节与风格上的一致性;随后,采用深度学习模型对壁画图像的色彩进行全局一致性优化,显著改善色彩过渡的自然性与视觉连贯性。通过自制壁画数据集对策略框架进行验证,实验结果表明,该混合策略能够有效融合两种方法的优势,在处理复杂结构和丰富色彩信息的壁画修复任务中展现出稳健性和高效性,为壁画图像修复提供了一种具有实际应用价值的新方法。下一步的工作将聚焦于局部结构语义的细化处理,并探索模型在不同类型壁画中的适应性问题,进一步拓展在其他壁画修复中的可迁移性和应用潜力。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	陈文祥, 田启川, 廉露, 等. 基于深度学习的图像修复方法研究进展[J]. 计算机工程与应用, 2024, 60(22): 58-73.

[2]	Chen Wenxiang, Tian Qichuan, Lian Lu, et al. Research progress of image inpainting methods based on deep learning[J]. Computer Engineering and Applications, 2024, 60(22): 58-73.

[3]	Bertalmio M, Sapiro G, Caselles V, et al. Image inpainting[C]// Proceedings of the 27th Annual Conference on Computer Graphics and Interactive Techniques. New York: ACM, 2000: 417-424.

[4]	Shen J, Chan T F. Mathematical models for local nontexture inpaintings[J]. Siam Journal on Applied Mathematics, 2002, 62: 1019-1043.

[5]	师晓波, 蔺素珍. 基于样本块和BSCB模型的壁画裂缝修复方法[J]. 科学技术与工程, 2017, 17(35): 98-104.

[6]	Shi Xiaobo, Lin Suzhen. Restoring method of the tomb fracture based on sample patch and BSCB model[J]. Science Technology and Engineering, 2017, 17(35): 98-104.

[7]	Theljani Z M M. High-order anisotropic diffusion operators in spaces of variable exponents and application to image inpainting and restoration problems[J]. Nonlinear Analysis: Real World Applications, 2019, 47: 251-271.

[8]	Criminisi A, Perez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13: 1200-1212.

[9]	Barnes C, Shechtman E, Finkelstein A, et al. PatchMatch: a randomized correspondence algorithm for structural image editing[J]. ACM Transactions on Graphics, 2009, 28: 1531330.

[10]	Cao J F, Li Y F, Zhang Q, et al. Restoration of an ancient temple mural by a local search algorithm of an adaptive sample block[J]. Heritage Science, 2019, 7(1). DOI: 10.1186/s40494-019-0281-y.

[11]	Yao F. Damaged region filling by improved criminisi image inpainting algorithm for thangka[J]. Cluster Computing, 2019, 22: 13683-13691.

[12]	Li K S, Wei Y S, Yang Z, et al. Image inpainting algorithm based on TV model and evolutionary algorithm[J]. Soft Computing, 2016, 20: 885-893.

[13]	Olshausen B A, Field D J. Emergence of simple-cell receptive field properties by learning a sparse code for natural images[J]. Nature, 1996, 381: 607-609.

[14]	Arya A S, Saha A, Mukhopadhyay S. ADMM optimizer for integrating wavelet-patch and group-based sparse representation for image inpainting[J]. The Visual Computer, 2024, 40: 345-372.

[15]	陈永, 赵梦雪, 陶美风. 多尺度轮廓波分解的群稀疏壁画修复算法[J]. 西安电子科技大学学报, 2022(6): 120-128.

[16]	Chen Yong, Zhao Mengxue, Tao Meifeng. Mural inpainting algorithm for group sparse based on multi-scale contourlet transform decomposition[J]. Journal of Xidian University, 2022(6): 120-128.

[17]	Wang N, Zhang Y P, Zhang L F. Dynamic selection network for image inpainting[J]. IEEE Transactions on Image Processing, 2021, 30: 1784-1798.

[18]	Wadhwa G, Dhall A, Murala S, et al. Hyperrealistic Image Inpainting with Hypergraphs[C]//2021 IEEE Winter Conference on Applications of Computer Vision (WACV). Montreal: IEEE, 2021: 3911-3920.

[19]	Zeng Y, Lin Z, Lu H C, et al. CR-Fill: generative image inpainting with auxiliary contextual reconstruction[C]// 2021 IEEE/CVF International Conference on Computer Vision (ICCV). Montreal: IEEE, 2021: 14144-14153.

[20]	Dong Q L, Cao C J, Fu Y W. Incremental transformer structure enhanced image inpainting with masking positional encoding[J]. ArXiv: 2203. 00867, 2022.

[21]	徐志刚, 尹文玉, 朱旭锋. 基于双重约束CNN的壁画图像色彩还原[J]. 华中科技大学学报(自然科学版), 2020, 48(6): 6-12.

[22]	Xu Zhigang, Yin Wenyu, Zhu Xufeng. Color restoration of mural image based on double constrained convolutional neural network[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition), 2020, 48(6): 6-12.

[23]	He M M, Liao J, Chen D D, et al. Progressive color transfer with dense semantic correspondences[J]. ArXiv: 1710. 00756, 2017.

[24]	Gatys L A, Ecker A S, Bethge M. Image style transfer using convolutional neural networks[C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas: IEEE, 2016: 2414-2423.

[25]	Song G H, Wang H. Artificial intelligence-assisted fresco restoration with multiscale line drawing generation[J]. Complexity, 2021(4): 1-12.

[26]	Li J, Wang H, Deng Z Q, et al. Restoration of non-structural damaged murals in Shenzhen Bao’an based on a generator-discriminator network[J]. Heritage Science, 2021, 9(1): 6. DOI: 10.1186/s40494-020-00478-w.

[27]	Cao J F, Zhang Z B, Zhao A D, et al. Ancient mural restoration based on a modified generative adversarial network[J]. Heritage Science, 2020(1). DOI: 10.1186/S40494-020-0355-X.

[28]	曹建芳, 靳梦燕, 李朝霞, 等. 基于循环生成对抗网络的壁画色彩修复算法[J]. 山东科技大学学报(自然科学版), 2023, 42(4): 101-112.

[29]	Cao Jianfang, Jin Mengyan, Li Zhaoxia, et al. Mural color restoration algorithm based on cyclic generative adversarial network[J]. Journal of Shandong University of Science and Technology(Natural Science), 2023, 42(4): 101-112.

[30]	蒋超, 雷桐, 俞琳, 等. 西安韩森寨元代墓室壁画数字化修复方法[J]. 科学技术与工程, 2020, 20(31): 12922-12926.

[31]	Jiang Chao, Lei Tong, Yu Lin, et al. The digital restoration method for the murals in the Yuan Dynasty Tomb of Hansenzhai, Xi’an[J]. Science Technology and Engineering, 2020, 20(31): 12922-12926.

[32]	Zhou Z H, Liu X R, Shang J Y, et al. Inpainting digital dunhuang murals with structure-guided deep network[J]. Journal on Computing and Cultural Heritage, 2022, 15: 1-25.

[33]	Nazeri K, Ng E, Joseph T, et al. EdgeConnect: structure guided image inpainting using edge prediction[C]// 2019 IEEE/CVF International Conference on Computer Vision Workshop (ICCVW). Seoul: IEEE, 2019: 3265-3274.

[34]	刘欣然. 敦煌数字壁画修复算法研究[D]. 广州: 华南理工大学, 2023.

[35]	Liu Xinran. Research on digital dunhuang mural inpainting algorithm[D]. Guangzhou, China: South China University of Technology, 2023.

[36]	Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C]// Sixth International Conference on Computer Vision (IEEE Cat. No. 98CH36271). New Delhi: Narosa Publishing House: 839-846.

[37]	Bertalmio M, Bertozzi A L, Sapiro G. Navier-Stokes, fluid dynamics, and image and video inpainting[C]// IEEE Computer Society Conference on Computer Vision & Pattern Recognition. Kauai: IEEE, 2001: 990497.

[38]	Liu G L, Reda A F, Shih K J, et al. Lecture notes in computer science[M]. Berlin: Springer International Publishing, 2018.

基金资助

陕西省社会科学基金(2022J026)

PDF (30857KB)

访问

被引

详细

导航

Received	Published	Revised
2025-03-27	2026-03-28	2025-07-27
Online Date
2026-06-02

摘要