基于双流RRU-Net的图像篡改拼接检测算法

朱金强 ,  伊力哈木·亚尔买买提

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (12) :5153-5163

PDF (10051KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (12) :5153-5163 DOI: 10.12404/j.issn.1671-1815.2504004
自动化技术、计算机技术

基于双流RRU-Net的图像篡改拼接检测算法

作者信息 +

Image Tampering and Splicing Detection Algorithm Based on Dual-stream RRU-Net

Author information +
文章历史 +

摘要

针对目前的图像篡改拼接检测方法,存在边缘模糊,忽视背景信息等问题,提出了一种双标签监督的双流环形残差U型网络(ringed residual u-net,RRU-Net)图像篡改拼接检测算法。首先,在RRU-Net的基础上,设计了掩膜边缘流,并通过自适应层实现掩膜流和掩膜边缘流双向交互,充分利用其互补信息,提高检测掩膜边缘的清晰度;其次,在网络输入端,将输入图像从RGB空间转换到YCrCb颜色空间,对图像的亮度信息和色彩信息单独分析,揭示篡改图像中潜在的篡改痕迹;接着,在网络中间层引入坐标注意力,对融合后的特征重新校准,以增强对关键特征的聚焦能力;最后,在掩膜流中,使用二值交叉熵损失(binary cross entropy loss,BCE)+Dice组合损失函数,缓解了样本中前景背景(面积)不平衡带来的消极影响。实验结果表明:所提方法在公开数据集CASIA1.0、CASIA2.0、IMD2020和自制合成数据集上,不仅相较于基础模型RRU-Net,F1分数分别提升了25.96%、5.15%、7.14%和9.96%,且其检测性能显著优于文中其他所有对比方法。此外,鲁棒性实验中,所提方法经JPEG压缩、图像缩放等后处理操作,F1分数小幅度下降,总体上优于对比方法,具有较强的鲁棒性,进一步验证了该方法具有较优的检测性能。

Abstract

An image splicing forgery detection algorithm based on a dual-label supervised dual-stream ringed residual u-net(RRU-Net) was proposed to address existing issues such as blurred edges and neglected background information in current methods. Firstly, building upon the RRU-Net, a mask edge stream was designed. Bidirectional interaction between the mask stream and the mask edge stream was achieved through an adaptive layer, which fully utilized their complementary information to enhance the clarity of the detected mask edges. Secondly, at the input stage, the input image was converted from the RGB color space to the YCrCb color space, allowing the luminance and chrominance information to be analyzed separately to reveal potential tampering traces. Subsequently, a coordinate attention mechanism was incorporated into the intermediate layers of the network to recalibrate the fused features, thereby enhancing the focus on critical features. Finally, within the mask stream, a combination of binary cross entropy loss(BCE) and Dice loss functions was employed to mitigate the negative impact of foreground-background (area) imbalance in the samples. The experimental results demonstrate that compared to the baseline model RRU-Net, the F1-score of the proposed method is increased by 25.96%, 5.15%, 7.14%, and 9.96% on the public datasets CASIA1.0, CASIA2.0, IMD2020, and the self-constructed synthetic dataset, respectively. Moreover, the comprehensive detection performance of the proposed method is found to be significantly superior to all other compared methods in the study. Furthermore, in robustness experiments, the proposed method is subjected to post-processing operations such as JPEG compression and image scaling. Although a slight decrease in F1-score is observed, the method generally outperforms the comparative approaches, demonstrating strong robustness. The superior detection performance of the method is further validated.

Graphical abstract

关键词

图像篡改拼接检测 / 双流网络 / YCrCb颜色空间 / 坐标注意力 / 组合损失函数

Key words

image tampering and splicing detection / dual-stream network / YCrCb color space / coordinate attention / combined loss function

引用本文

引用格式 ▾
朱金强, 伊力哈木·亚尔买买提. 基于双流RRU-Net的图像篡改拼接检测算法[J]. 科学技术与工程, 2026, 26(12): 5153-5163 DOI:10.12404/j.issn.1671-1815.2504004
ZHU Jin-qiang, YAERMAIMAITI Yilihamu. Image Tampering and Splicing Detection Algorithm Based on Dual-stream RRU-Net[J]. Science Technology and Engineering, 2026, 26(12): 5153-5163 DOI:10.12404/j.issn.1671-1815.2504004

登录浏览全文

4963

注册一个新账户 忘记密码

随着数字图像的广泛应用和图像编辑技术的迅猛发展,图像篡改变得更加简单和普遍。这种技术既为社会带来了便利,也引发了对图像内容真实性的广泛关注[1]。特别是在新闻传播、司法鉴定和公共安全领域,篡改的图像可能对社会稳定和公众信任造成严重威胁[2]。因此,通过图像篡改检测技术精确判断图像的核心内容是否被篡改,确保图像信息的准确性,显得尤为必要。这不仅有助于提升公众对媒体信息的信任,也为维护社会秩序和个人权利提供了保障。
图像篡改通常包括多种形式,其中拼接是一种最常见的篡改手段。拼接篡改是通过将一张图片(供体)中的特定区域(对象)复制,这个对象可能是人、动物,或者物品等,无缝粘贴到另外一张图片(宿主)中,从而制造虚假内容误导公众。这种操作由于现代图像编辑工具的高度普及和强大功能变得更加精细,导致传统的人工检测难以辨别其痕迹,因此,研究自动化的,即基于深度学习的端到端的图像篡改拼接检测方法显得至关重要[3]。
近年来,随着深度学习技术的发展,很多基于神经网络的图像篡改拼接检测方法相继被提出。文献[4]针对图像篡改检测中因忽略特征点邻域信息量而导致的漏检和误检问题,提出了基于亮度特征耦合信息量制约的检测方法,通过Forstner算子提取特征、结合亮度与信息熵进行匹配,显著提升了检测准确度和鲁棒性。文献[5]针对图像篡改检测中存在漏检率高的问题,提出了基于SURF(speeded-up robust features)特征点和逆序广义2近邻(k-reversed-generalized 2 nearest-neighbor,k-Rg2NN)算法的检测方法,通过特征提取、匹配和RANSAC(random sample consensus)定位,有效识别多区域篡改、提升了准确率。文献[6]提出了一种多尺度特征注意力融合网络,用于图像篡改拼接检测,其中设计的多尺度扩张特征注意力模块有效捕捉到了多尺度高层的语义特征,并结合多分支注意力模块增强了低级特征的细粒度的注意力。文献[7]提出了一种双路径多尺度的图像篡改检测网络,该网络通过RGB空间和LAB(lightness green-red axis blue-yellow axis)空间两个路径提取了不同空间的篡改特征,提高了模型的检测性能。文献[8]提出了一种基于RGB域和频域的双分支图像篡改检测方法,并通过注意力结合不同域的特征,提高了模型的检测精度。文献[9]提出了一种改进的RRU-Net的双重视角多尺度图像篡改检测算法,该网络结合噪声视角和原始视角提取篡改特征,解决了浅层特征丢失的问题。文献[10]针对现有方法对大小和类型不同的篡改对象检测效果不佳的问题,提出集成多尺度注意力网络,在U-Net主干上结合位置和通道注意力模块,学习细节特征,提升检测效果,但在复杂背景下误检率较高。文献[11]提出了一种改进的双流Faster R-CNN图像篡改检测模型,利用YCrCb颜色空间替代传统的RGB颜色空间,并通过旋转变换增强噪声流特征提取,以提高对多种类型篡改(如拼接、复制移动和移除)的检测精度。文献[12]针对现有方法缺乏对篡改区域边界信息有效利用的问题,提出了边界辅助网络(boundary assisted network,BAS-Net),采用多模块协同的深度学习架构,但存在对小目标篡改和复杂场景检测的局限性。
综上,现有的方法可以粗略地实现拼接区域的检测,但仍有一些不足之处需要克服。例如,多数双分支网络获取了不同空间的篡改特征,在网络末端只进行简单的拼接或融合,或只进行单向交互,并未进行双向交互,这就造成网络模型无法充分提取篡改特征[13]。此外,现有方法忽略了图像边缘信息和背景信息,导致图像篡改拼接检测结果不理想。鉴于此,现提出一种双向交互的双流RRU-Net的图像篡改拼接检测算法。其中掩膜分支和掩膜边缘分支在训练时进行双向交互,共享信息,从而细化边界特征,提高检测结果。在输入端,将图像从RGB空间转换到YCrCb颜色空间,将亮度信息与色彩信息分开,对于图像的亮度变化(如拼接的痕迹)进行单独分析,更好地揭示篡改图像的篡改痕迹。引入坐标注意力机制,抑制网络中不相关的信息,从而增强网络的表达能力。掩膜分支采用BCE+Dice组合损失函数,掩膜边缘分支采用Dice损失函数,以提升模型对小面积前景的关注度,提升模型的性能。通过结构优化与引入更符合篡改痕迹分析的颜色空间,以期推动图像篡改检测技术向更精细化发展,为图像安全应用研究提供新的技术支持与参考。

1 算法介绍

1.1 双流RRU-Net伪代码

双流RRU-Net伪代码如下。其中,x0、h0分别为输入特征x经YCbCr处理后掩膜流和掩膜边缘流的特征,i为循环变量,d0为卷积操作,d1~d4为下采样+卷积操作,fal1~fal8为特征自适应层处理,s1、s2分别为掩膜流和掩膜边缘流,coordatt1~coordatt4为CA坐标注意力操作,up1~up4为上采样+卷积操作,out为对双分支的输出特征进行1×1卷积操作,调整输出通道数。

1.2 整体框架

提出一个双流RRU-Net网络模型,用于解决掩膜边缘模糊和忽视背景信息的问题。网络模型由两条分支构成,掩膜流用于分割图像篡改拼接区域,掩膜边缘流用于捕捉和细化掩膜的边缘信息。此外,模型还融入了YCrCb预处理模块,特征自适应层(feature adaptive layer,FAL),坐标注意力(coordinate attention,CA)[14]以及组合损失函数以提高分割精度,下面将详细介绍这两个分支。

如图1所示,上下两个分支分别是掩膜流和掩膜边缘流,二者皆是由编码器和解码器构成的相同网络。其中,编码器由四组卷积层和下采样层构成,每一组卷积层包含残差传播和残差反馈,残差传播对输入特征信息进行回忆,以解决深层网络中的梯度退化问题;残差反馈对输入特征信息进行整合,使未被篡改和被篡改区域的图像属性差异更加明显。

每个卷积的后面是BN层和Relu层,其卷积核的大小为3×3,步长为1,边界填充为1。由于训练时的批次设为8,即小批量训练,而BatchNorm依赖于整个批次的数据统计,在训练中可能表现不佳,而GroupNorm在每个小组内独立归一化。因此将BatchNorm更换为GroupNorm层,使得训练过程更加稳定,避免激活值过大或过小。下采样使用卷积代替最大池化层,卷积核大小为3×3,步长为2,通过卷积实现最大池化,可以保留更多的特征信息和增强模型捕捉更多信息的能力,尤其是在处理较小的图像或需要更精细的特征提取时。

解码器由四组上采样层和卷积层构成,卷积层与编码器中的卷积层保持一致,上采样使用反卷积代替双线性插值,卷积核的大小为3×3,步长为2,边界填充为1。反卷积是一种更加灵活和可学习的方法,能够学习到更复杂的特征映射,而上采样只是简单地扩大图像尺寸,不涉及参数学习。最后,在解码器中,在具有相同尺寸大小特征图之间进行跳跃连接,弥补上采样时造成的失真。

1.2.1 FAL特征自适应层

双流交互时通过FAL自适应层进行交互,FAL层由一个卷积层,一个Relu层和残差传播构成,其中卷积层的卷积核大小为1×1,步长为1。其作用是对输入的特征进行自适应调整,平衡不同通道和空间位置的特征表示,并通过残差连接保留原始特征的基础上进行自适应增强。

此外双流通过FAL交互时,选择双向交互。实验中证明,若选择单向交互,掩膜流和边缘流之间的联系可能不够紧密,无法充分利用两者之间的互补信息。篡改拼接区域边界复杂,仅单向交互可能导致掩膜分割的边界细节缺失,因此选择双向交互,边缘流增强掩膜流的边界感知,同时掩膜流也可以反馈边界区域的全局上下文。掩膜流和边缘流互相传递信息可以增强模型对边界区域的感知能力,减少过分平滑或边界偏移问题,实现特征的充分融合。

1.2.2 CA坐标注意力

融合后的特征对于拼接定位来说比较粗糙,为解决这个问题,需要将融合后的特征图送入注意力机制进行重新校准。选用CA坐标注意力机制,并将其放在网络的中间位置,因为在浅层加入CA坐标注意力可能导致注意力只关注局部纹理,而无法有效利用全局信息。在深层加入CA坐标注意力机制可能强化了过于粗粒度的全局特征,难以恢复细节。而中间层处于上下交互的关键点,这一阶段的特征需要既保持足够的语义信息,又需要为后续的解码部分提供可恢复的空间细节,CA坐标注意力机制的原理在将在下面详细介绍。

1.3 YCrCb颜色空间

在模型训练时,将输入的RGB图像通过YCrCb模块转换到YCrCb颜色空间。文献[11]研究发现,将图像从RGB空间转换至YCrCb空间,能更灵敏地捕捉篡改图像的特征,其转换公式为

$\left\{\begin{array}{l}Y=0.229R+0.587G+0.114B\\ \mathrm{C}\mathrm{r}=0.713(R-Y)+128\\ \mathrm{C}\mathrm{b}=0.564(B-Y)+128\end{array}\right.$

式(1)中:R为红色亮度值;G为绿色亮度值;B为蓝色亮度值;Y为明亮度;Cr为红色与亮度之间的差异;Cb为蓝色与亮度之间的差异。

YCrCb颜色空间具有以下优势。

(1)亮度与色度分离。Y通道代表亮度信息,而Cr和Cb通道则表示色度信息。这样可以将亮度信息与色彩信息分开,对于图像的亮度变化进行单独分析。

(2)拼接痕迹揭示。图像拼接篡改通常会在拼接边缘或过渡区域留下明显的变化,通过YCrCb颜色空间处理,可以更容易地发现图像中的亮度不一致性或色彩偏差,即拼接后留下的痕迹。

(3)减少光照变化的影响。由于Y通道主要代表亮度,而RGB空间中的每个通道都会受到光照的影响,因此YCrCb颜色空间能更好地减轻光照变化对拼接检测的干扰,将RRU-Net网络模型与YCrCb颜色空间相结合可以有效地发现拼接区域的痕迹。

1.4 CA坐标注意力

在深度学习领域,注意力机制是一种根据输入信息来自适应提取重要区域并抑制不相关区域的动态权重调整过程。目前常使用的注意力有Hu等[15]提出的压缩激活注意力(squeeze-and-excitation attention,SE),通过调整不同通道的重要性,来增强模型对特征的捕获能力,但忽略了位置信息;Woo等[16]提出卷积块注意力模块(convolutional block attention module,CBAM),通过在CNN中引入通道注意力和空间注意力来提高模型的感知能力,但引入了大尺度的卷积核提取空间特征,忽略了长程依赖问题,只能捕获局部信息。

由Hou等[14]提出的CA坐标注意力机制,通过建模特征图在空间维度上的重要性,捕获特征的方向性信息(行和列特征),不仅考虑了通道间的信息,还考虑了特征空间的位置信息,增强了模型对关键特征的表达能力,同时保留了模型的计算效率,在校准特征方面有着良好的性能。因此,将CA坐标注意力机制融入双流RRU-Net网络中,以重新校准特征图,提高网络的性能,其网络架构如图2所示。

CA坐标注意力具体流程如下。

输入特征为X,X∈RC×H×W,其中,C为通道数,H为高度,W为宽度。

Step1 为了捕获位置信息,将全局平均池化分解成水平池化和垂直池化。

(1)水平池化。对H维全局池化,得到水平池化结果特征图Xh∈RC×1×W,其计算公式为

Xh(c,w)=$\frac{1}{H}\stackrel{H}{\sum _{h=1}}$X(c,h,w)

(2)垂直池化。对W维全局池化,得到垂直池化结果特征图Xw∈RC×H×1,其计算公式为

Xw(c,h)=$\frac{1}{W}\stackrel{W}{\sum _{w=1}}$X(c,h,w)

Step2 对水平池化结果特征图Xh进行变换,然后与垂直池化结果特征图Xw沿特征维度拼接,并进行卷积压缩,得到水平和垂直方向的全局特征Yg,计算公式为

Yg=Relu{BN[Conv1(Xh⊕Xw)]}

式(4)中:Conv1为1×1卷积;⊕为特征拼接;BN为批归一化;Relu为激活函数。

Step3 将融合后的特征Yg重新拆分为水平特征Yh和垂直特征Yw,恢复垂直特征的原始维度顺序,然后分别利用1×1的卷积进行升维操作,再结合Sigmoid激活函数,得到注意力水平方向权重Wh和垂直方向权重Ww,其计算过程为

Wh=σ[Convh(Yh)],Yh∈RC/r×1×W
Ww=σ[Convw(Yw)],Yw∈RC/r×H×1

式中:Convh(Yh)和Convw(Yw)表示将水平特征Yh和垂直特征Yw进行1×1的卷积,恢复到与输入特征相同的通道数;σ为Sigmoid激活函数,将权重值映射到[0,1];C/r为通道压缩后的大小,其中r为通道缩减率。

Step4 将水平权重Wh和垂直权重Ww分别恢复到输入特征的形状,并与原始特征逐像素相乘,得到特征增强的特征Z,计算公式为

Z(c,h,w)=X(c,h,w)Wh(c,w)W(c,h)

式(7)中:Z为经过CA注意力加权后的特征。

CA注意力的核心思想是将二维空间的全局信息(特征图)拆解为两个一维的方向信息(水平和垂直),分别提取水平和垂直方向的注意力,并将它们用于加权输入特征。最后在消融实验中,验证CA坐标注意力在网络中的有效性。

1.5 损失函数

本文模型采用多任务损失函数,一个是掩膜分支的损失函数,一个是掩膜边缘分支的损失函数。

1.5.1 掩膜分支损失函数

在掩膜分支中,常采用BCELoss作为损失函数,其计算公式为

BCELoss=-$\frac{1}{N}\stackrel{N}{\sum _{i=1}}$[QilnPi+(1-Qi)ln(1-Pi)]

式(8)中:N为样本的总数;Qi为第i个样本的真实标签1;Pi为模型第i个样本的预测的概率,即表示该样本为正类的概率(取值范围为0~1)。

然而,BCELoss存在明显的缺陷,在分割前景和背景时,当前景像素的数量远远小于背景像素的数量时,背景元素损失函数中的成分占据主导,使得模型严重偏向背景,导致模型训练预测效果不好。而在篡改的拼接图像中,篡改区域即前景像素数量往往小于背景像素数量,因此单独使用BCELoss时,存在上述问题,为解决这个问题,使用BCELoss+DiceLoss组合损失,其中DiceLoss是集合相似度度量函数,可以缓解样本中前景背景(面积)不平衡带来的消极影响,其计算公式为

DiceLoss=1-$\frac{2\left|X\bigcap Y\right|+\mathrm{S}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}{\left|X\right|+\left|Y\right|+\mathrm{S}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}$

式(9)中:X为真实目标mask;Y为预测目标mask;Smooth设置为1,目的是防止分母为0。

最后,掩膜分支的损失函数其具体形式为

Lmask=BCELoss+DiceLoss

1.5.2 掩膜边缘损失函数

在进行掩膜边缘的细化过程中,掩膜边缘分支采用DiceLoss来引导学习。在图像掩膜边缘的标注中,边缘区域(正样本)的数量通常相对较少,而背景区域(负样本)的数量则显得十分丰富。这种严重的不平衡现象导致模型在学习边缘特征时可能出现偏差。因此,为了应对这一问题,使用DiceLoss作为边缘损失函数,该损失函数能够有效地缓解样本不均衡对模型学习的影响,进而提升对边缘细节的捕捉能力,DiceLoss公式为

Ledge=DiceLoss=1-$\frac{2\left|X\bigcap Y\right|+\mathrm{S}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}{\left|X\right|+\left|Y\right|+\mathrm{S}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}$

通过掩膜分支和掩膜边缘分支两个角度计算模型损失,其总损失函数的计算公式为

Ltotal=λ1Lmask+λ2Ledge

式(12)中:λ1和λ2分别为掩膜损失和掩膜边缘损失的超参数,实验中发现,λ1=λ2=1,效果最好,因此在实验中设置λ1=λ2=1。

2 实验分析与讨论

实验是在Window11上进行的,显卡为8 G的RTX4070,采用Pytorch框架,Adam作为优化器,学习率初始化为1×10-3,批次大小为8,总共训练200轮,最后选择在测试集上F1最高的模型作为测试模型。

2.1 数据集设置和评估指标

目前公开的图像篡改拼接数据集有CASIA1.0、CASIA 2.0[17]、IMD2020[18]等。其中,CASIA包含拼接和复制粘贴;IMD2020是一个新的数据集,它包含2 010幅从网上下载的真实图像及这些图像的对应标签,以上公开数据集仅使用拼接数据集。

由于图像篡改拼接检测需要大量的数据对模型进行训练,因此参考文献[19]的合成方法。使用Microsoft coco[20]中的图像和注释自动合成1.8×104张拼接图像。将以上数据集划分为训练集、验证集和测试集,分别用于模型参数学习,调整超参数和最终性能评估。当数据集的数量较大时,参考文献[21-22],按8∶1∶1进行划分。当数据集较小时,参考文献[10,12,23]进行划分,其数据集划分如表1所示。

评估指标:图像拼接篡改检测,本质上是一个像素级的二值分类问题,因此采用F1和交并比(intersection over union,IoU)对模型进行评估,F1是一个评估二分类模型性能的指标,由查准率(Precision)和查全率(Recall)综合计算得出。IoU是一个用于量化两个区域重叠程度的度量。F1和IoU的计算公式分别为

F1=$\frac{2\mathrm{T}\mathrm{P}}{2\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}+\mathrm{F}\mathrm{P}}$×100%
IoU=$\frac{\left|A\bigcap B\right|}{\left|A\bigcup B\right|}$×100%=$\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}$×100%

式中:TP为预测正确的篡改像素点数目;FP为预测错误的篡改像素点数目;FN为预测错误的真实像素点数目;TN为预测正确的真实像素点数目;A、B分别为预测掩码和真实掩码。

2.2 网络复杂度分析

将RRU-Net作为基础模型,其参数量和计算复杂度适中。引入双流结构后,虽然参数量和浮点运算次数(floating point operations per second,FLOPs)有所增加,但模型性能得到大幅提升。YCrCb转换层为纯计算单元,不包含训练参数,故不占用模型存储空间。CA注意力模块作为一个轻量级组件,参数量仅0.051 1 MB,FLOPs低至0.001 6 G,可无缝集成到主体网络中,且几乎不增加额外开销,各模块具体参数量和FLOPs如表2所示。

2.3 消融实验

将验证所提网络和每个模块的有效性,包括双流RRU-Net网络、CA坐标注意力模块、YCrCb颜色空间和多任务损失函数。为了验证其有效性,设计了6个方案,检测结果如表3所示。

从表3中可以看出,在公开数据集CASIA1.0中,双流的RRU-Net方案2在定位性能上,F1和IoU分别提高了11.88%和10.46%,取得了显著的改进,这是因为掩膜边缘流和双向交互层,为掩膜流提供了更加细腻的特征。方案3在双流RRU-Net的输入端添加了YCrCb模块,将图像从RGB颜色空间转换到了YCrCb颜色空间,其F1和IoU分别提高了2.91%和2.84%,证明了YCrCb转换模块,能够很好地揭示篡改痕迹,提高模型的检测性能。方案4相比于方案2,其F1和IoU分别提高了2.71%和2.63%,证明其CA坐标注意力模块起到了对特征重新校准的作用。方案5相比于方案2,F1和IoU提高了5.12%和5.06%。方案6模型整体性能相比于方案5,F1和IoU分别提高了2.91%和2.84%,说明加权损失函数作用显著,解决了前景背景不平衡的问题,提高了模型的性能。综上,所提最终方案相比于原始模型,在CASIA1.0数据集上F1和IoU提高了25.96%和26.33%,在自制数据集Spliced_image上F1和IoU提高了9.96%和15.79%。

为了直观地比较几个方案对拼接检测的影响,图3展示了几个方案图像篡改拼接检测结果。第1列和最后一列分别是拼接图像和真实掩膜,第2~7列分别为方案1~所提方案的检测结果。对比图3 的第2列和第3列,可以发现双流的RRU-Net模型明显地减少了假阳性的像素点,并且对其预测掩膜边缘区域的定位更加准确;再将第4和第5列与第3列比较,可以看出,YCrCb的方案和CA注意力模块的方案,两者都在一定程度上更好的排除了分割错误的像素点;最后将第7列与第6列比较,可以发现加权的损失函数在一定程度过滤背景特征,弥补了整体的细节特征,提高了拼接的检测精度。

2.4 对比实验

将本文方法与其他方法进行比较,对比方法包含BDA-Net[23]、MTSE-Net[24]、RRU-Net[25]、ManTra-Net[26]、U-Net[27]、DenseFCN[28]、MsPL-Net[29]和CMV2U-Net[30]。本文方法和对比方法在不同数据集上,拼接检测结果如表4所示。

从表4中可以看出,所提方案在公开数据集CASIA1.0、CASIA2.0和IMD2020上与其余方法相比均取得了较好的结果,但检测结果不及在自制合成数据集上的结果,其主要原因是公开数据集数据较少,并且公开数据集的图像都经过了后处理,消除了部分篡改痕迹,检测难度增加。而自制合成数据集图像数量较多,模型能够很好地从训练样本中学习到篡改特征。

如图4所示,展示了在公开数据集上,不同方法的拼接检测结果,第1列和最后一列分别是拼接图像和真实掩膜,第2~10列分别是U-Net、BDA-Net、RRU-Net、ManTra-Net、MTSE-Net、DenseFCN、MsPL-Net、CMV2U-Net和本文方法的检测结果图。

从图4展示的不同方法的图像拼接检测结果可以看出,ManTra-Net、MTSE-Net和DensFCN检测效果较差,只能识别出一小部分拼接区域,其中ManTra-Net误将其他区域识别为篡改区域。而MsPL-Net、U-Net、BDA-Net和RRU-Net能够大致检测出篡改区域,但检测结果比较粗糙,篡改区域边缘缺失。此外CMV2U-Net总体上最接近本文模型,但检测结果存在少量漏检区域,而从倒数第2列可以看出,所提的网络能够准确地识别出篡改区域,并且篡改区域边缘,在掩膜边缘流的监督下也得到极大的弥补,整体检测效果在对比方法中也最为准确。

2.5 不同学习率对比实验

为研究不同初始学习率对网络模型训练的影响,在初始学习率0.001附近,设置了学习率为0.01和0.000 1的对比实验。从表5可以看出,过大的学习率可能导致参数更新过快,模型无法收敛到最优解,而学习率为0.001和0.000 1时,模型性能表现较好,说明较小的学习率有助于模型的收敛, 但训练过程中发现学习率为0.000 1时,训练需要花费的时间更长,因此在实验中选择初始学习率0.001进行实验。

2.6 鲁棒性实验

在真实场景中,篡改后的图像大多会经过各种后处理操作,如JPEG压缩,图像缩放等操作隐藏篡改痕迹。为了验证所提方法对后处理的鲁棒性,遵循文献[10,12,23-24]后处理设置,设计了4种后处理操作的鲁棒性实验,分别是JPEG压缩,图像缩放,高斯滤波和图像锐化。其中,JPEG压缩通过质量因子来衡量,质量因子越高,图像质量越高(即压缩程度越低),反之亦然;图像缩放的缩放因子小于1为缩小尺度,大于1为放大尺度,以测试模型在不同尺度变化下的性能;高斯滤波的标准差越大模糊程度越高;图像锐化的锐化因子越大,边缘增强效果越明显,用于测试模型对过度锐化引入伪影的鲁棒性。4个后处理操作,其具体的参数设置如表6所示。

接下来将测试的拼接图像分别用表6中的参数进行4种后处理操作,并对无后处理的拼接图像训练的模型进行测试。在实验中采用U-Net、BDA-Net、RRU-Net、ManTra-Net、MTSE-Net、DenseFCN、MsPL-Net、CMV2U-Net 网络模型与所提方法进行比较。针对上述几种后处理操作,其检测结果,如图5所示。在JPEG压缩和图像缩放操作中,各模型F1下降较低,而本文模型性能领先于其他模型。在对图像进行高斯滤波时,U-Net模型效果最差,而BDA-Net出现大幅度下降,而本文模型出现略微下降,但其性能高于其他对比模型。对图像锐化时,随着锐化因子的增加,所有模型均出现下降趋势,其中本文模型下降比较缓慢,性能优于其他模型。

综上,本文方法对JPEG压缩,图像缩放和高斯滤波具有较强的鲁棒性。而对图像锐化鲁棒性较差,其主要原因可能是强烈的锐化会引入伪影,噪声和不自然的边缘,降低特征提取的有效性,影响了模型的性能。

3 实际应用验证-检测系统

为验证双流RRU-Net在真实环境中的性能,开发了图像篡改检测系统。该系统以双流RRU-Net为核心,实现了从图像上传到结果到输出的全流程检测,可直接用于新闻图片真实性验证等实际问题,系统界面与检测过程如图6所示。

由图6可知,系统界面显示,当输入一张被拼接到草地上的老虎图像后,模型快速检测出篡改区域(输出白色轮廓,检测时间仅0.22 s),并提示“图像已被篡改”检测时间为0.22 s,输出结果也较为准确,检测系统再次验证了本文模型的高效性和准确性。

4 结论

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

金顺, 葛动元, 姚锡凡. 基于匹配点递增的随机抽样一致图像拼接[J]. 科学技术与工程, 2025, 25(6): 2435-2441.
[2]

Jin Shun, Ge Dongyuan, Yao Xifan. Image stitching based on matching point increment and random sample consensus[J]. Science Technology and Engineering, 2025, 25(6): 2435-2441.
[3]

卫星星, 吴建斌, 涂雅蒙, 等. 基于改进的RRU-Net的图像篡改检测算法[J]. 微电子学与计算机, 2024, 41(3): 53-58.
[4]

Wei Xingxing, Wu Jianbin, Tu Yameng, et al. Improved RRU-Net based image tampering detection algorithm[J]. Microelectronics & Computer, 2024, 41(3): 53-58.
[5]

张玲, 穆文鹏, 陈北京. 面向图像拼接检测的自适应残差算法[J]. 中国图象图形学报, 2024, 29(2): 419-429.
[6]

Zhang Ling, Mu Wenpeng, Chen Beijing. Adaptive residual algorithm for image splicing detection[J]. Journal of Image and Graphics, 2024, 29(2): 419-429.
[7]

王欣, 徐平平, 吴菲. 基于亮度特征耦合信息量制约的图像复制-粘贴篡改检测算法[J]. 科学技术与工程, 2020, 20(33): 13740-13746.
[8]

Wang Xin, Xu Pingping, Wu Fei. Image copy-paste tampering detection algorithm based on brightness feature coupling information restriction[J]. Science Technology and Engineering, 2020, 20(33): 13740-13746.
[9]

魏佳, 曹记东, 李军. 数字图像多区域复制粘贴盲检测方法[J]. 科学技术与工程, 2019, 19(5): 167-171.
[10]

Wei Jia, Cao Jidong, Li Jun. Digital image multi-area copy-move blind detection method[J]. Science Technology and Engineering, 2019, 19(5): 167-171.
[11]

Liang E, Zhang K, Hua Z, et al. Multi-scale feature attention fusion for image splicing forgery detection[J]. ACM Transactions on Multimedia Computing, Communications and Applications, 2024, 21(1): 1-20.
[12]

Zeng N, Wu P, Zhang Y, et al. DPMSN: a dual-pathway multiscale network for image forgery detection[J]. IEEE Transactions on Industrial Informatics, 2024, 20(5): 7665-7674.
[13]

Luo Y, Liang C, Qin S, et al. A two-branch encoder-decoder network for image tampering localization[J]. Applied Soft Computing, 2024, 164: 111992.
[14]

马颖, 伊力哈木·亚尔买买提, 程铄棋, 等. 基于改进RRU-Net图像拼接篡改检测[J]. 激光与光电子学进展, 2025, 62(8): 186-195.
[15]

Ma Ying, Yilihamu Yaermaimaiti, Cheng Shuoqi, et al. Improved RRU-Net based image splicing forgery detection[J]. Laser & Optoelectronics Progress, 2025, 62(8): 186-195.
[16]

魏华建, 严彩萍, 李红. 基于集成多尺度注意力的图像篡改定位[J]. 计算机辅助设计与图形学学报, 2024, 36(8): 1237-1245.
[17]

Wei Huajian, Yan Caiping, Li Hong. Image tampering localization based on integrated multiscale attention[J]. Journal of Computer-Aided Design & Computer Graphics, 2024, 36(8): 1237-1245.
[18]

杨衍宇, 魏为民, 张运琴. 一种改进的双流Faster R-CNN图像篡改识别模型[J]. 计算机应用与软件, 2023, 40(12): 189-194.
[19]

Yang Yanyu, Wei Weimin, Zhang Yunqin. An improved dual-stream Faster R-CNN model for image tampering detection[J]. Computer Applications and Software, 2023, 40(12): 189-194.
[20]

Liang E, Zhang K, Hua Z, et al. BASNet: boundary assisted network for image splicing forgery detection[J]. IEEE Transactions on Multimedia, 2025, 27: 8002-8015.
[21]

Peng Z, Huang W, Gu S, et al. Conformer: Local features coupling global representations for visual recognition[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 367-376.
[22]

Hou Q, Zhou D, Feng J. Coordinate attention for efficient mobile network design[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville: IEEE, 2021: 13713-13722.
[23]

Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2018: 7132-7141.
[24]

Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]// Proceedings of the European conference on computer vision (ECCV). Berlin: Springer, 2018: 3-19.
[25]

Dong J, Wang W, Tan T. Casia image tampering detection evaluation database[C]// IEEE China Summit and International Conference on Signal and Information Processing. Beijing: IEEE, 2013: 422-426.
[26]

Novozamsky A, Mahdian B, Saic S. IMD2020: a large-scale annotated dataset tailored for detecting manipulated images[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision Workshops. Snowmass: IEEE: 2020: 71-80.
[27]

Bappy J H, Simons C, Nataraj L, et al. Hybrid LSTM and encoder-decoder architecture for detection of image forgeries[J]. IEEE Transactions on Image Processing, 2019, 28(7): 3286-3300.
[28]

Lin T Y, Maire M, Belongie S, et al. Microsoft coco: common objects in context[C]// Computer Vision-ECCV 2014: 13th European Conference. Zurich: Springer International Publishing, 2014: 740-755.
[29]

赵洁, 李海燕, 武斌. 结合纹理特征与注意力机制的Seam Carving检测[J/OL]. (2025-03-12)[2025-05-29]. https://doi.org/10.19665/j.issn1001-2400.20250302.
[30]

Zhao Jie, Li Haiyan, Wu Bin. Combining Texture Features and Attention Mechanism for Seam Carving Detection[J/OL].(2025-03-12)[2025-05-29]. https://doi.org/10.19665/j.issn1001-2400.20250302.
[31]

Pei R, Wei W, Yu X, et al. Image tampering localization based on dual-stream feature fusion[C]// International Conference of Pioneering Computer Scientists, Engineers and Educators. Singapore: Springer, 2024: 295-305.
[32]

吴晶辉, 严彩萍, 李红, 等. 边缘引导的双注意力图像拼接检测网络[J]. 中国图象图形学报, 2024, 29(2): 430-443.
[33]

Wu Jinghui, Yan Caiping, Li Hong, et al. Edge-guided dual attention image stitching detection network[J]. Journal of Image and Graphics of China, 2024, 29(2): 430-443.
[34]

Zhang Y, Zhu G, Wu L, et al. Multi-task SE-network for image splicing localization[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2021, 32(7): 4828-4840.
[35]

Bi X, Wei Y, Xiao B, et al. RRU-Net: The ringed residual U-Net for image splicing forgery detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. Long Beach: IEEE, 2019: 30-39.
[36]

Wu Y, AbdAlmageed W, Natarajan P. Mantra-Net: manipulation tracing network for detection and localization of image forgeries with anomalous features[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 9543-9552.
[37]

刘丽颖, 王金鑫, 曹少丽, 等. 检测小篡改区域的U型网络[J]. 中国图象图形学报, 2022, 27(1): 176-187.
[38]

Liu Liying, Wang Jinxin, Cao Shaoli, et al. U-Net for detecting small manipulated regions[J]. Journal of Image and Graphics, 2022, 27(1): 176-187.
[39]

Zhuang P, Li H, Tan S, et al. Image tampering localization using a dense fully convolutional network[J]. IEEE Transactions on Information Forensics and Security, 2021, 16: 2986-2999.
[40]

徐悦, 袁程胜, 刘庆程, 等. 基于多尺度感知学习的图像篡改检测与定位[J]. 计算机系统应用, 2025, 34(7): 117-127.
[41]

Xu Yue, Yuan Chengsheng, Liu Qingcheng, et al. Multi-scale perceptual learning for image manipulation detection and localization[J]. Computer Systems and Applications, 2025, 34(7): 117-127.
[42]

Akram A, Jaffar M A, Rashid J, et al. CMV2U-Net: AU-shaped network with edge-weighted features for detecting and localizing image splicing[J]. Journal of Forensic Sciences, 2025, 70(3): 1026-1043.

基金资助

新疆厅厅联动项目(2023B01006)

新疆露天矿智能生产与管控重点实验室项目(XJQY2007)

国家自然科学基金(62362063)

新疆维吾尔自治区自然科学基金(2023D01C21)

PDF (10051KB)

43

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录