多模态特征融合的细粒度视频异常检测方法

张鑫奕 ,  刘特立 ,  李文斌 ,  郭放

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (30) :13134-13144

PDF (7315KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (30) :13134-13144 DOI: 10.12404/j.issn.1671-1815.2507807
论文：自动化技术、计算机技术

多模态特征融合的细粒度视频异常检测方法

作者信息 +

Multimodal Feature Fusion for Fine-grained Weakly Supervised Video Anomaly Detection

Author information +
文章历史 +

摘要

为解决视频异常检测现有方法在细粒度视频异常事件预测中表现不足的问题,提出了一种基于对比语言-图像预训练模型(contrastive language-image pre-training,CLIP)的多模态特征融合的细粒度视频异常检测方法(CLIP-based multimodal feature fusion for fine-grained video anomaly detection,ClipFusionVAD)。首先,利用对比语言-图像预训练模型分别提取视频帧与文本特征,设计特征聚合器模块和特征投影器模块实现不同维度上的特征融合,提升多模态特征表达能力,实现准确的细粒度异常事件分类。然后,引入结合通道注意力机制和空间注意力机制的全局注意力模块(global attention module,GAM),增强视觉特征的判别能力。实验结果表明,ClipFusionVAD在细粒度异常检测任务中表现优异,在UCF-Crime和XD-Violence数据集上mAP分别达到9.4%和28.07%,进一步验证了该方法的有效性。

Abstract

To address the limitations of existing video anomaly detection methods in fine-grained anomaly event prediction, a CLIP-based multimodal feature fusion method for fine-grained weakly supervised video anomaly detection, named ClipFusionVAD, was proposed. First, features from video frames and text were extracted separately using the pre-trained CLIP model. A feature aggregator and a feature projector were designed to achieve multi-dimensional feature fusion, enhancing the representation capability of multimodal features and enabling accurate fine-grained anomaly event classification. Furthermore, GAM (global attention module), which combines channel and spatial attention mechanisms, was introduced to improve the discriminative power of visual features. Experimental results demonstrate that ClipFusionVAD achieves outstanding performance on fine-grained anomaly detection tasks, with mAP attaining 9.4% on the UCF-Crime dataset and 28.07% on the XD-Violence dataset, which further verifies the effectiveness of the proposed method.

Graphical abstract

关键词

视频异常检测 / 细粒度异常检测 / 全局注意力模块 / 多模态特征融合

Key words

video anomaly detection / fine-grained anomaly detection / global attention module / multi-modal feature fusion

引用本文

引用格式 ▾
张鑫奕, 刘特立, 李文斌, 郭放. 多模态特征融合的细粒度视频异常检测方法[J]. 科学技术与工程, 2026, 26(30): 13134-13144 DOI:10.12404/j.issn.1671-1815.2507807
ZHANG Xin-yi, LIU Te-li, LI Wen-bin, GUO Fang. Multimodal Feature Fusion for Fine-grained Weakly Supervised Video Anomaly Detection[J]. Science Technology and Engineering, 2026, 26(30): 13134-13144 DOI:10.12404/j.issn.1671-1815.2507807

登录浏览全文

4963

注册一个新账户 忘记密码

视频异常检测通过自动识别异常行为,提升安防系统的响应效率和准确性[1-2],在智能监控和公共安全中至关重要,广泛应用于公共场所监控、智能交通管理及高安全区域的入侵防护,帮助安保人员快速反应,预防潜在威胁,是现代安防体系中不可或缺的核心工具,为维护社会公共安全提供了强有力的技术支持[3]。视频异常检测根据监督方式可分为弱监督[4]、半监督[5]、全监督[6]和无监督[7]4类。全监督方法依赖精确标注数据,检测准确率高,但在大规模应用中成本较大且难以扩展;无监督方法无需标注数据,灵活性较强,但性能较弱。半监督方法通过利用大量标注的正常数据和少量异常数据减少标注成本并提升检测效果,但对标注数据的依赖仍限制了此类方法的应用场景。弱监督视频异常检测(weakly supervised video anomaly detection,WSVAD)只需视频级标签,能够更好地平衡标注成本与检测性能,显著降低标注成本的同时保持良好的检测效果。
根据视频异常检测结果,可分为粗粒度异常检测和细粒度异常检测。粗粒度异常检测结果用于判断是否存在异常事件发生,若存在则定位到异常发生和结束时间。目前,粗粒度视频异常检测方法已经较为完善,各类方法在不依赖精细标注的情况下,均能够有效提升异常检测的准确性和效率。例如,Ullah等[8]采用卷积神经网络(convolutional neural networks,CNNs)和长短期记忆网络(long short-term memory networks,LSTMs)提取视频时空特征,捕捉到视频中的动态变化。Zhong等[9]提出基于图卷积网络的模型,清理标签噪声优化异常检测分类器的性能。陈澄等[10]引入结合记忆增强和跳跃连接的自编码器,显著提升了视频帧预测的细节准确度,并通过限制异常帧的重建来增强检测能力。Fan等[11]引入片段异常注意机制,利用片段级注意力分数,显著提高了异常区域的定位精度。陈明一等[12]提出拓扑信息引导方法,构建关键特征的拓扑结构,有效提升了复杂场景下的检测表现。吴沛宸等[13]提出基于轻量级注意力特征融合模块和多分支卷积模块的模型,显著提升了跨域特征融合和时空感知的能力。许辰月等[14]提出了一种基于改进时空图归一化流的无监督异常行为识别方法,在全局域和时空域中提高模型特征表达能力,提升异常行为识别算法性能。Al-lahham等[15]提出了一种粗到细伪标签框架用于无监督视频异常检测,实现从视频级到帧级的异常定位。
细粒度视频异常检测是在实现粗粒度异常事件检测的基础上进一步识别异常事件的具体类型。通过关注视频中的局部特征,区分不同异常事件的视觉特征差异与语义边界,进而判断视频中发生的异常类别,实现异常事件的细分类型识别。Li等[16]引入3D卷积神经网络(coordinate 3D,C3D)通过时空卷积捕捉空间和时间特征,但在长时序视频的处理上表现有限。Feng等[17]提出自引导时间辨别Transformer,虽然增强了时序依赖的建模能力,但在背景复杂或异常行为变化迅速的情况下,其定位精度仍需改进。An等[18]提出自适应特征细化(aggregation with fragment retransmission,AFR)方法,虽然能够自适应地增强关键区域的特征表示,但是对极端场景与小尺度异常的鲁棒性不足。Zhou等[19]提出基于运动和外观引导的补丁扩散模型进行视频异常检测,有效提升了对小尺度异常和复杂行为的微观区分能力,但是其推理速度较慢,实时性不足。
近年来,对比语言-图像预训练模型(contrastive language-image pre-training,CLIP)提出基于图像的视觉语言预训练方法,用于学习联合特征[20]。Ju等[21]通过向CLIP的图像编码器中加入时序编码器来学习视频中的时序信息。Joo等[22]提出的CLIP-TSA模型结合了时间自注意力机制,强化时序建模能力,有效提升了长时序视频中的异常检测性能。Wu等[23]提出VadCLIP模型,利用冻结的CLIP模型提取特征并建立双分支结构,实现异常帧和异常类别检测。Lü等[24]提出无偏多实例学习以减少正常/异常标签之间的上下文偏差。Liu等[25]提出VadCLIP++动态视觉-语言模型用于弱监督视频异常检测,进一步提升了弱监督下异常帧检测与类别识别的时序建模性能。Kim等[26]采用度量视频帧和文本之间的余弦相似度的方法计算异常,并通过未标记的数据集和文本条件相似性来改进余弦相似性。
以上研究多关注提取特征的时序一致性和多模态特征的对齐性,但仍忽略以下问题:一是多模态特征的互补性,多模态特征的融合能力不足导致异常检测的精准性欠佳;二是受视频中复杂环境影响,提取的视觉特征对异常细分类别的判别性较弱,造成细粒度异常检测精度不足。
为解决以上问题,现构建融合视觉-文本的多模态ClipFusionVAD模型,在视觉与文本特征融合阶段,提出特征聚合器模块和特征投影器模块,在不同维度上融合多模态特征,增强多模态特征的互补性,提高多模态特征辨别能力,实现更为精确的细粒度异常检测。引入全局注意力机制(global attention module, GAM),通过结合通道注意力和空间注意力,以期提高视觉特征的描述能力和对细粒度异常的判别能力,提升异常检测的准确性,增强模型在复杂环境中的鲁棒性。

1 多模态特征融合视频异常检测

ClipFusionVAD方法在弱监督框架下,仅利用视频级标签,实现粗粒度与细粒度的视频异常检测。首先,使用CLIP模型从视频中提取视觉和事件概念特征。然后,结合空间和通道注意力的全局注意力模块用于增强视觉特征的视频描述。最后,通过特征聚合器和特征投影器模块促进多模态特征的进一步融合,提升多模态融合特征的辨别能力。

将输入视频u表示为一组视频帧{f1,f2,…,fT},其中T为视频中的总帧数。如果集合中的所有帧fi均不包含任何异常事件,则该视频被标记为正常,标签计为z=0;否则,如果至少有一帧fi包含异常事件,则该视频被标记为异常,计为z=1。弱监督框架下异常检测在仅使用视频级别标注z的情况下进行训练,得到检测模型M,在推理阶段利用M预测输入视频帧fi的异常置信度pi,并作为当前帧的异常发生概率。

ClipFusionVAD采用双分支结构进行视频异常检测,整体模型架构如图1所示。粗粒度检测模块(分支A)主要用于对视频帧进行二分类,判断视频中是否存在异常行为;细粒度检测模块(分支B)在视频帧计算的基础上进行,通过将视频特征与文本特征对齐,进一步识别异常行为的细分类别。双分支结构不仅提高了模型在检测异常时的准确性,还增强了其在复杂场景中的鲁棒性。

1.1 粗粒度视频异常检测

粗粒度视频异常检测由视觉特征提取和特征增强两部分组成。视觉特征提取模块利用预训练的CLIP模型对视频帧进行编码,并通过Transformer和图卷积网络(graph convolution network,GCN)提取时空特征。特征增强模块采用全局注意力机制(global attention mechanism,GAM)强化特征表示,最后通过全连接层分类器得到异常/正常的粗粒度视频二分类结果。

1.1.1 CLIP视觉特征提取

使用预训练的CLIP模型对输入的视频数据进行编码,得到视觉特征向量。设输入的视频序列为V={v1,v2,…,vT}。经过CLIP编码后,生成的高维视觉嵌入表示为X={x1,x2,…,xT},xi∈Rdv,是维度为dv的特征向量。

为了捕捉视频帧之间的时间依赖性,将视觉特征X输入基于Transformer的时间处理模块中,得到加入时间位置编码后的输出序列I={i1,i2,…,iT},其中ij=xj+pj,pj为第j帧的位置编码。

Transformer模块通过多头自注意力机制处理输入序列I,在捕捉每个视频帧与其他帧之间复杂的时间依赖关系的基础上,生成了全局时序上下文增强的特征表示H,使得每个帧的特征不仅包含自身的视觉信息,还融合了其他帧的时序相关性与上下文信息。进一步使用GCN对Transformer输出的特征H进行处理,以捕捉输入特征之间的空间依赖性。GCN使用两种不同的邻接矩阵进行处理:基于特征相似性的邻接矩阵A和基于帧距离的邻接矩阵D。在每一层GCN中,使用残差连接以保持特征的一致性。例如,第l层输出Hl可以表示为

Hl=H+$\stackrel{\mathit{l}}{\sum _{\mathit{i}=1}}$GELU[GCNi(Hi-1,A)]

式(2)中:GELU为高斯误差线性单元激活函数;GCNi为第i层图卷积运算;Hi-1为第i-1层GCN的输出特征矩阵。

每一层GCN的输出通过残差连接与前一层的输入相加,确保模型能够有效捕捉特征之间的复杂关系。为了进一步增强空间特征,将GCN模块的输出特征H1L,H2L,…,HTL进行拼接,然后通过线性层将它们映射回原始特征维度,生成最终的特征F1。

F1=Linear[Concat(H1L,H2L,…,HnL)]

通过此模块,能够有效提取时间和空间特征,为后续的异常检测等任务提供坚实的特征基础。

1.1.2 GAM特征增强模块

GAM通过通道注意力和空间注意力机制对视频特征进行强化。具体而言,首先通过通道注意力增强特征的显著性,然后再利用空间注意力强化特征的局部性。

首先,输入特征F1通过两个全连接层进行转换,计算通道注意力权重Zattn。

Zattn=sigmoid(Linear2{ReLU[Linear1(F1)]})

计算得到的通道注意力权重Zattn后与输入特征F1按位相乘得到原始特征F。

F=F1☉Zattn

然后,在经过通道注意力增强的特征上,GAM模块进一步利用卷积操作生成空间注意力权重Sattn。空间注意力权重与通道注意力相乘后,得到增强后的特征F3。

Sattn=sigmoid(Conv2{ReLU[Conv1(F)]})
F3=F☉Sattn

最后,实现粗粒度异常分类。将GAM增强后的特征F3与经过线性层处理的特征进行融合。得到粗粒度分支融合特征Ffinal为

Ffinal=F3+MLP(F3)

Ffinal通过线性分类器进行二分类,输出最终的分类得分logits1。

logits1=LinearClassifier(Ffinal)

logits1表示每个输入视频帧被分类为异常的置信度分数,同时可用于估计当前帧发生异常行为的概率。通过设定阈值,可实现粗粒度的二分类结果,并可通过视频帧的索引位置,在时间轴上进一步判断出视频中异常发生和结束的时间段。

1.2 细粒度视频异常检测

细粒度视频异常检测分为文本特征提取和多模态特征融合两部分。首先对文本进行特征编码,针对细粒度异常事件类型,设计自适应提示文本,通过冻结的CLIP文本编码器提取语义特征并进行归一化处理。其次提取视觉侧细粒度特征,通过 CLIP 图像编码器提取视频帧的高维细粒度视觉特征,再通过 Transformer 时序编码模块捕捉异常行为的时序动态细节,通过 GCN 图卷积模块捕捉异常行为的空间结构细节,生成同时具备时序上下文与空间结构信息的细粒度特征,为细粒度分类提供视觉细节支撑。最后通过特征融合模块将视频和文本特征相结合,将文本特征编码与粗粒度视觉特征进行语义一致性对齐,再与细粒度特征进行特征聚合,得到多模态融合的特征表示,并通过线性分类器对视频中的异常行为进行细粒度分类。

1.2.1 文本特征提取

在文本特征提取阶段,首先使用预训练的CLIP对输入的自适应提示文本[21]进行编码,生成初始文本特征Tembed。

然后,为了捕捉文本序列中的位置信息,模块引入了位置嵌入。位置嵌入能够提供序列中每个词的位置信息,帮助模型识别不同位置的词对语义理解的影响。通过将位置嵌入与文本嵌入相结合,模型可以同时捕捉文本的语义特征和序列结构信息,从而形成一个更具位置感知能力的文本特征Tpos_embed。

Tpos_embed=Tembed+PositionEmbedding(i)

式(9)中:i为文本中单词的位置索引。

在生成文本嵌入后,使用L2范数对文本嵌入进行了归一化处理,归一化后的文本特征Tnorm为

Tnorm=$\frac{{\mathit{T}}_{\mathit{p}\mathit{o}\mathit{s}\_\mathit{e}\mathit{m}\mathit{b}\mathit{e}\mathit{d}}}{{\left({\mathit{T}}_{\mathit{p}\mathit{o}\mathit{s}\_\mathit{e}\mathit{m}\mathit{b}\mathit{e}\mathit{d}}\right)}_{2}}$

经过处理和归一化的文本嵌入Tnorm 将用于与视频特征的对齐和融合,从而在多模态任务中实现更准确的异常分类。该模块的输出将作为多模态对齐模块的输入,为多分类任务提供基于文本的特征支持。

1.2.2 多模态特征融合

本节引入特征聚合器与特征投影器,其主要目标是提取更多维度的视觉特征,提供更多视觉信息,更好地利用多模态特征的互补特性,以在多模态任务中实现更一致的特征表示。特征聚合器聚合视频帧的全局特征,增强视频特征的整体表示能力;而特征投影器则将视频特征投射到与文本特征共享的特征空间中。这样可以在跨模态表示中实现一致性,从而提升多模态任务的性能。

特征聚合器首先对经过GAM增强的视觉特征F3进行线性变换,以获得新的特征维度。随后,对这些特征进行归一化处理,从而确保输入的特征具有更相似的分布,使整个网络实现更有效的学习,有助于提高模型的性能和稳定性。

v1=$\frac{\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}{\mathrm{r}}_{1}\left({\mathit{F}}_{3}\right)}{{\left(\mathit{L}\mathit{i}\mathit{n}\mathit{e}\mathit{a}{\mathit{r}}_{1}\left({\mathit{F}}_{3}\right)\right)}_{2}}$

随后对得到的视觉特征v1与融合后的分类特征Ffinal进行聚合,通过特征拼接,有效提取视觉维度特征,确保信息与分类特征之间的相关性得到充分利用。

vcue=v1+Ffinal

视频特征vcue和文本特征Tnorm分别完成特征提取和归一化处理后相加,生成多分类任务的标签特征Ffusion。

Ffusion=MLP(Vcue+Tnorm)

同样地,特征投影器对视觉特征进行线性变换与归一化,即

v2=$\frac{\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}{\mathrm{r}}_{1}\left({\mathit{F}}_{3}\right)}{{\left(\mathit{L}\mathit{i}\mathit{n}\mathit{e}\mathit{a}{\mathit{r}}_{1}\left({\mathit{F}}_{3}\right)\right)}_{2}}$

得到的投影视觉特征v2通过乘积操作与视觉聚合输出Ffusion通过逐元素乘积相结合,视觉特征和标签特征相互作用,融合了视觉信息和标签信息。这种方法可以增强模型对特征之间关系的理解,从而生成更具上下文和语义相关性的多模态融合特征Ffused。

Ffused=Ffusion☉v2

将融合后的特征矩阵Ffused输入线性分类器中,该分类器将特征映射到一个多分类空间,生成每个异常类别的置信度分数z。

z=WFfused+b

式(16)中:W和b分别为线性分类器的权重和偏置参数。

为了获得每个类别的概率分布,在输出层之后应用了softmax操作,即

p=softmax(z)=$\frac{\mathit{e}\mathit{x}\mathit{p}\left({\mathit{z}}_{\mathrm{i}}\right)}{\stackrel{\mathit{L}}{\sum _{\mathit{j}=1}}\mathrm{e}\mathrm{x}\mathrm{p}\left({\mathit{z}}_{\mathit{j}}\right)}$

式(17)中:p为当前每个异常类别的概率;L为细粒度异常标签总数;j为类别索引。

模型输出为每个细分异常类别异常的发生概率,即细粒度多分类任务的预测结果。

1.3 损失函数设计

模型通过计算基于二元交叉熵(binary cross-entropy,BCE)的二分类损失,将其作为粗粒度分类损失函数;计算对齐损失用于评估对比学习中多模态特征融合的损失;计算对比损失,以增强模型在共享特征空间中的判别能力。总损失函数通过设置不同的损失权重因子,在训练过程中平衡不同的损失,以达到最好的检测性能。

(1)二元分类损失设计。二元分类损失即粗粒度分类损失函数,其核心目标是衡量模型对“是”或“否”发生异常事件的预测结果与真实标签之间的差异,并通过最小化该差异来优化模型性能。该模型使用二元交叉熵(BCE)损失函数来实现这一任务。

$ \mathcal{L}_{\text {bce }}(\hat{p}, y)=-[y \ln \hat{p}+(1-y) \ln (1-\hat{p})]$

式(18)中:$\dot{\mathit{p}}$为模型预测的正类(即异常)概率;y为实际的真实标签。其中,1表示正类(异常),0表示负类(正常)。

(2)对齐损失设计。计算对齐损失用于评估对比学习中多模态特征融合的损失,促进具有语义一致性的数据相互融合,从而提高多模态数据在异常检测任务中的融合效果。给定一组视觉特征v和文本特征t,每组特征对应一个类别标签,计算它们在特征空间中表示v和t的余弦相似度,公式为

sim(v,t)=$\frac{\mathit{v}\mathit{t}}{\left(\mathit{v}\right)\left(\mathit{t}\right)}$

式(19)中:(v)和(t)分别为视觉特征和文本特征的模值。

较高的余弦相似度值表示视觉特征和文本特征之间具有更高的相似性,意味着它们之间的对齐效果更好。为了进一步优化这种对齐,使用对比损失函数来约束特征之间的相似性。

$ \mathcal{L}_{\text {align }}=-\ln \frac{\exp \left[\frac{\sin (\boldsymbol{v}, \boldsymbol{t})}{\tau}\right]}{\sum_{j=1}^{L} \exp \left[\frac{\sin \left(\boldsymbol{v}, \boldsymbol{t}_{j}\right)}{\tau}\right]}$

式(20)中:τ为温度参数,用于调整相似度分布的锐度。

(3)对比损失。对比损失用于评估模型在共享特征空间中的判别能力,通过最大化类内相似性、最小化类间相似性的策略,提高模型对细分异常类别的区分能力。对比损失的主要策略为最大化类内相似性,同时最小化类间相似性。给定一对样本(vi,ti)和另一对来自不同类别的样本(vj,tj),对比损失的公式为

$ \mathcal{L}_{\text {contrast }}=\max \left[0, m+\operatorname{sim}\left(\boldsymbol{v}_{i}, \boldsymbol{t}_{j}\right)-\operatorname{sim}\left(\boldsymbol{v}_{i}, \boldsymbol{t}_{i}\right)\right]$

式(21)中:sim(v,t)为视觉特征与文本特征之间的相似度;m为边界的超参数,用于控制类内距离和类间距离之间的差异程度。

总损失函数$\mathcal{L}_{\text {total }}是每个部分损失函数的加权组合。

$ \mathcal{L}_{\text {total }}=\mathcal{L}_{\text {bce }}+\mathcal{L}_{\text {align }}+\gamma \mathcal{L}_{\text {contrast }}$

式(22)中:γ 为权重因子,用于控制每个损失项的影响。训练的目的为最小化总损失函数$\mathcal{L}_{\text {total }}$,使模型能够在不同的异常检测任务中实现较高的检测性能。

2 实验及结果分析

2.1 实验准备

2.1.1 实验数据集

为了验证模型的有效性,在两个公开的弱监督视频异常检测数据集上进行了实验。

UCF-Crime[27]:数据集包含1 900个长时间、未剪辑的视频,总时长为128 h。每个视频均由真实的监控摄像头拍摄,包含13种不同类型的异常事件,如打斗、交通事故、入室盗窃、纵火等,以及正常活动。数据集提供视频级别的标注,指示视频中是否存在异常,但并未具体说明这些异常的时间位置。该数据集支持两项主要任务:①一般异常检测,将所有异常视为一个类别,与正常活动进行对比;②识别13种具体的异常活动。

XD-Violence[28]:数据集包含4 754个未剪辑的视频,总时长为217 h。这些视频不仅包含视觉信号,还包含音频信号,并配有弱标注。与以往的数据集不同,XD-Violence 数据集来源多样,涵盖电影、体育赛事、电子游戏、手持摄像机、闭路电视(closed-circuit television,CCTV)和行车记录仪等。数据集涵盖了6种常见的暴力类型:虐待、车祸、爆炸、打斗、暴乱和枪击。

2.1.2 评价指标

粗粒度视频异常检测:在XD-Violence数据集中,使用帧级平均精度(average precision,AP)作为评估指标。AP值通过计算不同阈值下的精度-召回曲线下的面积来确定。在UCF-Crime数据集中,使用帧级曲线下面积(area under the curve,AUC)作为评估指标。AUC用于衡量模型在不同阈值下区分正常帧和异常帧的能力。

细粒度弱监督视频异常检测:使用的指标包括平均精度(mean average precision,mAP)和在不同交并比(intersection over union,IoU)阈值下的mAP平均值(average,AVG)。mAP表示每个细分类别异常事件的平均精度值,反映了模型在检测不同类别异常时的整体性能。交并比(IoU)用于衡量预测的异常时间段与真实异常时间段之间的重叠程度。

2.1.3 参数设置

ClipFusionVAD模型基于预训练的CLIP模型(ViT-B/16)构建,并使用冻结的图像和文本编码器作为网络架构的基础。模型的前馈网络采用标准的Transformer层,并将激活函数从ReLU替换为GELU。在超参数设置方面,位置距离部分的σ值设为1,多分类预测中的温度参数τ设为0.07,可学习提示的上下文长度为20。XD-Violence数据集的特征提取视觉序列长度为64帧,而UCF-Crime数据集为8帧。总损失函数中的权重因子γ 在两个数据集中分别设置为1×10-4和1×10-1。模型使用PyTorch在NVIDIA RTX 2080 Ti GPU上进行训练,优化器采用AdamW,批量大小设为64。学习率在XD-Violence数据集中设为2×10-5,UCF-Crime数据集中设为1×10-5,训练轮次均为10。

2.2 对比实验结果

在粗粒度视频异常检测实验中对比了12种方法,其中包括传统机器学习方法3种(SVM、OCSVM[29]、TRL[6]);弱监督学习方法4种(MIL-AR[27]、DMU[30]、UMIL[25]和RTFM[31]),多模态数据融合方法5种(CPV[21]、WS-MVD[28]、AVVD[32]、CLIP-TSA[22]、VadCLIP[23])和对比学习方法RTFM[31]等多种策略。在细粒度视频异常检测任务中选择随机基线(random baseline)、MIL-AR[27]、AVVD[32]和VadCLIP[23]方法作为对比。

基于UCF-Crime和XD-Violence数据集的粗粒度视频异常检测对比实验结果如表1所示。其中,所提出的ClipFusionVAD 在两个数据集的粗粒度异常检测任务中表现出色。这表明ClipFusionVAD在处理视觉数据时能够有效捕捉信息,验证了ClipFusionVAD的有效性。

表2和表3分别为基于XD-Violence和UCF-Crime数据集的细粒度视频异常检测对比实验结果。在细粒度多分类任务中,ClipFusionVAD在两个数据集上均取得了最先进的性能,能够有效整合来自不同模态的信息,这种能力使得模型在处理多模态数据时显著提升了预测准确性。

通过以上实验结果,可以得出以下结论。

(1)由表1可知,在二分类任务中,ClipFusionVAD显著优于所有半监督模型,如SVM基线、OCSVM[29]和TRL[6]的模型,同时在UCF-Crime数据集上与DMU[30]、VadCLIP[23]等先进二分类模型相匹敌。这表明ClipFusionVAD能够更好地通过GAM模块捕捉并放大视觉特征,从而在复杂环境下提高异常检测的性能。

(2)由表2可知在XD-Violence数据集的细粒度分类任务中,相较于MIL-AR[27]、VadCLIP[23]和AVVD[32]模型,显著提升了模型的预测准确性。这是由于ClipFusionVAD利用特征聚合器与特征投影器在细粒度异常检测中更有效地整合了不同模态的信息,能够在处理复杂的多模态数据时,准确捕捉和利用模态间的关系。

(3)由表3可知ClipFusionVAD在UCF-Crime数据集上的细粒度分类同样表现出最佳性能。通过使用GAM放大视觉特征,准确捕捉视频中的关键信息,有效识别复杂场景下的细粒度异常行为,提高在面向低质量视频数据时异常检测的鲁棒性和准确性。

2.3 消融实验

消融研究用于评估ClipFusionVAD中全局注意力机制、特征投影器模块和特征聚合器模块的特征融合等各组件对异常检测性能的影响。表4为ClipFusionVAD模块在UCF-Crime和XD-Violence数据集上的消融实验结果。

全局注意力机制模块的作用:在UCF-Crime和XD-Violence数据集上的实验结果表明,与实验1相比,实验2引入了全局注意力机制GAM模块,在两个数据集上的检测准确率分别提高了1.13%和3.48%。这种提升归因于该模块在捕捉细粒度特征方面的能力,使模型在不同类别之间的区分能力得到了显著增强。尤其在面对复杂场景和类别间细微特征差异时,GAM能够更有效地处理全局信息,通过增强对不同类别特征的感知,优化了模型的表现,从而提高了分类的准确性。

特征聚合器和特征投影器模块的作用:根据表4消融实验结果,相比于实验1,实验3、实验4、实验5分别引入了特征聚合器(实验3)、特征投影器(实验4)以及两个模块同时使用(实验5)。在UCF-Crime数据集中,mAP值提升了0.47%~2.02%,表明该模块在细粒度异常检测任务中能够有效增强了视觉信息与文本信息的多模态特征交互。在XD-Violence数据集中,引入特征聚合器与特征投影器后性能略有下降(实验3~实验5相比于实验1下降0.255%~0.52%),这是由于相比于UCF-Crime数据集,XD-Violence中的视频内容及拍摄方式更具有多样性,但XD-Violence数据集中输入的细分类别提示文本仅为7种(UCF-Crime为14种),采用特征聚合器与特征投影器后略微强化了两种模态不对称的情况。但根据实验6可以看出,当二者与全局注意力相结合后,模型仍能够依靠增强后的视觉特征大幅提升在XD-Violence数据集上的整体计算性能,总体的mAP值为28.07%,相较于实验1提高了3.37个百分点,在细粒度异常检测中取得最佳效果。

2.4 超参数实验

视觉序列长度和视觉层数在视觉特征提取的精度与信息表达的完整性方面起着关键作用。视觉序列长度决定了模型处理的帧数,序列过短可能丢失时序信息,而过长则增加计算成本并可能引入噪声。视觉层数则决定模型的深度,层数过少难以捕捉复杂模式,过多则可能导致训练难度增加和过拟合风险。通过调整视觉序列长度和视觉层数,评估它们对模型视觉特征提取能力的影响(图2和图3),旨在平衡时序信息捕捉、计算成本与模型性能,寻求最佳检测方案。

视觉层数的影响:视觉层数决定了模型在处理视频数据时的深度和复杂性。测试了3种不同的视觉层设置:1层、2层和3层,以评估它们对模型性能的影响,如图2所示。实验结果表明,使用1层视觉模型时,模型性能最佳,AP达到75.69%,平均mAP为28.07%。这表明单层视觉模型能够有效提取关键特征,同时避免了多层模型可能带来的计算复杂度增加和过拟合问题。相反,当视觉层数增加到2层时,模型性能略有下降。这一下降可能是额外层数带来的复杂性,导致特征提取过于细致,从而引入了更多的噪声或无关特征。

视觉序列长度的影响:测试了3种不同的视觉序列长度:128、256和512,以评估它们对模型性能的影响,如图3所示。当视觉序列长度设置为256时,模型达到了最佳性能,AP为75.69%,平均mAP为28.07%。这表明在该长度下,模型能够有效捕捉足够的时间信息,增强对视频中动态特征的识别能力。然而,当视觉序列长度过短(如128)或过长(如512)时,模型性能下降。较短的序列长度可能无法提供完整的动作信息,而较长的序列长度可能引入过多冗余的背景信息,增加计算负担并降低特征提取效率。

通过这些超参数实验,旨在优化视觉层数和视觉序列长度,以在不显著增加计算成本的情况下最大化模型的分类和检测性能。

2.5 定性实验结果

图4为UCF-Crime数据集中的不同细分类别的视频异常检测可视化结果,其中包括6个异常事件的示例,包括“打斗(Fighting)”“虐待(Abuse)”“逮捕(Arrest)”“入室盗窃(Burglary)”“爆炸(Explosion)”和“纵火(Arson)”等典型异常行为。每个示例中,横坐标表示视频的时间帧序列,纵坐标表示异常检测得分,得分越高意味着模型认为发生异常事件的可能性越大。蓝色曲线代表异常得分随时间的变化,粉色区域表示模型检测到的异常事件。

从图4可以观察到,在打斗、纵火等事件中,得分波动显著,而在爆炸等事件中,得分迅速上升并下降,显示出模型对不同类型异常事件的敏感性和检测效果。模型在检测异常行为时,正常样本与异常样本之间表现出明显的得分差异。在异常事件发生时,异常得分显著提升,并且与真实标签高度吻合。这一现象表明,所提出的方法能够有效区分正常与异常行为,能够准确地预测异常发生与结束的时间,对异常事件的检测具有很高的敏感性和准确性。此外,得分曲线的变化趋势也进一步证明了该方法对复杂场景下异常行为的鲁棒检测能力。

在“逮捕(Arrest)”事件中,尽管背景中的人群密度较高,模型依然能够准确识别出异常行为的发生时间段,表现出较强的抗干扰能力。而在“纵火(Arson)”事件中,尽管场景背景复杂且多次出现不同的异常行为,模型仍然能够通过异常得分的波动清晰地反映每次异常行为的出现与结束情况。这一现象进一步验证了所提出方法在复杂场景中的鲁棒性,不仅能够应对背景的干扰因素,还能准确定位多个连续或重叠的异常事件。

模型在应对这些具有挑战性的场景时,展现出高效的检测能力和强大的泛化性。这表明,所提出的方法不仅适用于简单、直观的异常行为场景,在面对背景复杂度和多重异常行为交织的场景时,同样能够保持高度的敏感性和准确性,具备很好的实际应用潜力。

3 结论

提出了一种多模态特征融合的视频异常检测方法,经实验得出以下结论。

(1)通过引入双分支框架,有效利用视觉和文本特征建模视频中的异常事件。利用CLIP提取视觉特征,引入全局注意力模块,提高模型在复杂场景中捕捉关键信息的能力,实现准确的粗粒度视频异常检测。

(2)对于细粒度检测,模型提出了特征聚合器和特征投影器,综合各种视觉信息以增强整体特征表示,并进一步提高特征对细分类别的判别能力。

(3)最终模型在细粒度多分类任务中,UCF-Crime数据集上mAP达到了9.4%,在XD-Violence数据集上mAP达到了28.07%,证明提出方法具有先进性。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

张琳, 陈兆波, 马晓轩, 等. 无监督和弱监督视频异常检测方法回顾与前瞻[J]. 科学技术与工程, 2024, 24(19): 7941-7955.
[2]

Zhang Lin, Chen Zhaobo, Ma Xiaoxuan, et al. Review of unsupervised and weakly super vised video anomaly detection methods[J]. Computer Engineering and Applications, 2024, 24(19): 7941-7955.
[3]

Zhu S, Chen C, Sultani W. Video anomaly detection for smart surveillance[M]// Computer Vision:A Reference Guide. Cham: Springer International Publishing, 2021: 1315-1322.
[4]

Nayak R, Pati U C, Das S K. A comprehensive review on deep learning-based methods for video anomaly detection[J]. Imageand Vision Computing, 2021, 106: 104078.
[5]

Liu Y, Liu J, Zhao M, et al. Collaborative normality learning framework for weakly supervised video anomaly detection[J]. IEEE Transactions on Circuits and Systems II: Express Briefs, 2022, 69(5): 2508-2512.
[6]

Huang C, Liu C, Wen J, et al. Weakly supervised video anomaly detection via self-guided temporal discriminative transformer[J]. IEEE Transactions on Cybernetics, 2022, 54(5): 3197-3210.
[7]

Hasan M, Choi J, Neumann J, et al. Learning temporal regularity in video sequences[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas: IEEE, 2016: 733-742.
[8]

Zaheer M Z, Mahmood A, Khan M H, et al. Generative cooperative learning for unsupervised video anomaly detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 14744-14754.
[9]

Ullah W, Ullah A, Haq I U, et al. CNN features with bi-directio-nal LSTM for real-time anomaly detection in surveillance networks[J]. Multimedia Tools and Applications, 2021, 80: 16979-16995.
[10]

Zhong J X, Li N, Kong W, et al. Graph convolutional label noise cleaner: train a plug-and-play action classifier for anomaly detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 1237-1246.
[11]

陈澄, 胡燕. 融合记忆增强的视频异常检测[J]. 计算机工程与应用, 2022, 58(15): 253-259.
[12]

Chen Cheng, Hu Yan. Video anomaly detection combining memory-augmented[J]. Computer Engineering and Applications, 2022, 58(15): 253-259.
[13]

Fan Y, Yu Y, Lu W, et al. Weakly-supervised video anomaly detection with snippet anomalous attention[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2024(7): 5480-5492.
[14]

陈明一, 李洪均. 拓扑信息引导的视频异常行为检测方法[J]. 计算机工程与应用, 2024, 60(16): 228-235.
[15]

Chen Mingyi, Li Hongjun. Topology information guided video abnormal behavior detection method[J]. Computer Engineering and Applications, 2024, 60(16): 228-235.
[16]

吴沛宸, 袁立宁, 胡皓, 等. 基于注意力特征融合的视频异常行为检测[J]. 图学学报, 2024, 45(5): 922-929.
[17]

Wu Peichen, Yuan Lining, Hu Hao, et al. Video anomaly detection based on attention feature fusion[J]. Journal of Graphics, 2024, 45(5): 922-929.
[18]

许辰月, 王蓉, 郭放, 等. 改进时空图归一化流的异常行为识别方法[J]. 科学技术与工程, 2025, 25(18): 7693-7699.
[19]

Xu Chenyue, Wang Rong, Guo Fang, et al. Abnormal behavior recognition method of improved spatio-temporal graph normalizing flow[J]. Science Technology and Engineering, 2025, 25(18): 7693-7699.
[20]

Al-lahham A, Tastan N, Zaheer M Z, et al. A coarse-to-fine pseudo-labeling (C2FPL) framework for unsupervised video anomaly detection[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV). Waikoloa: IEEE, 2024: 6779-6788.
[21]

Li J, Liu X, Zhang W, et al. Spatio-temporalattention networks for action recognition and detection[J]. IEEE Transactions on Multimedia, 2020, 22(11): 2990-3001.
[22]

Feng X, Song D, Chen Y, et al. Convolutional transformer based dual discriminator generative adversarial networks for video anomaly detection[C]// Proceedings of the 29th ACM International Conference on Multimedia. Chengdu: ACM, 2021: 5546-5554.
[23]

An D, Liu W, Lu J, et al. Fine-grained video anomaly detection via adaptive feature refinement and semantic enrichment[J]. Visual Computer, 2026, 42(2): 1-18.
[24]

Zhou H, Cai J, Ye Y, et al. Video anomaly detection with motion and appearance guided patch diffusion model[C]// Proceedings of the AAAI Conference on Artificial Intelligence (AAAI). Philadelphia: AAAI, 2025: 10761-10769.
[25]

Radford A, Kim J W, Hallacy C, et al. Learning transferable vi-sual models from natural language supervision[C]// International Conference on Machine Learning. Online: PMLR, 2021: 8748-8763.
[26]

Ju C, Han T, Zheng K, et al. Prompting visual-language models for efficient video understanding[C]// European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 105-124.
[27]

Joo H K, Vo K, Yamazaki K, et al. CLIP-TSA: CLIP-Assisted temporal self-attention for weakly-supervised video anomaly detection[C]// IEEE International Conference on Image Processing (ICIP). Kuala Lumpur: IEEE, 2023: 3230-3234.
[28]

Wu P, Zhou X, Pang G, et al. Vadclip: adapting vision-language models for weakly supervised video anomaly detection[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2024, 38(6): 6074-6082.
[29]

Lü H, Yue Z, Sun Q, et al. Unbiased multiple instance learning for weakly supervised video anomaly detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 8022-8031.
[30]

Liu L, Li J, Li G, et al. VadCLIP++: dynamic vision-language model for weakly supervised video anomaly detection[J]. Digital Signal Processing, 2026, 168: 105560.
[31]

Kim J, Yoon S, Choi T, et al. Unsupervised video anomaly detection based on similarity with predefined text descriptions[J]. Sensors, 2023, 23(14): 6256.
[32]

Sultani W, Chen C, Shah M. Real-world anomaly detection in surveillance videos[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 6479-6488.
[33]

Wu P, Liu J, ShiY, et al. Not only look, but also listen: learning multimodal violence detection under weak supervision[C]// Computer Vision-ECCV 2020: 16th European Conference. Glasgow: Springer International Publishing, 2020: 322-339.
[34]

Schölkopf B, Williamson R C, Smola A, et al. Support vector method for novelty detection[J]. Advances in Neural Information Processing Systems, 1999: 582-588.
[35]

Zhou H, Yu J, Yang W. Dual memory units with uncertainty re-gulation for weakly supervised video anomaly detection[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Was-hington, D. C. : AAAI, 2023: 3769-3777.
[36]

Tian Y, Pang G, Chen Y, et al. Weakly-supervised video anomaly detection with robust temporal feature magnitude learning[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Montreal: IEEE, 2021: 4975-4986.
[37]

Wu P, Liu X, Liu J. Weakly supervised audio-visual violence detection[J]. IEEE Transactions on Multimedia, 2022, 25: 1674-1685.

基金资助

中国人民公安大学安全防范工程双一流专项(2023SYL08)

PDF (7315KB)

10

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录