联合记忆与均值统计增强特征选择的异常行为检测

牛春翔; 孟思雨; 王蓉

doi:10.12404/j.issn.1671-1815.2505856

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (19) :8275-8285 DOI: 10.12404/j.issn.1671-1815.2505856

自动化技术、计算机技术

联合记忆与均值统计增强特征选择的异常行为检测

作者信息 +

Anomaly Behavior Detection with Joint Memory and Mean Statistics Enhanced Feature Selection

Author information +

文章历史 +

摘要

在弱监督异常行为检测中,从视频级标签视频中选择正常与异常关键实例,以学习异常事件与正常状态的判别特征至关重要。现有的特征选择策略主要依据单个实例的异常强度,忽略了实例间的全局统计特性。为此,提出一种联合记忆与均值统计增强的特征选择方法。该方法通过存储全局正常模式与均值统计量作为锚点,计算输入视频特征相对于锚点的偏离度,依据偏离度大小选择正样本与负样本,并构建三元组损失函数进行约束,通过关键样本的区分增强正常与异常判别特征。此外,鉴于正常与异常视频片段的边界具有模糊性,设计了滑动窗口约束的动态图卷积模块,增强对渐变过程的特征表示和对局部异常模式的关注。实验结果表明,该方法在UCF-Crime和XD-Violence数据集上的AUC(area under curve)和AP(average precision)指标分别达到86.25%和83.87%。可见,提出的基于记忆与均值两种全局统计量的特征选择策略,能够有效筛选关键样本实例,显著增强模型对正常与异常模式的判别特征表示能力。

Abstract

In weakly supervised anomaly behavior detection, selecting critical normal and anomalous instances from video-level labeled videos is essential for learning discriminative features that distinguish abnormal events from normal states. Existing feature selection strategies are primarily based on the anomaly intensity of individual instances, while the global statistical characteristics among instances are ignored. To address this, a joint memory and mean statistics enhanced feature selection method was proposed. In this method, global normal patterns and mean statistics were stored as anchor points, the deviation degree of input video features relative to these anchors was calculated, and positive and negative samples were selected based on the deviation magnitude. Then, a triplet loss function was constructed to constrain the samples, and the discriminative features between normal and abnormal states were enhanced through the discrimination of key samples. Furthermore, considering the ambiguity of boundaries between normal and abnormal video segments, a dynamic graph convolution module with sliding window constraints was designed to strengthen the feature representation of gradient processes and focus on local abnormal patterns. The experimental results demonstrate that AUC(area under curve) and AP(average precision) metrics of 86.25% and 83.87% are achieved by the proposed method on the UCF-Crime and XD-Violence datasets, respectively, verifying its effectiveness. It is proved that the feature selection strategy based on two global statistics of memory and mean proposed can effectively select key sample instances and significantly enhance the ability of the model to discriminate between normal and abnormal patterns.

Graphical abstract

关键词

异常行为检测 / 弱监督学习 / 特征选择策略 / 记忆单元 / 均值统计

Key words

abnormal behavior detection / weakly supervised learning / feature selection strategy / memory unit / mean statistics

引用本文

引用格式 ▾

牛春翔, 孟思雨, 王蓉. 联合记忆与均值统计增强特征选择的异常行为检测[J]. 科学技术与工程, 2026, 26(19): 8275-8285 DOI:10.12404/j.issn.1671-1815.2505856

NIU Chun-xiang, MENG Si-yu, WANG Rong. Anomaly Behavior Detection with Joint Memory and Mean Statistics Enhanced Feature Selection[J]. Science Technology and Engineering, 2026, 26(19): 8275-8285 DOI:10.12404/j.issn.1671-1815.2505856

登录浏览全文

4963

注册一个新账户忘记密码

异常行为检测旨在从未经剪辑的监控视频中识别出异常事件,如盗窃、斗殴、爆炸等明显偏离场景内预设正常行为规律或社会规范的行为。作为智能监控视频分析的核心环节,该技术已在实时风险预警、犯罪预防及公共安全管理领域发挥着重要作用。

近年来,弱监督学习凭借其视频级标注的特性,有效解决了大规模视频数据帧级标注成本高昂的问题,已逐渐成为视频异常检测任务中的主流方法框架^[1]。然而,视频级标签的局限性在于无法预先确定未剪辑视频中异常片段的具体位置,这使得模型难以直接学习异常片段的判别特征。Sultan等^[2]提出的多实例学习(multi-instance learning, MIL)方法是一种常用的解决方案,该方法将视频切分为不重叠的片段作为实例,通过从异常视频中选取异常片段构成正包,并从正常视频中选取相同数量的正常片段构成负包,再将正负包配对以训练异常分类器。

在上述方法框架下,用于区分正常与异常实例的特征选择策略是训练模型学习判别性特征的关键。Tian等^[3]设计了一种特征幅度学习函数,通过计算实例特征的幅值作为基准,利用低幅值筛选正常实例、高幅值筛选异常实例。文献[4 -7]则在特征幅值的基础上进一步研究了不同的选择策略。Wu等^[8]提出了基于稀疏表示的选择策略,通过构建正常特征的稀疏字典并利用稀疏系数约束来筛选异常特征。此外,Pu等^[9]未直接使用量化值区分异常与正常片段,而是通过上下文语义对齐与特征可分性增强的隐式学习方式实现特征选择。然而,这些现有策略主要关注单个实例的异常强度评估,忽略了正常与异常事件在统计特性上的显著差异^[10-13]。这是由于训练集中的视频均为未剪辑的长视频,即使标记为异常的视频也以正常实例为主,异常实例仅占极小比例。为克服这一局限,通过从大量正常实例中存储每批次学习到的正常分布模式,对正常事件特征的全局统计特性进行建模,并计算其他样本与全局正常特征的偏离度,从而有效筛选出正常与异常关键样本特征,为特征选择提供更具鲁棒性的判别依据。

为有效筛选关键样本实例,显著增强模型对正常与异常模式的判别特征表示能力,提出一种联合记忆与均值统计的增强特征选择方法。该方法首先通过记忆单元统计全局正常模式作为第一种锚点;随后,对记忆增强特征进行混合归一化计算,得到均值统计量作为第二种锚点。在此基础上,计算输入特征相对于两个锚点的特征偏离度,选择偏离度较小的实例作为正样本,偏离度较大的实例作为负样本——负样本特征提取自异常视频数据中最具代表性的异常行为特征,正样本特征则提取自异常视频数据中的正常行为特征,代表异常视频中存在的大量正常片段。之后,构建不同的三元组损失函数对两组样本进行约束,以最小化锚样本与正样本的特征距离,同时最大化锚样本与负样本的特征距离,从而增强正常与异常的判别特征表示。此外,考虑到正常与异常视频片段的边界具有模糊性,为提升对渐变过程的特征表示能力及对局部异常模式的关注,设计滑动窗口约束的动态图卷积模块(sliding window-constrained dynamic graph convolution, SW-DGC),通过计算特征距离矩阵,构建基于滑动窗口的序列差异掩码,筛选窗口内最相似的局部实例以生成动态图网络,并利用可学习图卷积核聚合局部邻域特征。

1 异常行为检测方法

如图1所示,本文方法由动态分组卷积模块、滑动窗口约束的动态图卷积模块、基于记忆与均值统计的特征选择增强模块,以及异常分数预测模块组成。在基于多实例学习的弱监督方法设置中,正常视频及标签定义为NV=

$\{{{\mathit{v}}^{\mathrm{n}}}_{\mathit{i}},{\mathit{y}}^{\mathrm{n}}{\}}_{\mathit{i}=1}^{\mathit{N}}$

,yⁿ=0,表示视频中的所有实例均为正常行为;异常视频及标签定义为AV=

$\{{{\mathit{v}}^{\mathrm{a}}}_{\mathit{i}},{\mathit{y}}^{\mathrm{a}}{\}}_{\mathit{i}=1}^{\mathit{N}}$

,y^a=1,表示视频中至少存在一个异常行为实例。首先,将一组正常视频与异常视频通过I3D预训练模型提取特征F∈R^L^×^C(L为每个视频的片段数,C为提取特征的维度),并通过动态分组卷积进一步提取深层次特征;其次,引入滑动窗口约束的动态图卷积以增强异常实例的局部渐变特征;接着,在基于记忆统计的特征选择增强模块中,利用双记忆单元提取锚点、正样本和负样本特征,并通过记忆增强对比三元组损失L_mem进行约束,得到记忆增强特征F_mem;然后,进入基于均值统计的特征选择增强模块,通过混合归一化提取锚点、正样本和负样本特征,同时利用均值统计对比三元组损失L_mean进行约束,得到均值增强特征F_mean;最后,特征F_mean经分类器输出每个实例的异常分数。

1.1 动态分组卷积模块

在深度学习领域,模型性能提升常依赖加深网络层数,但这易引发计算量激增与训练效率下降问题。为在不增加网络深度的前提下增强模型特征提取能力,同时解决传统卷积方法在计算资源与效率上的局限,引入动态分组卷积^[14](dynamic group convolution, DGC)替代依赖叠加层深的卷积方法,以降低计算消耗并提升效率。该方法的每层卷积并非共享单一卷积核,而是基于动态生成的注意力权重聚合多个并行卷积核。

此外,鉴于多实例异常检测任务特性,进一步引入全局最大池化以增强对高异常分数实例的关注。全局最大池化能够有效捕捉视频实例中最具判别性的局部特征响应,显著增强模型对稀疏但关键的异常信号的敏感性,从而弥补了单纯依赖全局平均池化可能导致的异常特征被大量正常特征稀释的不足。具体而言,输入特征首先经过并行的自适应全局平均池化与全局最大池化操作进行压缩,通过激活函数生成注意力权重π_k,使模型更加关注高异常分数实例的卷积核。该动态卷积核的生成过程可表示为

(1)$\stackrel{\sim }{\mathit{W}}$(x)=$\stackrel{\mathit{K}}{\sum _{\mathit{k}=1}}$π_k(x)${\stackrel{\sim }{\mathit{W}}}_{\mathit{k}}$,$\stackrel{\mathit{K}}{\sum _{\mathit{k}=1}}$π_k(x)=1

式(1)中:x为单个实例片段的特征向量;

${\stackrel{\sim }{\mathit{W}}}_{\mathit{k}}$

为动态生成的卷积核参数。

然后,正交初始化每组k个卷积核,并按注意力权重与动态偏置项

${\stackrel{\sim }{\mathit{b}}}_{\mathrm{k}}$

,线性组合动态生成卷积核参数

$\stackrel{\sim }{\mathit{W}}$

,最后通过分组卷积实现并行动态核间的特征聚合。分组卷积的计算过程可表示为

(2)F_DGC=GroupConv(X,$\stackrel{\sim }{\mathit{W}}$)+$\stackrel{\mathit{K}}{\sum _{\mathit{k}=1}}$π_k(x)${\stackrel{\sim }{\mathit{b}}}_{\mathit{k}}$

式(2)中:X为整个批次实例片段的特征矩阵;GroupConv(·)表示分组卷积。

1.2 滑动窗口约束的动态图卷积模块

在视频异常检测任务中,正常与异常状态的过渡往往呈现渐进式变化,而非明确的边界突变。现有基于全局关系建模的图卷积方法,易受大量正常实例的干扰,难以有效捕捉渐变过程中的关键特征。为此,设计一种滑动窗口约束的动态图卷积模块,以增强对局部异常模式的建模能力。如图2所示,该模块通过滑动窗口机制,将长时序视频实例划分为连续重叠的局部窗口,聚焦捕捉窗口内实例间的渐变特征,有效避免全局建模因引入过多正常实例而导致的异常细节丢失问题。同时,基于窗口内实例的特征距离筛选相似样本并构建动态图网络,通过图卷积对邻域特征进行加权聚合,有效提取局部异常实例中的关键特征,从而降低全局无关特征的干扰。

首先,对特征维度为C的实例片段特征矩阵X={x₁,x₂,…,x_L}⊆R^L^×^C,计算所有实例对间的特征距离矩阵,并根据滑动窗口大小创建序列差异掩码,即

(3)mask(l,l')=$\left\{\begin{array}{ll}1,& \left|\mathit{l}-\mathit{l}\mathit{\text{'}}\right|\le \lfloor \mathit{w}/2\mathrm{」}\\ -\mathit{\infty },& \mathrm{其}\mathrm{他}\end{array}\right.$

式(3)中:C为特性维度;l、l'∈L分别为当前片段和其他片段的位置索引。

通过将窗口外的特征距离置为负无穷,约束Top-K仅筛选窗口内特征最相似的k个实例局部索引,表示为

(4)$\mathcal{N}^{(l)}=\operatorname{Top} K\left[-\left\|\boldsymbol{x}_l-\boldsymbol{x}_l^{\prime}\right\|^2 \odot \operatorname{mask}\left(l, l^{\prime}\right), k\right]$

式(4)中:⁽^l⁾表示以l为中心的窗口内最相似k个实例的索引集合;☉表示逐元素乘法。

进一步,结合批次偏移基准张量对局部索引进行全局索引映射,从原始特征中提取窗口内的k个实例特征,并与当前特征拼接,组成窗口增强特征H={h₁,h₂,…,h_L},并构建图顶点集合V={v₁,v₂,…,v_L}。在图卷积特征聚合阶段,每个顶点v_i的特征h_i与其局部邻域N⁽^l⁾构成动态图网络,通过1×k可学习卷积核W_agg的图卷积对邻域特征加权聚合,并与原始顶点特征残差连接,经激活函数更新为

(5)h'_i=σ[${\mathit{h}}_{\mathit{i}}^{\left(\mathit{t}\right)}$+Conv2dAgg([${\mathit{h}}_{\mathit{j}}^{\left(\mathit{t}\right)}\left|\mathit{j}\in {\mathrm{N}}^{\left(\mathit{t}\right)}\left(\mathit{i}\right)\right.$],W_agg)]

式(5)中:

${\mathit{h}}_{\mathit{i}}^{\left(\mathit{t}\right)}$

为第t层顶点i的特征;

${\mathit{h}}_{\mathit{j}}^{\left(\mathit{t}\right)}$

为第t层的k个最相似实例特征。最后输出所有顶点的更新特征H'={h'₁,h'₂,…,h'_l}。

1.3 基于记忆统计的特征选择增强模块

记忆单元是一种用于存储不同特征的高效神经网络,已在各类任务中得到应用^[15-16]。构建了双记忆单元分别存储全局正常和异常统计特征,提出了基于记忆统计的特征选择增强方法。利用注意力机制计算输入特征与全局统计特征的相似度作为特征偏离度,从正常视频特征Xⁿ与正常记忆单元的偏离度筛选最显著的正常片段特征作为锚点,从异常视频特征X^a与正常记忆单元的偏离度筛选大量的正常片段特征作为正样本,从异常视频特征X^a与异常记忆单元的偏离度中筛选最显著的异常片段特征作为负样本,并构建记忆增强对比三元组损失(memory-enhanced contrastive triplet loss)函数,约束正样本靠近锚点、负样本远离锚点,增强记忆单元输出特征F_mem。

基于记忆统计的特征选择方法流程如图3所示。双记忆单元M∈R^N^×^d包含正常记忆单元(normal memory unit)与异常记忆单元(abnormal memory unit),其由可学习的二维参数矩阵构成,维度分别对应存储单元的数量和实例特征的维度。正常记忆单元负责存储学习的正常行为模式,异常记忆单元负责存储学习的异常行为模式,通过记忆增强对比三元组损失函数引导记忆单元参数矩阵进行特征学习。以提取正样本特征为例,首先异常特征X^a与正常记忆单元的存储矩阵相乘,生成注意力分数矩阵,其反映视频特征与每个记忆单元之间的关联强度。其次,从记忆单元中筛选出注意力分数最高的k个存储单元,并对其注意力分数进行平均,得到维度为实例个数的一维数组,其代表每个实例经记忆单元增强后获得的异常相似分数值。最后,采用Top-K策略获取S^a_k;n,并根据索引从正常视频特征中提取k个实例的特征,计算平均值以获得正样本的特征表示。具体计算过程表示为

(6)α(x,M)=σ

$\left(\frac{\mathit{x}{\mathit{M}}^{\mathrm{T}}}{\sqrt{\mathrm{C}}}\right)$

(7)S_k=AvgPool{MaxSelect[α(x,M),k]}

(8)F(S_k,X)=Aggregate[x,ArgSelect(S_k,k)]

式中:X为视频特征矩阵;x为视频实例特征向量;M为记忆单元存储矩阵;C为实例的特征维度。MaxSelect(·,k)选取注意力分数矩阵中与当前实例关联强度最高的k个记忆单元;ArgSelect(·,k)表示获取前k个实例特征的索引;Aggregate(x,·)根据索引从x中聚合特征。式(7)用于计算x与M中每个存储特征的相似度,得到注意力分数矩阵。

由图3可知,锚样本和负样本的提取过程与正样本的提取过程相同。其中,锚样本通过正常视频特征输入正常记忆单元提取,负样本通过异常视频特征输入异常记忆单元提取,过程表示为

(9)f_a=F(Sⁿ_k;n;Xⁿ)

(10)f_n=F(S^a_k;a;X^a)

(11)f_p=F(S^a_k;n;X^a)

式中:f_a、f_n、f_p分别为锚样本特征、负样本特征和正样本特征。

最后,构建记忆增强对比三元组损失函数L_mem,计算样本间的欧几里得距离。若正样本与锚样本之间的距离与预设间距的和超过负样本与锚样本之间的距离,损失函数产生正值梯度,在反向传播过程中自动优化记忆单元的参数矩阵,驱动正样本在特征空间中以锚点为中心形成紧凑分布,同时迫使负样本偏离至边距m之外的分离区域。不仅增强正常样本的类内聚合度,同时扩大正常与异常特征之间的可分性。该损失函数计算公式为

(12)$ \begin{aligned}L_{\mathrm{mem}}\left(f_{\mathrm{a}}, f_{\mathrm{h}}, f_{\mathrm{n}}\right)= & \ln \left\{1+\exp \left[\sqrt{\sum_{i=1}^{n}\left(a_{i}-p_{i}\right)^{2}}-\right.\right. \\& \left.\left.\sqrt{\sum_{i=1}^{n}\left(a_{i}-n_{i}\right)^{2}}+m\right]\right\}\end{aligned}$

式(12)中:i为视频索引;p_i为正样本;a_i为锚样本;n_i为负样本;m为预设边距。

1.4 基于均值统计的特征选择增强模块

由于视频中正常实例占绝对多数,统计结果表明均值向量是对正常状态的良好表征^[17],可作为统计参照标准,有效实现异常与正常实例的区分。基于此,提出了基于均值统计的特征选择增强方法。如图4所示,首先,通过混合归一化方法(mixed normalization)计算并存储全局均值统计量作为锚点,计算记忆增强特征F_mem与该锚点的马氏距离作为特征偏离度。然后,从输入特征中选取正负样本时,受人类学习过程的生物学启发,借鉴人类认知从简单概念向复杂概念过渡的方式,提出一种课程学习(curriculum learning, CL)策略,该策略通过逐步调升样本选择比例,在训练初期从异常视频中选取最显著异常样本,从正常视频中选取最易误判的正常样本,而在训练后期逐步引入更多模糊样本,迫使模型学习更细微的异常模式与更广泛的正常特征。提取的正样本表示从正常记忆单元输出的增强特征中筛选偏离度最大的片段特征,负样本表示从异常记忆单元输出的增强特征中筛选偏离度最大的片段特征。最后,通过构建均值统计对比三元组损失(mean statistical contrastive triplet loss function)函数,约束正样本靠近锚点、负样本远离锚点,进一步增强均值特征表示F_mean。

首先,提出一种混合归一化方法计算并存储全局均值统计量,通过批量归一化(batch normalization, BN)和实例归一化(instance normalization,IN)分别捕获历史全局统计量和当前批次统计量,并进行动态权重融合增强统计量的全局表示能力。实例归一化分支仅使用当前批次特征,通过对每个特征通道聚合批次维度与实例维度的特征信息,计算得到当前批次各通道的均值与方差统计量。具体公式为

(13)μ_inst=$\frac{1}{\mathit{B}\mathit{L}}\stackrel{\mathit{B}}{\sum _{\mathit{b}=1}}\stackrel{\mathit{L}}{\sum _{\mathit{l}=1}}$x_b_,_c_,_l

(14)${\mathit{\sigma }}_{\mathrm{i}\mathrm{n}\mathrm{s}\mathrm{t}}^{2}$=$\frac{1}{\mathit{B}\mathit{L}}\stackrel{\mathit{B}}{\sum _{\mathit{b}=1}}\stackrel{\mathit{L}}{\sum _{\mathit{l}=1}}({\mathit{x}}_{\mathit{b},\mathit{c},\mathit{l}}-{\mathit{\mu }}_{\mathrm{i}\mathrm{n}\mathrm{s}\mathrm{t}}{)}^{2}$

式中:B为批次大小;L为实例数量;x_b_,_c_,_l为第b个视频的第l个实例的第c个特征通道的样本。

批量归一化分支将存储历史统计量,用于统计量的计算过程,并更新历史统计量。首先,通过张量维度变换将输入数据的批次维度与实例维度展平,然后对每个通道计算当前批次的均值和方差。接着,将当前批次统计量与历史全局统计量加权融合,实现历史所有批次统计量的指数加权平均。具体公式为

(15)${\mathit{\mu }}_{\mathrm{b}\mathrm{n}}^{\left(\mathrm{t}\right)}$=λ${\mathit{\mu }}_{\mathrm{b}\mathrm{n}}^{(\mathit{t}-1)}$+(1-λ)$\frac{1}{\mathit{B}\mathit{L}}\stackrel{\mathit{B}\mathit{L}}{\sum _{\mathit{i}=1}}$x_i_,_c

(16)${\mathit{\sigma }}_{\mathrm{b}\mathrm{n}}^{2\left(\mathit{t}\right)}$=λ${\mathit{\sigma }}_{\mathrm{b}\mathrm{n}}^{2(\mathit{t}-1)}$+(1-λ)$\frac{1}{\mathit{B}\mathit{L}}\stackrel{\mathit{B}\mathit{L}}{\sum _{\mathit{i}=1}}({\mathit{x}}_{\mathit{i},\mathit{c}}-{\mathit{\mu }}_{\mathrm{b}\mathrm{n}}^{\left(\mathit{t}\right)}{)}^{2}$

式中:λ为指数移动平均的衰减因子;t为训练批次;x_i_,_c为经过维度展平后的特征;i为展平后的样本索引。最后,通过可调权重因子α∈[0,1]实现动态融合,具体公式为

(17)μ_final=αμ_bn+(1-α)μ_inst

(18)${\mathit{\sigma }}_{\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}^{2}$=α${\mathit{\sigma }}_{\mathrm{b}\mathrm{n}}^{2}$+(1-α)${\mathit{\sigma }}_{\mathrm{i}\mathrm{n}\mathrm{s}\mathrm{t}}^{2}$

计算特征F_mem与锚点的马氏距离。具体而言,首先将特征张量F_mem减去均值锚点μ,通过广播机制实现跨批次和时间维度的对齐,得到中心化后的特征偏差。接着,对每个特征维度C的偏差平方进行标准化处理,即除以该维度对应的方差,以消除不同维度的量纲差异并平衡各维度的贡献。最后,沿特征维度对所有标准化后的偏差平方值求和,并对结果取平方根,从而得到每个时间片特征与正常分布中心的马氏距离值。具体公式为

(19)D_b_,_l=$\sqrt{\stackrel{\mathit{C}}{\sum _{\mathit{c}=1}}{\frac{(\mathit{F}\mathit{\text{'}}{}_{\mathit{b},\mathit{c},\mathit{l}}-{\mathit{\mu }}_{\mathit{c},\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}})}{{\mathit{\sigma }}_{\mathit{c},\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}^{2}}}^{2}}$

式(19)中:F_b_,_c_,_l为第b个视频样本、第l个实例、第c个通道的特征值;D_b_,_l为第b个视频样本、第l个实例的特征偏离度。

其次,设置课程学习的动态采样比例ρ_t,表达式为

(20)ρ_t=ρ_init+(ρ_final-ρ_init)$\frac{\mathit{t}}{{\mathit{T}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}}$

式(20)中:ρ_init为初始采样比例;ρ_final为目标比例;t为当前训练步数;T_total为总训练步数。

筛选当前批次数据的负样本。首先,根据当前课程比例ρ_t计算每个异常视频的采样片段数K_abn。然后,针对每个异常视频的距离向量D^abn,选取马氏距离最大的前K_abn个片段索引S_abn。最后,从异常视频特征中提取索引选中的实例片段特征

${\mathit{F}}_{\mathrm{s}\mathrm{e}\mathrm{l}}^{\mathrm{a}\mathrm{b}\mathrm{n}}$

作为负样本集合。具体公式为

(21)${\mathit{K}}_{\mathrm{a}\mathrm{b}\mathrm{n}}^{\mathit{i}}$=「ρ_t

$\frac{\mathit{t}}{{\mathit{T}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}}$

L⌉, ∀i∈[1,B/2]

(22)${\mathit{S}}_{\mathrm{a}\mathrm{b}\mathrm{n}}^{\mathit{i}}$=$\underset{\mathit{j}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{s}\mathrm{o}\mathrm{r}\mathrm{t}}$(${\mathit{D}}_{\mathit{i}\mathit{j}}^{\mathrm{a}\mathrm{b}\mathrm{n}}$)[-${\mathit{K}}_{\mathrm{a}\mathrm{b}\mathrm{n}}^{\mathit{i}}$:]

(23)${\mathit{F}}_{\mathrm{s}\mathrm{e}\mathrm{l}}^{\mathrm{a}\mathrm{b}\mathrm{n}}$=${\cup }_{\mathit{i}=1}^{\mathit{B}/2}${${\mathit{F}}_{\mathit{i},\mathit{j}}^{\mathrm{a}\mathrm{b}\mathrm{n}}\left|\mathit{j}\in {\mathit{S}}_{\mathrm{a}\mathrm{b}\mathrm{n}}^{\mathit{i}}\right.$}

式中:

${\mathit{D}}_{\mathit{i}\mathit{j}}^{\mathrm{a}\mathrm{b}\mathrm{n}}$

为第i个异常视频中第j个实例片段的马氏距离值;

$\underset{\mathit{j}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{s}\mathrm{o}\mathrm{r}\mathrm{t}}$

为沿时间维度对距离值进行升序排序,返回排序后的索引数组;[-

${\mathit{K}}_{\mathrm{a}\mathrm{b}\mathrm{n}}^{\mathit{i}}$

:]为切片操作,选取排序后末尾的k个索引;

${\mathit{F}}_{\mathit{i},\mathit{j}}^{\mathrm{a}\mathrm{b}\mathrm{n}}$

为第i个异常视频样本中第j个实例片段的特征。

筛选当前批次数据的正样本。首先,每个正常样本的采样数K_nor需动态匹配异常样本数K_abn。然后,按照与提取负样本相同的步骤,从正常视频特征中提取索引选中的实例片段特征

${\mathit{F}}_{\mathrm{s}\mathrm{e}\mathrm{l}}^{\mathrm{n}\mathrm{o}\mathrm{r}}$

作为正样本集合。具体公式为

(24)$ K_{\mathrm{nor}}^{i}=\left\lceil\frac{\left|F_{\mathrm{sel}}^{\mathrm{abn}}\right|}{B / 2}\right\rceil$

(25)${\mathit{S}}_{\mathrm{n}\mathrm{o}\mathrm{r}}^{\mathit{i}}$=$\underset{\mathit{j}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{s}\mathrm{o}\mathrm{r}\mathrm{t}}$(${\mathit{D}}_{\mathit{i}\mathit{j}}^{\mathrm{n}\mathrm{o}\mathrm{r}}$)[-${\mathit{K}}_{\mathrm{n}\mathrm{o}\mathrm{r}}^{\mathit{i}}$:]

(26)${\mathit{F}}_{\mathrm{s}\mathrm{e}\mathrm{l}}^{\mathrm{n}\mathrm{o}\mathrm{r}}$=${\cup }_{\mathit{i}=1}^{\mathit{B}/2}${${\mathit{F}}_{\mathit{i},\mathit{j}}^{\mathrm{n}\mathrm{o}\mathrm{r}}\left|\mathit{j}\in {\mathit{S}}_{\mathrm{n}\mathrm{o}\mathrm{r}}^{\mathit{i}}\right.$}

最后,构建均值统计对比三元组损失函数L_mean,将μ_final、

${\mathit{F}}_{\mathrm{s}\mathrm{e}\mathrm{l}}^{\mathrm{a}\mathrm{b}\mathrm{n}}$

、

${\mathit{F}}_{\mathrm{s}\mathrm{e}\mathrm{l}}^{\mathrm{n}\mathrm{o}\mathrm{r}}$

分别作为锚样本、负样本和正样本集合。具体损失函数公式为

(27)L_mean(μ_final,${\mathit{F}}_{\mathrm{s}\mathrm{e}\mathrm{l}}^{\mathrm{n}\mathrm{o}\mathrm{r}}$,${\mathit{F}}_{\mathrm{s}\mathrm{e}\mathrm{l}}^{\mathrm{a}\mathrm{b}\mathrm{n}}$)=$\frac{1}{\mathit{B}{\mathit{K}}_{\mathrm{a}\mathrm{b}\mathrm{n}}}$×$\stackrel{\mathit{B}{\mathit{K}}_{\mathrm{a}\mathrm{b}\mathrm{n}}}{\sum _{\mathit{i}=1}}$max[D(a_i-p_i)-D(a_i-n_i)+margin,0]

式(27)中:K_abn为每批次每个异常视频的采样片段数;D函数为马氏距离。

1.5 训练目标

均值统计对比损失增强后的特征F'经由线性层和Sigmoid函数构成的分类器,输出视频每个实例片段的异常分数S=s₁,s₂,…,s_t。在弱监督任务设置下,分类损失使用视频级别标签计算的二元交叉熵实现。视频级预测标签

$\hat{\mathrm{y}}$

定义为S中最高的k个异常分数的平均值。真实标签用y表示,y=0表示正常,y=1表示异常。分类损失定义为

(28)L_cls=-$\frac{1}{\mathit{B}}\stackrel{\mathit{B}}{\sum _{\mathit{i}=1}}$[y_ilg${\hat{\mathrm{y}}}_{\mathrm{i}}$+(1-y_i)lg(1-${\hat{\mathrm{y}}}_{\mathrm{i}}$)]

此外,为避免特征向量过大,引入正则化项,以降低模型复杂度,防止出现过拟合。表达式为

(29)L_nor=$\frac{1}{\mathit{B}}\stackrel{\mathit{B}}{\sum _{\mathit{i}=1}}\sqrt{\stackrel{\mathit{D}}{\sum _{\mathit{j}=1}}{\mathit{x}}_{\mathit{i}\mathit{j}}^{2}}$

本文方法的整体损失目标公式为

(30)L=L_cls+L_nor+L_mem+L_mean

2 实验

2.1 数据集和评价指标

XD-Violence数据集^[18]是一个为多模态视频异常检测设计的大规模、多场景的视频数据集,来源于监控视频、现实生活电影、体育视频等场景,涵盖虐待、爆炸、车祸、打斗、射击和骚乱6种异常事件。总时长达到217 h,包含4 754个未剪辑的视频样本并携带音频信号。训练集和测试集都包含正常和异常视频,训练集为视频级标签,测试集为帧级标签。

UCF-Crime数据集^[2]由1 900个连续、未经剪辑的监控视频组成,来源于各种场景、时间段、光照环境,包含虐待、行窃、抢夺等13种常见的异常事件。训练集和测试集都涵盖正常和异常视频,其中对1 610个训练样本进行视频级标注,对290个测试样本进行帧级标注。视频样本总时长为128 h,是弱监督视频异常检测任务的大规模数据集。

实验分别采用帧级接收者操作特征曲线(receiver operating characteristic, ROC)的曲线下面积(area under curve, AUC)和平均精度(average precision, AP)作为UCF-Crime和XD-Violence数据集的评价指标, 通过模型输出的帧级预测异常分数与帧级真实标签数据进行计算。误报率(false alarm rate, FAR)反映模型将正常视频错误识别为异常的可能性,通过测试集中所有正常视频样本计算。AP_sub和AUC_sub旨在衡量模型对异常视频的检测性能,通过测试集中所有异常视频样本计算。此外,计算开销、计算效率和参数量用于对比实验中评估模块的综合性能。

2.2 实验设置

将XD-Violence和UCF-Crime数据集的视频流解码为视频帧,统一调整至224×224空间分辨率,并将像素值归一化至[-1,1]区间。为增强数据多样性,分别采用5-crop和10-crop策略进行空间增强。通过固定时间步长将视频划分为16帧的非重叠片段,并输入Kinetics-400预训练的I3D网络模型,提取每片段1 024维的特征。数据加载器限定视频片段数为200。模型以端到端方式通过Adam优化器进行训练,betas系数为(0.9, 0.999),权重衰减系数为0.000 5,学习率为0.000 1。批大小设置为64,迭代次数为2 500。

2.3 对比实验

2.3.1 与SOTA(state-of-the-art)方法的对比

在同一实验环境下,采用默认参数和预训练特征,在两个广泛使用的基准数据集上与现有方法进行结果对比。如表1所示为本文方法和其他方法在XD-Violence数据集上的AP对比结果,本文方法的AP分数达到了83.87%,优于其他模型方法。在采用相同I3D预训练网络提取RGB特征的基线方法中,本方法相较于RTFM^[3]、CMRL^[5]、DMU^[19]和Tan等^[20]的方法分别取得了6.06%、2.57%、4.02%和1.77%的性能提升。对于采用二阶段自学习策略生成伪标签的S3R^[8]和CUPL^[21]方法,本文方法同样展现出性能优势。此外,与基于更大规模VideoSwin预训练网络提取RGB特征的MSL^[22]和MGFN^[4]方法相比,本文方法分别较其提升5.28%和3.76%。

表2所示数据进一步显示了在UCF-Crime数据集上的AUC对比结果,本文方法的AUC分数达到了86.25%,优于其他模型方法。在基于I3D特征提取的模型中,本文方法相对于RTFM^[3]、S3R^[8]、DMU^[19]和CMRL^[5]分别获得1.95%、0.26%、0.24%和0.15%的性能增益。与采用CLIP多模态对比预训练模型的OPVAD^[24]方法相比,本文方法的AUC值提升了0.2%。此外,相较于基于VideoSwin预训练特征的MSL^[22]方法,本文方法同样取得了0.63%的性能提升。

2.3.2 不同卷积方法的性能对比

为验证本文引入的动态分组卷积(DGC)模块在提升模型准确率与运算效率方面的有效性,选取三种代表性的深层卷积网络进行对比实验。其中,SST方法^[27]基于Mamba架构构建特征提取网络,MGC方法^[28]采用融入MetaFormer模块的CNN作为主干网络,DDC方法^[29]是利用空洞卷积层扩大感受野的深层卷积网络。实验结果如表3所示,本文方法在多项指标上均展现出显著优势。与SST方法相比,UCF-Crime的AUC提升0.71%,XD-Violence的AP提升1.22%。同时,模型参数量减少约83.9%,计算开销降低60.6%,充分验证了DGC模块在提高计算效率和特征表达能力方面的有效性。

2.4 消融实验

2.4.1 不同组件的有效性

为验证每个模块的有效性,通过逐步集成各组件的方式进行消融实验,结果如表4所示。其中,SW表示滑动窗口约束的动态图卷积模块,FS表示基于记忆与均值统计的特征选择增强方法。在无SW模块时,采用全连接层保持特征通道维度不变。

当仅添加DGC模块时,UCF-Crime的AUC和AUC_sub分别提升1.78%和4.86%,XD-Violence的AP和AP_sub分别提升1.41%和0.45%,验证了该模块在深层次特征提取方面的有效性。当仅添加SW模块时,UCF-Crime的AUC和AUC_sub分别提升2.23%和5.55%,XD-Violence的AP和AP_sub分别提升3.01%和0.45%,表明该模块能有效增强正常与异常视频片段边界的渐变特征表示。当同时添加DGC与SW模块时,模型性能进一步显著提升,验证了深层特征提取和局部特征增强的重要性。而仅添加FS方法时,由于缺乏对初始特征进一步处理,影响正常与异常特征的选择,导致模型性能提升有限。此外,CL方法的引入对FS方法的效果起到优化作用。最后,完整模型在两个数据集上实现了最佳性能,验证了本文提出各模块的有效性。

2.4.2 SW-DGC模块不同超参数的影响

为探究SW-DGC网络中邻域数k与滑动窗口大小w对异常检测性能的影响,设置不同的参数值组合进行消融实验,实验结果如表5所示,第1组w为无穷对应不设置滑动窗口的基准实验。鉴于XD-Violence和UCF-Crime数据集视频中异常片段所占比例存在差异^[30],实验表明SW-DGC的参数选择需适配数据集的异常分布特性。在异常比例较高的XD-Violence中,第3组(k=2,w=4)取得了最优的AP值,表明其倾向于选择小窗口与较少邻域,以聚焦密集异常的核心特征。而在异常片段较为稀疏的UCF-Crime中,第7组(k=6,w=12)取得了最优的AUC,表明其更需要整合大范围内的异常特征。

2.4.3 不同损失项的有效性

鉴于本文提出的特征选择方法所筛选的样本需通过三元组损失反向传播优化网络,因此损失函数项带来的模型性能提升可证明特征选择方法的有效性。为此,对整体损失目标中的各损失项进行消融实验,结果如表6所示。其中,记忆增强对比三元组损失函数和均值统计对比三元组损失函数分别记为L_mem和L_mean。当添加L_nor正则化损失后,UCF-Crime数据集AUC提升至85.23%,XD-Violence数据集AP达到80.66%,表明正则化处理能改善模型性能。在此基础上引入L_mem,数据集的两项指标实现显著提升,体现出记忆机制筛选出的正负样本对特征区分能力的增强作用。当进一步添加L_mean时,所有损失项共同作用,UCF-Crime数据集AUC达到86.20%,XD-Violence数据集AP提升至83.87%,表明依赖均值统计筛选出的正负样本能进一步增强判别特征表示。

2.5 可视化分析

2.5.1 记忆与均值统计增强下样本对特征距离变化

为验证所提特征选择策略能有效筛选锚点、正样本和负样本,并通过三元组损失约束锚点吸引正样本、排斥负样本,可视化了XD-Violence和UCF-Crime测试集上样本对特征距离的概率密度分布变化,如图5所示。绿色区域表示锚点与正样本距离,红色区域表示锚点与负样本距离。虚线表示由记忆统计方法选择样本并经L_mem损失约束后的分布,实线表示在记忆增强特征基础上,进一步由均值统计方法选择样本并经L_mean损失约束后的分布。由图5可见,绿色区域与红色区域被有效分隔,且两组分布的间隔进一步增大,表明所提出的特征选择策略能有效增强模型的判别性特征表示。

2.5.2 异常分数可视化

为了直观展示本文方法在提升模型性能方面的效果,选取UCF-Crime和XD-Violence测试集中的视频样本,基于异常分数可视化方法^[31]进行实验,结果如图6所示。

在图6(a)、图6(d)和图6(e)中,蓝色曲线在橙色背景区域内的异常预测分数均高于阈值0.5,而在正常区域则稳定低于0.5。这一表现优于基线模型,表明改进模型在确保及时检测异常的同时,有效减少了正常区域的误报。图6(b)显示,在异常区域的边界处,蓝色曲线变化更为迅速,有效区分异常与正常行为的边界,从而更准确地识别异常并避免误报。此外,图6(c)和图6(f)展示了对正常视频的预测结果,其中蓝色曲线始终维持在更低水平,进一步表明模型能有效识别正常视频,降低了误报概率。

3 结论

提出了一种联合时序记忆与均值统计增强特征选择方法,通过学习视频样本的全局统计特性,存储全局正常模式与均值统计量作为两种锚点,以此为基准选择正负样本。同时构建针对性的三元组损失函数,通过约束正负样本分离以增强模型的判别性特征表示。此外,针对正常与异常实例间的模糊边界,设计了滑动窗口约束的动态图卷积模块,强化渐变过程中局部异常特征的表征能力。在两个数据集上的实验表明,该样本选择策略能有效选择关键样本特征,显著提升模型的检测准确率。未来研究将深入探索统计特性中的其他锚点类型,并进一步研究锚点与正负样本间的复杂关系。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Wu P, Pan C Y, Yan Y T, et al. Deep learning for video anomaly detection: a review[C]// IEEE Transactions on Neural Networks and Learning Systems(TNNLS). New York: IEEE, 2024: 3647892.

[2]	Sultain W, Chen C, Shah M. Real-world anomaly detection in surveillance videos[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Los Alamitos: IEEE Computer Society Press, 2018: 6479-6488.

[3]	Tian Y, Pang G, Chen Y, et al. Weakly-supervised video anomaly detection with robust temporal feature magnitude learning[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 4975-4986.

[4]	Chen Y, Liu Z, Zhang B, et al. MGFN: magnitude-contrastive glance-and-focus network for weakly-supervised video anomaly detection[J]. Proceedings of the AAAI Conference on ArtificialIntelligence, 2023, 37(1): 387-395.

[5]	Cho M A, Kim M, Hwang S, et al. Look around for anomalies: weakly-supervised anomaly detection via context-motion relational learning[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 12137-12146.

[6]	Li G, Cai G, Zeng X, et al. Scale-aware spatio-temporal relation learning for video anomaly detection[C] // European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 333-350.

[7]	张奕博, 张雅丽, 帅勃宇. 交叉融合特征的夜间车辆异常检测算法[J]. 科学技术与工程, 2024, 24(27): 11869-11877.

[8]	Zhang Yibo, Zhang Yali, Shuai Boyu. Research on night anomal vehicle detection based on FaFPN[J]. Science Technology and Engineering, 2024, 24(27): 11869-11877.

[9]	Wu J C, Hsieh H Y, Chen D J, et al. Self-supervised sparse representation for video anomaly detection[C] // European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 729-745.

[10]	Pu Y, Wu X, Yang L, et al. Learning prompt-enhanced context features for weakly-supervised video anomaly detection[J]. IEEE Transactions on Image Processing, 2024, 33: 4923-4936.

[11]	张琳, 陈兆波, 马晓轩, 等. 无监督和弱监督视频异常检测方法回顾与前瞻[J]. 科学技术与工程, 2024, 24(19): 7941-7955.

[12]	Zhang Lin, Chen Zhaobo, Ma Xiaoxuan, et al. Review of unsupervised and weakly supervised video anomaly detection methods[J]. Science Technology and Engineering, 2024, 24(19): 7941-7955.

[13]	赵元棣, 胡译心, 汤盛家, 等. 基于飞行轨迹预测的数据异常检测与清洗方法[J]. 科学技术与工程, 2025, 25(26): 11398-11406.

[14]	Zhao Yuandi, Hu Yixin, Tang Shengjia, et al. Data anomaly detection and cleaning method based on flight trajectory prediction[J]. Science Technology and Engineering, 2025, 25 (26): 11398-11406.

[15]	丁宸轲, 郑胜, 贺俊杰, 等. 基于动态多元状态估计的核电厂主泵异常检测方法[J]. 科学技术与工程, 2025, 25(27): 11614-11621.

[16]	Ding Chenke, Zheng Sheng, He Junjie, et al. Research on anomaly detection method for main pump in nuclear power plants based on dynamic multivariate state estimation[J]. Science Technology and Engineering, 2025, 25(27): 11614-11621.

[17]	周光荣, 杨森权, 郑胜, 等. 基于NARX的蒸汽发生器液位异常检测方法[J]. 科学技术与工程, 2024, 24(34): 14672-14678.

[18]	Zhou Guangrong, Yang Senquan, Zheng Sheng, et al. Research on anomaly detection of steam generator water level based on NARX[J]. Science Technology and Engineering, 2024, 24(34): 14672-14678.

[19]	Chen Y, Dai X, Liu M, et al. Dynamic convolution: attention over convolution kernels[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2020: 11030-11039.

[20]	Yang Z, Zhang T, Bozchalooi I S, et al. Memory-augmented generative adversarial networks for anomaly detection[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 33(6): 2324-2334.

[21]	Luo W, Zhang T, Yang W, et al. Action unit memory network for weakly supervised temporal action localization[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 9969-9979.

[22]	Zhou Y, Yang P, Qu Y, et al. AnoOnly: Semi-supervised anomaly detection with the only loss on anomalies[J]. Expert Systems with Applications, 2025, 262: 125597.

[23]	Wu P, Liu J, Shi Y, et al. Not only look, but also listen: learning multimodal violence detection under weak supervision[C]// Proceedings of the European Conference on Computer Vision (ECCV). Glasgow: Springer, 2020: 322-339.

[24]	Zhou H, Yu J, Yang W. Dual memory units with uncertainty regulation for weakly supervised video anomaly detection[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2023, 37(3): 3769-3777.

[25]	Tan W, Yao Q, Liu J. Overlooked video classification in weakly supervised video anomaly detection[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2024: 202-210.

[26]	Zhang C, Li G, Qi Y, et al. Exploiting completeness and uncertainty of pseudo labels for weakly supervised video anomaly detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 16271-16280.

[27]	Li S, Liu F, Jiao L. Self-training multi-sequence learning with transformer for weakly supervised video anomaly detection[J]. Proceedings of the AAAI Conference on Artificial Intelligence. 2022, 36(2): 1395-1403.

[28]	Karim H, Doshi K, Yilmaz Y. Real-time weakly supervised video anomaly detection[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2024: 6848-6856.

[29]	Wu P, Zhou X, Pang G, et al. Open-vocabulary video anomaly detection[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2024: 18297-18307.

[30]	Wu P, Liu J. Learning causal temporal relation and feature discrimination for anomaly detection[J]. IEEE Transactions on Image Processing, 2021, 30: 3513-3527.

[31]	Park S, Kim H, Kim M, et al. Normality guided multiple instance learning for weakly supervised video anomaly detection[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2023: 2665-2674.

[32]	Xu X, Chen C, Liang Y, et al. SST: multi-scale hybrid mamba-transformer experts for long-short range time series forecasting[J]. arXiv Preprint, arXiv: 2404. 14757, 2024.

[33]	Kang B, Moon S, Cho Y, et al. Metaseg: Metaformer-based global contexts-aware network for efficient semantic segmentation[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2024: 434-443.

[34]	Salehi A, Balasubramanian M. DDCNet: deep dilated convolutional neural network for dense prediction[J]. Neurocomputing, 2023, 523: 116-129.

[35]	Zhou Y, Qu Y, Xu X, et al. Batchnorm-based weakly supervised video anomaly detection[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2024, 34(12): 13642-13654.

[36]	Chen W, Ma K T, Yew Z J, et al. TEVAD: improved video anomaly detection with captions[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 5549-5559.

基金资助

国家自然科学基金(62076246)

中央高校基本科研业务费专项(2024JKF11)

PDF (6283KB)

访问

被引

详细

导航

Received	Published	Revised
2025-08-10	2026-07-08	2025-12-16
Online Date
2026-08-06

摘要