一种融合动态令牌稀疏化与跨路径注意力的双路径视频行为识别方法

罗竣鑫 ,  王龙业 ,  曾晓莉 ,  邓兴宇 ,  兰新

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (31) :13546-13554

PDF (5500KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (31) :13546-13554 DOI: 10.12404/j.issn.1671-1815.2508424
论文:自动化技术、计算机技术

一种融合动态令牌稀疏化与跨路径注意力的双路径视频行为识别方法

作者信息 +

Dual-path Video Action Recognition Method Fusing Dynamic Token Sparsification and Cross-path Attention

Author information +
文章历史 +

摘要

为了提升 SlowFast 网络在行为识别任务中的计算效率与跨路径特征交互能力,在原有双路径结构的基础上引入视频动态稀疏 token 选择模块(video dynamic sparse token,VDST)和双向门控交叉注意力模块(bidirectional gated cross-attention module,Bi-CAM),在快路径中自适应筛选关键时空区域并在慢-快路径之间建立细粒度双向语义融合机制,研究了改进 SlowFast 在计算复杂度与识别性能之间的权衡关系。结果表明:VDST 模块能够有效压缩冗余特征计算,在显著降低 FLOPs(floating point operations)的情况下保持模型精度;Bi-CAM 模块提升了双路径之间的语义交互质量,使动作表征更加完整;两模块结合后的改进模型在 UCF101数据集上取得 95.5% 的 top-1 精度,仅需 33.6 GFLOPs(giga floating point operations)。可见,提出的多模块融合 SlowFast 框架能够在保持高识别精度的同时显著提升计算效率,为构建高效视频理解模型提供了可行方案。

Abstract

To enhance the computational efficiency and cross-path feature interaction of the SlowFast network in action recognition tasks, a video dynamic sparse token (VDST) selection module and a bidirectional gated cross-attention module (Bi-CAM) are incorporated into the original dual-path framework. By adaptively selecting key spatiotemporal regions in the fast pathway and establishing fine-grained bidirectional semantic fusion between the slow and fast pathways, the trade-off between computational complexity and recognition performance in the improved SlowFast architecture is investigated. It is shown that redundant feature computation is effectively reduced and model accuracy is maintained by the VDST module while FLOPs(floating point operations) are significantly lowered; semantic interaction across pathways is enhanced and more comprehensive action representations are obtained by the Bi-CAM module; and a top-1 accuracy of 95.5% on the UCF101 dataset with only 33.6 GFLOPs(giga floating point operations) is achieved by the combined model. It is demonstrated that computational efficiency is substantially improved and high recognition accuracy is preserved by the proposed multi-module enhanced SlowFast framework, providing a feasible solution for efficient video understanding.

Graphical abstract

关键词

视频行为识别 / SlowFast 网络 / 动态稀疏 token / 门控机制 / 双向交叉注意力

Key words

video action recognition / SlowFast network / dynamic sparse Tokens / gating mechanism / bidirectional cross-attention

引用本文

引用格式 ▾
罗竣鑫, 王龙业, 曾晓莉, 邓兴宇, 兰新. 一种融合动态令牌稀疏化与跨路径注意力的双路径视频行为识别方法[J]. 科学技术与工程, 2026, 26(31): 13546-13554 DOI:10.12404/j.issn.1671-1815.2508424
LUO Jun-xin, WANG Long-ye, ZENG Xiao-li, DENG Xing-yu, LAN Xin. Dual-path Video Action Recognition Method Fusing Dynamic Token Sparsification and Cross-path Attention[J]. Science Technology and Engineering, 2026, 26(31): 13546-13554 DOI:10.12404/j.issn.1671-1815.2508424

登录浏览全文

4963

注册一个新账户 忘记密码

随着视频数据在智能监控[1]、自动驾驶[2]和人机交互[3]等领域的快速增长,高效提取有用信息的能力已经成为计算机视觉研究的主要焦点。视频动作识别是该领域的核心任务[4],它不仅要求模型理解单个帧内的空间特征,而且还要求模型理解帧与帧之间的时间相关性和动态变化。深度学习模仿人脑通过多条感知路径处理外部信息[5]。在大多数情况下,视觉是输入的主要来源。然而,当视觉输入受到影响时,人类依赖于其他感官,如听觉、触觉,甚至嗅觉来感知周围环境。例如,视障人士可以通过解读脚步、风向或地面回声来检测附近的障碍物。这种多感官互补的现象反映了大脑跨不同信息渠道的整合和补偿能力。
这一发现启发了本文的研究思路:如果深度学习模型也可以使用多条路径来捕获任务的不同维度特征,并有效地融合这些维度,那么它可能会在保持稳健性的同时极大地减少冗余[6]。当一项任务在传统视角下看起来很复杂时,改变视角往往会带来突破,就像傅里叶变换将时域信号变换到频域以揭示周期性结构一样[7]。类似地,在视频动作识别中,模型可能会受益于一种分散的、选择性的处理方法,这种方法侧重于信息最丰富的部分[8],而不是“从头到尾观看整个视频”。近来相关FastVID[9]已经在视频大语言模型中应用了基于动态密度的令牌剪枝,这证明了结构化稀疏在有效获取远程视频语义方面的有效性。
在双路径框架中,SlowFast网络已成为建模时空特征的强大方法。它使用“慢路径”来捕捉语义上下文,并使用“快路径”来建模局部运动动力学。然而,仍然存在两个挑战:①快速路径统一处理所有帧和区域,导致显著的计算冗余;②两条路径之间的横向连接相对简单,无法实现深层语义交互和引导。
针对这些问题,提出一种增强型双路径视频识别架构,该架构集成了两个新的模块:视频动态稀疏令牌选择(video dynamic sparse token,VDST)机制和双向门控交叉注意模块(bidirectional gated cross-attention module,Bi-CAM)。VDST模块只选择最具区分性的时空区域模拟人类的视觉注意,从而显著降低计算成本。受人脑跨模式整合的启发,Bi-CAM模块实现慢速和快速通道之间的双向信息流。此外,融合强度通过门控机制进行自适应调节,增强路径间相互作用时的语义选择性。

1 国内外研究现状

近年来,基于三维卷积神经网络(3D convolutional neural network,3D CNN)的视频理解方法取得了显著进展。Tran等[10]提出的具有代表性的卷积三维网络(convolution 3D,C3D)。通过利用3D核将传统的2D核卷积扩展到时间域,从而能够从连续的视频帧同时提取空间和时间特征。但该体系存在计算参数开销大、缺乏细粒度动作结构捕获能力等问题。

随后,Carreira等[11]引入了I3D,它成功地将初始架构从图像识别“膨胀”到时间域。利用大规模的Kinetics数据集进行预训练,I3D显著提高了动作识别的准确性,并成为现场的强大基线。但其庞大的模型尺寸和高昂的培训成本给实际部署带来了重大挑战。为了缓解这些限制,Tran等[12]提出了R(2+1)D,它将标准的3D卷积分解成单独的2D空间卷积和1D时间卷积。这种分解不仅减少了参数的数量,而且提高了模型的表达能力和优化效率,具有更好的收敛性和可扩展性。

除了3D卷积结构之外,如时间段网络(temporal segment networks,TSN)之类的替代方法采用稀疏时间采样来捕获长期相关性,而不会显著增加计算开销。然而,TSN独立地对待每个采样的帧,因此忽略了帧间的时间交互。为了解决这个问题,时间交错网络(temporal interlacing network,TIN)[13]在特征空间内引入了轻量级的时间移位操作,从而在保持效率的同时增强了时间建模能力,使其特别适合部署在边缘设备上。尽管TSN和TIN都具有计算优势,但它们基本上都建立在2D CNN主干上,这固有地限制了它们捕获细粒度时间动力学和执行有效的多尺度时间融合的能力。在这些发展的基础上,Feichtenhofer等[14]提出了SlowFast网络,引入了双路径体系结构。这种多尺度时态建模策略在保持较高推理速度的同时,显著提高了识别性能。SlowFast在Kinetics-400和AVA(atomic visual actions)[15]等几个主要基准测试中获得了最先进的SOTA(state-of-the-art)结果,并已成为视频动作识别的主导框架。

另一方面,Transformer架构和注意机制最近被引入视频分析,更有效地对远程时间依赖进行建模。Timesformer[16]是首批将视觉转换器(vision transformer,VIT)应用于视频识别的作品之一。通过将时空注意力分解为单独的空间和时间模块,它在保持有竞争力性能的同时显著降低了计算成本。在此基础上,在Video Swin Transformer[17]中引入具有转移窗口注意力的分层体系结构,将最初的Swin设计从图像域扩展到视频理解任务。该模型在Kinetics-400和Something-Something V2等数据集上实现了最先进的性能,从此成为许多下游视频任务的主干模型,但其仍然依赖密集的自我注意机制,其二次方的复杂性在内存消耗和计算效率方面都构成了巨大的挑战。

为了应对这些挑战,研究人员探索了各种稀疏表示策略,目的是在不牺牲性能的情况下提高效率。例如,HaltingVT[18]引入了一种自适应令牌停止机制,该机制动态终止对信息量较小的令牌的处理,从而以最小的精度降级实现高效的视频识别。基于引导式剪枝的思想,MADTP(multimodal alignment-guided dynamic token pruning)[19]提出了一种多通道对齐驱动的动态令牌修剪框架,其中令牌选择由不同通道之间的语义一致性来指导,强调了跨通道和跨路径注意机制的有效性。在互补的方向上,HoliTom(Holistic Token Merging)[20]从融合的角度解决了稀疏化问题,提出了一种将外部暂停与内部令牌集成相结合的整体令牌合并策略,显著降低了长序列视频场景中的计算成本。

2 本文网络模型

2.1 模型框架

本文中改进的 SlowFast 框架包含两条在不同时间分辨率下运行的路径:一条低帧率的慢路径用于捕捉高级语义信息,另一条高帧率的快路径用于建模细粒度的运动动态。为了提升效率和路径间的交互性,在架构中引入了两个关键模块。①VDST(视频动态稀疏)模块,用于自适应地稀疏化 Token;②Bi-CAM(双向门控交叉注意力模块),用于轻量级的语义融合。本文提出模型的整体架构如图1所示。

快速路径与视频动态稀疏:快速路径首先提取初步的时空特征。这些特征随后被分割成不重叠的块,并通过轻量级的基于 Conv1D 的重要性预测器进行处理。使用 Gumbel top-K[21]采样,仅选择最具信息量的Token 进行后续计算,从而大大减少冗余计算。稀疏注意力掩码被上采样并与全局上下文融合,以恢复完整的特征形状,同时不丢失关键的运动信息。

慢速路径:慢速路径以较低的时间速率处理原始输入,提取具有高通道容量的语义丰富特征。它作为语义对齐的稳定参考。

跨路径融合与 Bi-CAM:在多个层次阶段,应用 Bi-CAM 来促进慢速和快速路径特征之间的双向交互。两条路径的特征被投影到共享的嵌入空间,并基于 L2 范数进行Token 层面的 top-K 选择。接着,应用双重多头注意力机制:慢路径关注快速路径,反之亦然。最终生成的注意力图通过门控函数进行调节,并通过残差连接与原始输入融合。

该模型通过动态选择重要区域进行计算,并允许两条路径之间自适应的双向融合,从而实现高效且语义丰富的时空建模。最后,来自两条路径的增强特征被融合并传递通过分类头,生成最终的预测得分。

2.2 视频动态稀疏模块

在原始的 SlowFast 框架中,快速路径接收密集采样的视频帧,以捕捉细粒度的时间运动。然而,由于许多视频帧中存在较高的冗余,使得过度的计算开销和内存消耗。在现实世界的视频数据中,运动信息往往是不均匀分布的:某些帧包含丰富的动态信息,而另一些帧则对动作语义贡献较少。为了解决这一低效问题,提出了视频动态稀疏(video dynamic sparse,VDS)模块。与如SDTP(saliency-driven dynamic token pruning)[22]等方法不同,后者利用显著性图进行层次化修剪,引入了一种轻量级、可学习的Token 稀疏机制用于快速路径。该模块动态选择重要的时空区域,同时丢弃信息较少的区域,从而减少计算开销并增强对运动的敏感性。该模块结构如图2 所示。

(1)特征提取:采用轻量级3D卷积方法提取语义时空特征。即

$\mathit{x}\mathit{\text{'}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}3\mathrm{D}\left(\mathit{x}\right)\in {\mathrm{R}}^{\mathrm{B}\times \mathrm{C}\mathit{\text{'}}\times \mathrm{T}\times \mathrm{H}\times \mathrm{W}},\mathit{ }\mathit{C}\mathit{\text{'}}=2\mathit{C}$

式(1)中:x为输入特征矩阵;x'为输出的时空特征矩阵;B为批次大小(batch-size),即一次处理的样本数量;C'为输出特征的通道数;C为输入特征的通道数);T为时间维度;H为高度;W为宽度。

(2) 令牌化:每个帧被划分成大小为p×p的非重叠块,产生令牌。即

$\left\{\begin{array}{l}\mathit{T}=\mathrm{U}\mathrm{n}\mathrm{f}\mathrm{o}\mathrm{l}\mathrm{d}\left(\mathit{x}\mathit{\text{'}}\right)\in {\mathrm{R}}^{\mathrm{B}\times \mathrm{N}\times \left({\mathrm{p}}^{2}\mathit{C}\mathit{\text{'}}\right)}\\ \mathit{N}=\mathit{T}\frac{\mathit{H}}{\mathit{p}}\frac{\mathit{W}}{\mathit{p}}\end{array}\right.$

(3) 令牌评分:Conv1D层和线性层预测每个令牌的重要性分数。即

$\mathit{s}=\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}\left[\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}1\mathrm{D}\right(\mathit{T}\left)\right]\in {\mathrm{R}}^{\mathrm{B}\times \mathrm{N}}$

式(3)中:s为各令牌对应的重要性得分向量;Linear(·)表示全连接线性层算子。

(4)通过Gumbel Softmax进行top-K选择:为了动态选择信息性令牌,使用了Gumbel top-K技巧。即

$\begin{array}{l}\mathit{m}=\mathrm{G}\mathrm{u}\mathrm{m}\mathrm{b}\mathrm{e}\mathrm{l}\mathrm{T}\mathrm{o}\mathrm{p}\mathit{K}(\mathit{s},\mathit{k}=[\mathit{N}·\mathit{r}\left]\right),\\ \mathit{ }\mathit{ }\mathit{m}\in {\left\{\mathrm{0,1}\right\}}^{\mathit{B}\times \mathit{N}}\end{array}$

式(4)中:r∈(0,1)为保持比,控制稀疏性;GumbelTopK(·)表示GumbeltopK 随机采样算子。

(5)稀疏掩码上采样:对二进制掩码m进行整形和上采样,以形成密集的时空掩码。即

$\mathit{M}\in {\mathrm{R}}^{\mathrm{B}\times 1\times \mathrm{T}\times \mathrm{H}\times \mathrm{W}}$

(6)与全局上下文融合:最终输出保留形状,但仅保留选定的重要区域,而信息量较少的区域填充全局上下文。即

$\left\{\begin{array}{l}{\mathit{x}}_{\mathit{o}\mathit{u}\mathit{t}}=\mathit{x}\mathit{M}+\stackrel{-}{\mathit{x}}(1-\mathit{M})\\ \stackrel{-}{\mathit{x}}=\mathrm{G}\mathrm{l}\mathrm{o}\mathrm{b}\mathrm{a}\mathrm{l}\mathrm{A}\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}\left(\mathit{x}\right)\end{array}\right.$

式(6)中:$\stackrel{-}{\mathit{x}}$为全局上下文特征矩阵。

该模块通过动态地关注关键的时空Token,有效减少了冗余计算,同时确保原始输入的维度不变,从而大大提升了计算效率。它能够在不损失性能的情况下,增强模型的语义表达能力,特别是在捕捉重要的运动特征时。通过自适应地选择具有显著信息量的Token,该模块优化了计算资源的使用,同时避免了不必要的处理开销。此外,该设计保证了与后续卷积层的兼容性,使得整个网络的结构更加高效、灵活。模块输出特征的可视化效果如图3 所示,展示了该机制如何在保持信息完整性的同时,有效去除不相关的时空特征。

2.3 双向交叉注意模块

为了增强 Slow 和 Fast 路径之间的特征交互,提出一种轻量级的双向门控交叉注意力模块(Bi-CAM),用以替代传统的横向连接。在骨干网络的每个阶段,Bi-CAM 将来自 Slow 和 Fast 路径的中间特征投影到一个统一的嵌入空间中。接着,Bi-CAM 采用查询-键-值(Q-K-V)注意力机制,其中两条路径作为相互的 Q-K-V 对,通过这种方式实现双向的语义对齐和增强,从而促进了路径间的深度交互。该模块的结构如图4 所示。

通过引入 Bi-CAM,模型能够更精细地融合来自两条路径的信息,确保慢速路径和快速路径之间的语义对齐更加精确。与传统的横向连接方式相比,Bi-CAM 不仅能够提高特征融合的质量,还能够在保持计算效率的同时,增强模型的鲁棒性和性能。双向交互的设计使得每一条路径都能在处理过程中充分利用来自另一路径的重要信息,从而提升整体的视频理解能力。

(1) 线性投影:使用1×1×1卷积将慢径和快径特征映射到共享嵌入空间,具体公式为

$\left\{\begin{array}{l}{\mathit{Q}}_{\mathrm{s}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{1\times 1\times 1}\left({\mathit{X}}_{\mathrm{s}}\right)\in {\mathrm{R}}^{\mathrm{B}\times {\mathrm{C}}_{\mathit{e}}\times {\mathrm{T}}_{\mathit{s}}\times {\mathrm{H}}_{\mathit{s}}\times {\mathrm{W}}_{\mathit{s}}}\\ {\mathit{Q}}_{\mathrm{f}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{1\times 1\times 1}\left({\mathit{X}}_{\mathrm{f}}\right)\in {\mathrm{R}}^{\mathrm{B}\times {\mathrm{C}}_{\mathit{e}}\times {\mathrm{T}}_{\mathit{f}}\times {\mathrm{H}}_{\mathit{f}}\times {\mathrm{W}}_{\mathit{f}}}\end{array}\right.$

式(7)中:Xs与Xf分别为慢路径输入特征矩阵与快路径输入特征矩阵;Qs与Qf分别为慢路径的查询、键、值矩阵与快路径的查询、键、值矩阵;Ce为特征通道数。

(2) 标记化和top-K选择:将时空嵌入扁平化为标记,并根据其L2范数分数选择top-K标记。表达式为

$\left\{\begin{array}{l}{\mathit{T}}_{\mathit{s}}=\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}\left({\mathit{Q}}_{\mathit{s}}\right)\in {\mathrm{R}}^{\mathrm{B}\times {\mathrm{N}}_{\mathit{s}}\times {\mathrm{C}}_{\mathit{e}}},\mathit{ }{\mathit{N}}_{\mathrm{s}}={\mathit{T}}_{\mathrm{s}}{\mathit{H}}_{\mathrm{s}}{\mathit{W}}_{\mathrm{s}}\\ \mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{\mathrm{s}}\left(\mathit{i}\right)=\Vert {\mathit{T}}_{\mathit{s}}\left(\mathit{i}\right){\Vert }_{2},\mathit{ }{\mathit{K}}_{\mathit{s}}=\mathrm{t}\mathrm{o}\mathrm{p}{\mathit{K}}_{{\mathit{k}}_{\mathrm{s}}}\left(\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{\mathrm{s}}\right)\\ {\mathit{T}}_{\mathit{s},\mathit{t}\mathit{o}\mathit{p}\mathrm{K}}={\mathit{T}}_{\mathrm{s}}[:,{\mathit{K}}_{\mathrm{s}},:]\in {\mathrm{R}}^{\mathrm{B}\times {\mathrm{k}}_{\mathit{s}}\times {\mathrm{C}}_{\mathit{e}}}\end{array}\right.$

式(8)中:‖·‖2表示L2范数;topKks(·)表示基于 L2 范数慢路径的 topK 令牌筛选算子。

反之,快速路径也是相同的。

(3)双向交叉关注:在选中的top-K令牌之间进行双向多头关注,相关公式为

$\left\{\begin{array}{l}{\mathit{A}}_{\mathit{s}}=\mathrm{M}\mathrm{H}\mathrm{A}({\mathit{T}}_{\mathit{s},\mathit{t}\mathit{o}\mathit{p}\mathrm{K}},{\mathit{T}}_{\mathit{f},\mathit{t}\mathit{o}\mathit{p}\mathrm{K}},{\mathit{T}}_{\mathit{f},\mathit{t}\mathit{o}\mathit{p}\mathrm{K}})\in {\mathrm{R}}^{\mathrm{B}\times {\mathrm{k}}_{\mathit{s}}\times {\mathrm{C}}_{\mathit{e}}}\\ {\mathit{A}}_{\mathit{f}}=\mathrm{M}\mathrm{H}\mathrm{A}({\mathit{T}}_{\mathit{f},\mathit{t}\mathit{o}\mathit{p}\mathrm{K}},{\mathit{T}}_{\mathit{s},\mathit{t}\mathit{o}\mathit{p}\mathrm{K}},{\mathit{T}}_{\mathit{s},\mathit{t}\mathit{o}\mathit{p}\mathrm{K}})\in {\mathrm{R}}^{\mathrm{B}\times {\mathrm{k}}_{\mathit{f}}\times {\mathrm{C}}_{\mathit{e}}}\end{array}\right.$

式(9)中:As与Af分别为快路径向慢路径传递的注意力输出特征与慢路径向快路径传递的注意力输出特征,MHA(·)为多头注意力计算算子。

(4)注意力图重建:对注意力输出进行平均,并将其重新塑形为原始的时空维度,相关公式为

$\left\{\begin{array}{l}{\mathit{M}}_{\mathit{s}}=\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}\left[\frac{1}{{\mathit{k}}_{\mathrm{s}}}\sum _{\mathit{i}=1}^{{\mathit{k}}_{\mathrm{s}}}{\mathit{A}}_{\mathit{s}}\left(\mathit{i}\right)\right]\in {\mathrm{R}}^{\mathrm{B}\times {\mathrm{C}}_{\mathit{e}}\times {\mathrm{T}}_{\mathit{s}}\times {\mathrm{H}}_{\mathit{s}}\times {\mathrm{W}}_{\mathit{s}}}\\ {\mathit{M}}_{\mathit{f}}=\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{e}\left[\frac{1}{{\mathit{k}}_{\mathrm{f}}}\sum _{\mathit{i}=1}^{{\mathit{k}}_{\mathrm{f}}}{\mathit{A}}_{\mathit{f}}\left(\mathit{i}\right)\right]\in {\mathrm{R}}^{\mathrm{B}\times {\mathrm{C}}_{\mathit{e}}\times {\mathrm{T}}_{\mathit{f}}\times {\mathrm{H}}_{\mathit{f}}\times {\mathrm{W}}_{\mathit{f}}}\end{array}\right.$

式(10)中:Ms与Mf分别为重构后的慢路径注意力特征矩阵与重构后的快路径注意力特征矩阵。

(5)门控机制:通过全局平均池化和卷积层应用通道级门控,相关公式为

$\left\{\begin{array}{l}{\mathit{G}}_{\mathit{s}}=\mathit{\sigma }\left[\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\right(\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left\{\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\right[\mathrm{A}\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}3\mathrm{D}\left({\mathit{Q}}_{\mathrm{s}\mathrm{l}\mathrm{o}\mathrm{w}}\right)\left]\right\}\left)\right]\\ {\mathit{G}}_{\mathit{f}}=\mathit{\sigma }\left[\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\right(\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left\{\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\right[\mathrm{A}\mathrm{v}\mathrm{g}\mathrm{P}\mathrm{o}\mathrm{o}\mathrm{l}3\mathrm{D}\left({\mathit{Q}}_{\mathrm{f}\mathrm{a}\mathrm{s}\mathrm{t}}\right)\left]\right\}\left)\right]\end{array}\right.$

式(11)中:Gs与Gf分别为慢路径通道门控权重向量与快路径通道门控权重向量;σ为Sigmoid 激活函数。

(6)残差融合输出:通过拼接、卷积和残差加法将门控注意力图与原始特征进行融合,相关公式为

$\left\{\begin{array}{l}{\mathit{X}}_{\mathit{s}}^{\mathit{o}\mathit{u}\mathit{t}}={\mathit{X}}_{\mathit{s}}+\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{1\times 1\times 1}\left(\right[{\mathit{X}}_{\mathit{s}},{\mathit{G}}_{\mathit{s}}\mathit{☉}{\mathit{M}}_{\mathit{s}}\left]\right)\\ {\mathit{X}}_{\mathit{f}}^{\mathit{o}\mathit{u}\mathit{t}}={\mathit{X}}_{\mathit{f}}+\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{1\times 1\times 1}\left(\right[{\mathit{X}}_{\mathit{f}},{\mathit{G}}_{\mathit{f}}\mathit{☉}{\mathit{M}}_{\mathit{f}}\left]\right)\end{array}\right.$

式(12)中:☉ 表示逐元素相乘;[,·] 表示沿通道维度进行拼接。

3 实验结果与分析

所有实验均在 Windows 10 操作系统上进行,配备了Intel i5-12400F 处理器、NVIDIA GeForce RTX 4060Ti GPU(16 GB VRAM)和 32 GB 内存。使用的深度学习框架为 PyTorch 1.13.1。所有模型均基于 MMAction2 框架实现,实验在一致的训练设置下进行,以比较原始 SlowFast 模型与本文提出的改进模型。损失函数采用交叉熵损失,适用于多分类任务。初始学习率设置为 0.001,动量为 0.9,输入数据为 RGB 视频帧。为了评估本文方法的鲁棒性和泛化能力,实验分别在两个广泛使用的基准数据集上进行:UCF101 和 HMDB51。UCF101 包含 101 类日常动作,是一个标准的小规模动作识别数据集。相比之下,HMDB51 更侧重于复杂的运动模式和背景变化,因此更适合用于评估时空建模能力。

3.1 数据集

UCF101 [23]数据集是一个广泛采用的人类动作识别基准数据集,首次由 Soomro 等提出。它包含 13 320 个视频片段,分布在 101 个动作类别中,如“篮球扣篮”“俯卧撑”“悠悠球”和“打字”等。这些视频收集自 YouTube,代表了具有显著背景、视角、尺度、摄像机运动和光照变化的现实场景。数据集分为3种标准的训练/测试拆分,性能通常以这些拆分的平均准确率报告。由于其多样性以及呈现的各种运动模式,UCF101 被认为是评估模型在日常生活和体育相关动作中的适用性和复杂性的测试平台。它挑战模型有效地从 RGB 输入中提取空间语义和时间动态。

HMDB51[24] 数据集是另一个标准基准,用于提供更具挑战性的环境来评估视频理解模型。该数据集包含 6 766 个视频片段,分为 51 个人体动作类别,包括“拍手”“跳跃”“微笑”“投掷”和“踢腿”等。数据集来源多样,包括电影、YouTube 视频和公共数据库,与 UCF101 相比,它具有更复杂的时间结构和不受约束的背景。HMDB51 特别具有挑战性的是存在严重的摄像机运动、遮挡、低视频质量和杂乱的背景,这些因素使得它成为模型时空推理和对噪声及伪影鲁棒性的强大测试平台。与 UCF101 类似,HMDB51 也提供了三种训练/测试拆分,最终结果会在所有拆分上进行平均,以确保公平比较。

UCF101 和 HMDB51 共同提供了一个互补的评估框架:UCF101 强调数据集的多样性和广泛适用性,而 HMDB51 则用于测试模型在嘈杂、现实世界条件下的表现能力。在这两个数据集上的评估确保了对模型在实际视频理解场景中的准确性、鲁棒性和计算效率的全面评估。

3.2 评价指标

为了全面评估模型的性能,采用两个核心指标。

(1)top-1 准确率:它衡量测试样本中,模型预测的 top-1 标签与真实标签匹配的比例。其定义为

$\mathit{t}\mathit{o}\mathit{p}-1\mathrm{ }\mathrm{准}\mathrm{确}\mathrm{率}=\frac{1}{\mathit{N}}\sum _{\mathit{i}=1}^{\mathit{N}}\mathrm{I}\mathrm{I}({\hat{\mathrm{y}}}_{\mathrm{i}}={\mathit{y}}_{\mathit{i}})$

式(13)中:N为测试样本的数量;${\hat{\mathrm{y}}}_{\mathrm{i}}$ 为预测标签;yi 为真实标签,II(·) 为指示函数,当条件成立时返回1,否则返回0。

(2)FLOPs(浮点运算次数):它表示在单次前向传播过程中所需的浮点运算总数,通常以 GFLOPs 为单位进行衡量。总 FLOPs 可以表示为

$\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}=\sum _{\mathit{l}=1}^{\mathit{L}}\mathrm{F}\mathrm{L}\mathrm{O}\mathrm{P}\mathrm{s}\left(\mathit{l}\right)$

式(14)中:L为模型中的层数;FLOPs(l)为第l层所需的运算次数。该指标反映了模型的计算成本。

综上所述,这些指标能够对模型的有效性和效率进行全面评估。

3.3 实验结果分析

3.3.1 模型性能与参数量测试实验

为了验证所提方法在视频动作识别任务中的有效性,首先在 UCF101 数据集上对比了多种具有代表性的时空特征建模框架,包括基于 2D 卷积的 TSN、经典的 3D 卷积网络 I3D、轻量化TSM[25],以及多尺度视频特征学习的 SlowFast。该实验的目的在于评估本文方法在保持或降低模型计算复杂度的同时,是否能够进一步提升识别性能。

实验结果如表1所示,通过各模型在 UCF101上的top-1分类准确率以及相应的FLOPs数据结果,可以看到 TSN在精度上明显落后,而I3D虽然取得较高性能,但其计算量高达107.4 G,难以适用于轻量化场景。SlowFast在多尺度建模方面具备明显优势,在计算代价适中的前提下取得94.6%的准确率。相比之下,本文方法在不增加额外计算量甚至略微降低FLOPs的前提下,将准确率进一步提升至 95.5%,达到当前对比方法中的最高性能,训练结果可视化如图5所示。

这一结果表明,提出的动态稀疏时序建模与双向跨路径融合机制能够有效增强模型对关键时序特征的捕捉能力,同时避免冗余计算,提高整体的性能与效率。

3.3.2 模型泛化性测试实验

为了进一步验证所提方法在不同场景与数据分布下的鲁棒性与泛化能力,在 UCF101 与 HMDB51 两个广泛使用的视频动作识别数据集上进行了跨模型对比测试。与3.3.1节主要关注模型在单一数据集上的识别性能不同,本节通过同时在两个具有不同动作类别规模与样本难度的数据集上评估模型的表现,从而检验模型在面对数据分布变化时的稳定性。

实验结果如表2所示, 该表总结了包括 Two-Stream、TSN、3D 卷积模型(C3D、I3D)、R(2+1)D、近期的 Transformer 类方法(MSM[26]、SVT[27]),以及 SlowFast 等多种代表性模型在两个数据集上的表现。可以观察到,TSN在两个数据集上的top-1 准确率均偏低,而3D卷积模型在UCF101上虽有较好的性能,但在更具挑战性的 HMDB51 上表现下降明显,显示出其对数据变化的敏感性。在多尺度建模方面表现优秀的SlowFast虽然在两个数据集上均取得较高的top-1 准确率,但仍存在对关键时序信息利用不足的问题。相比之下,本文提出的模型在UCF101上达到95.5%的top-1准确率,在HMDB51上则为74.48%,均显著优于所有对比方法。该结果表明,本文方法不仅能够提升模型在单一数据集上的性能,同时能够增强其在复杂场景下的泛化能力。

3.3.3 VDST模块中的不同token保留率的实验表现

为进一步评估所提VDST模块在不同稀疏强度下的性能,对快路径的token保留率进行了系统性消融测试。为此,将快路径中的时序token按照其重要性评分排序,并分别保留不同比例的token(1.0~0.1)。token保留率为1.0时对应未引入稀疏模块的原始SlowFast;保留率越低,模型越稀疏、计算开销越小。

实验结果如表3所示,可以看到,当token保留率从1.0减少至0.7时,模型仅出现轻微的性能下降(top-1 准确率由94.6%降至92.5%),FLOPs则从36.1 G降至32.3 G,说明VDTS能够有效过滤冗余时序特征,从而实现高性价比的稀疏推理。当保留率进一步降低至0.4~0.3时,尽管FLOPs大幅减少(降至27.3 G与26.0 G),模型仍保持79%~86%的top-1 准确率,展现出良好的稳定性。然而,当token保留率低于0.2时,性能下降趋于明显,说明在过度稀疏时模型难以维持对关键时序信息的完整建模。

实验结果表明:VDTS 能在较高稀疏度下保持性能稳定;尤其在token保留率约为0.7时,top-1 准确率与计算效率取得最优平衡。这也验证了本文提出的动态token评分与选择策略能够有效识别并保留最关键的时序特征,从而在保持模型top-1 准确率的同时显著减小计算开销。

3.3.4 Bi-CAM模块中不同token保留率的实验表现

为了进一步分析双向门控交叉注意力模块(Bi-CAM) 对模型性能的贡献,并验证其在稀疏化条件下的表达能力,对Bi-CAM内部的token保留率进行了系统性消融测试。本实验中,将Bi-CAM的token保留率从 0(不启用Bi-CAM模块) 逐步增加至0.30,探究跨路径注意力在不同稀疏级别下的建模能力。汇总模型在UCF101数据集上的top-1准确率以及对应的FLOPs,实验结果如表4所示。

从结果可以看出,当Bi-CAM token 保留率为0(即模型仅使用VDTS而不启用跨路径融合)时,模型准确率为92.5%。这说明仅凭稀疏快路径特征能够获得较强的基础性能,但缺乏高效的多尺度融合。当token保留率提升至0.05~0.10 时,模型性能显著提升,从 92.5% 直接跃升至 94.6%~95.5%,且计算量增加极为有限(仅增加约1 G FLOPs)。这一现象表明:既便仅保留少量高价值token,Bi-CAM模块也能高效完成跨路径信息对齐与增强,从而显著提升识别性能。随着token保留率进一步提高到0.20~0.30,模型性能继续提升,并最终达到96.2%的最高准确率,但同时FLOPs也增加至42.40 G,呈现性能与开销的同步增长趋势。这说明更密集的跨路径注意力能够带来更强的表征能力,但计算代价也相应更高。

实验结果表明:Bi-CAM 在极低保留率(0.05~0.10)下即可显著提升top-1 识别准确率,0.10 的保留率在识别性能与计算开销之间取得最佳平衡,是本文中采用的最优配置;Bi-CAM 在稀疏条件下依然保持强表达能力,验证了其门控机制与 top-K注意力设计的有效性

3.3.5 消融实验

为探明动态稀疏机制(VDST)与双向门控交叉注意力模块(Bi-CAM)各自以及二者联合对模型性能与计算开销的影响,在相同的训练配置下进行消融实验。

实验结果如表5所示,在只引入VDST模块的情况下,模型整体FLOPs降至32.5 G,相比基线模型减少了10%,同时仍保持了92.5%的top-1 准确率。该结果验证了动态token稀疏化在减少冗余计算方面的有效性。此外,与依赖关键帧引导的token修剪方法(如KVTP [28])不同,本文所提Bi-CAM模块在每个阶段进行top-K注意力选择,实现细粒度的双向语义对齐。仅仅集成Bi-CAM模块时,模型达到了95.3%的 top-1准确率,比SlowFast提升了0.7%,尽管计算量略有增加,达到37.2 GFLOPs。此结果有效证明,跨路径的注意力机制能提高分支之间的语义交互。最后,通过结合VDST和Bi-CAM模块,本文模型达到了最佳平衡,top-1准确率为95.5%,同时FLOPs降至33.6 G,低于SlowFast。上述结果表明,将稀疏token选择与双向注意力融合相结合,不仅显著提升了性能,同时有效地控制了计算开销。模型训练的损失函数曲线如图6所示。

实验以SlowFast为基线,通过分别集成VDST与Bi-CAM模块构建了两种增强变体,并将同时包含两者的VDST+Bi-CAM作为最终模型。结果表明,两个增强变体均能取得比基线速度更快、损失更低的收敛效果,说明VDST与Bi-CAM模块各自均能有效提升模型性能。最终模型在训练初期虽出现短暂波动,但在约1 000次迭代后损失迅速下降并稳定在最低水平,显著优于其他模型。这证明了所提模块间的协同作用能进一步提升模型的学习能力与最终性能。

4 结论

尽管 SlowFast 在视频识别任务中表现出色,但仍然存在冗余 token 计算和路径间交互不足的问题。为了解决这些问题,提出了两个轻量而有效的模块:VDST(动态 token 选择模块)和Bi-CAM(双向门控注意力机制),前者通过减少时空冗余来优化计算,后者通过增强Slow和Fast路径之间的特征融合来改善跨路径交互。在UCF101和HMDB51数据集上的实验表明,与原始SlowFast模型相比,本文模型在降低FLOPs的同时,实现了更高的识别准确率。消融实验进一步验证了本文方法稀疏化和融合策略的高效性。总体而言,本文方法为双路径视频模型提供了一种紧凑且具有良好泛化能力的增强方案,在大规模场景或资源受限场景中具备良好的应用潜力。

参考文献

[1]

王志国, 章毓晋. 监控视频异常检测: 综述[J]. 清华大学学报(自然科学版), 2020, 60(6): 518-529.

[2]

Wang Zhiguo, Zhang Yujin. Anomaly detection in surveillance videos: a survey[J]. Journal of Tsinghua University (Science and Technology), 2020, 60(6): 518-529.

[3]

Yurtsever E, Lambert J, Carballo A, et al. A survey of autonomous driving: common practices and emerging technologies[J]. IEEE Access, 2020, 8: 58443-58469.

[4]

姬晓飞, 张薇, 冯雅迪. 改进时空图卷积模型的双人交互行为识别算法[J]. 科学技术与工程, 2025, 25(8): 3316-3324.

[5]

Ji Xiaofei, Zhang Wei, Feng Yadi. Improved spatial temporal graph convolutional model for two-person interaction recognition algorithm[J]. Science Technology and Engineering, 2025, 25(8): 3316-3324.

[6]

曹若琛, 冯秀芳, 赵晨. 基于运动特征增强双流网络的视频行为识别[J]. 科学技术与工程, 2025, 25(4): 1540-1546.

[7]

Cao Ruochen, Feng Xiufang, Zhao Chen. Video action recognition based on sport feature enhancement in two-stream network[J]. Science Technology and Engineering, 2025, 25(4): 1540-1546.

[8]

宣寒宇, 陈强, 吴之亮, 等. 视听多模态学习综述[J]. 自动化学报, 2025, 51(8): 124.

[9]

Xuan Hanyu, Chen Qiang, Wu Zhiliang, et al. A survey on audiovisual multimodal learning[J]. Acta Automatica Sinica, 2025, 51(8): 124.

[10]

Lin Y Z, Sun X T, Ren Y G. Slow-Fast convolutional attention network for human action recognition[J]. Journal of Imaging Science and Technology, 2025, 69(5): 050505.

[11]

Bruneau P, Martin A. A review of transform-based deep learning for time series analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025, 47(3): 1200-1220.

[12]

陈江波, 李涛, 朱小燕, 等. 基于时空采样的视频行为识别[J]. 图像与信号处理, 2021, 10(3): 45-52.

[13]

Chen Jiangbo, Li Tao, Zhu Xiaoyan, et al. Video behavior recognition based on spatio-temporal sampling[J]. Image and Signal Processing, 2021, 10(3): 45-52.

[14]

Shen L, Gong G, He T, et al. FastVID: dynamic density pruning for fast video large language models[J]. arXiv Preprint, arXiv: 2503. 11187, 2025.

[15]

Tran D, Bourdev L, Fergus R, et al. Learning Spatiotemporal Features with 3D convolutional networks[C]//2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015: 4489-4497.

[16]

Carreira J, Zisserman A. Quo vadis, action recognition? A new model and the kinetics dataset[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 4724-4733.

[17]

Tran D, Wang H, Torresani L, et al. A closer look at spatiotemporal convolutions for action recognition[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City: IEEE, 2018: 6450-6459.

[18]

Shan C, Liu Y, Chen X, et al. Temporal interlacing network for video action recognition[C]//Computer Vision-ECCV 2020: Proceedings of the 16th European Conference. Glasgow: Springer, 2020: 408-424.

[19]

Feichtenhofer C, Fan H, Malik J, et al. SlowFast networks for video recognition[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 6202-6211.

[20]

Gu C, Sun C, Ross D A, et al. AVA: a video dataset of spatio-temporally localized atomic visual actions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Salt Lake City: IEEE, 2018: 6047-6056.

[21]

Bertasius G, Wang H, Torralba L. Is space-time attention all you need for video understanding?[C]//Proceedings of the International Conference on Machine Learning (ICML). Virtual Event: PMLR, 2021: 813-824.

[22]

Liu Z, Ning J, Cao Y, et al. Video Swin Transformer[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 3202-3211.

[23]

Wu Q, Cui R, Li Y, et al. HaltingVT: adaptive token halting Transformer for efficient video recognition[C]//Proceedings of the IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Seoul: IEEE, 2024: 4305-4309.

[24]

Cao J, Ye P, Li S, et al. MADTP: multimodal alignment-guided dynamic token pruning for accelerating vision-language Transformer[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle: IEEE, 2024: 15710-15719.

[25]

Shao K, Tao K, Qin C, et al. HoliTom: Holistic token merging for fast video large language models[J/OL]. arXiv Preprint, arXiv: 2505. 21334, 2025.

[26]

Kool W, van Hoof H, Welling M. Stochastic beams and where to find them: the Gumbel-Top-k trick for sampling sequences without replacement[C]//Proceedings of the 36th International Conference on Machine Learning. Long Beach: PMLR, 2019: 3479-3487.

[27]

Tao Y, Tang Y, Wang Y, et al. Saliency-driven dynamic token pruning for large language models[J/OL]. arXiv Preprint, arXiv: 2504. 04514, 2025.

[28]

Soomro K, Zamir A R, Shah M. UCF101: a dataset of 101 human actions classes from videos in the wild[R]. Orlando: University of Central Florida, 2012.

[29]

Kuehne H, Jhuang H, Garrote E, et al. HMDB: a large video database for human motion recognition[C]//Proceedings of 2011 IEEE International Conference on Computer Vision (ICCV). Barcelona: IEEE, 2011: 2556-2563.

[30]

Lin J, Gan C, Han S. TSM: temporal shift module for efficient video understanding[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul: IEEE, 2019: 7082-7092.

[31]

Zong M, Wang R, Chen X, et al. Motion saliency based multi-stream multiplier ResNets for action recognition[J]. Image and Vision Computing, 2021, 112: 104108.

[32]

Ranasinghe K, Naseer M, Khan S, et al. Self-supervised video Transformer[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 11461-11471.

[33]

Liu Y, Sun J, Lin Y, et al. Keyframe-oriented vision token pruning: enhancing efficiency of large vision language models on long-form video processing[J/OL]. arXiv Preprint, arXiv: 2503. 10742, 2025.

基金资助

国家自然科学基金(62161047)

PDF (5500KB)

0

访问

0

被引

详细

导航
相关文章

/

〈 〉