卷积膨胀注意力机制的动作分割网络

岳明慧; 何宇轩; 任源鑫; 张立晔

doi:10.12404/j.issn.1671-1815.2502717

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (11) :4741-4749 DOI: 10.12404/j.issn.1671-1815.2502717

自动化技术、计算机技术

卷积膨胀注意力机制的动作分割网络

作者信息 +

Convolutional Dilation Attention Mechanisms for Action Segmentation Networks

Author information +

文章历史 +

摘要

针对现有视频动作分割模型在处理长时序依赖时往往伴随高计算复杂度和大量参数的问题,提出一种兼顾高精度与轻量化的动作分割网络。通过实验分析,提出了一种融合膨胀注意力机制与通道卷积的双分支并行架构,利用双分支结构协同学习权重,实现优势互补。通过引入卷积膨胀注意力机制,在捕获局部特征并保持平移不变性的同时,有效解决了传统注意力机制计算量大的缺陷。基于Transformer架构,联合卷积膨胀注意力机制构建了CDFormer(convolutional dilation transformer)模型。结果表明,CDFormer在50Salads数据集、GTEA数据集以及Breakfast数据集上的准确度分别为88.13%、80.14%,74.55%,展现了优越的性能。可见,卷积膨胀注意力机制在动作分割任务上的高效性和优越性能。

Abstract

High computational complexity and large parameter counts are often observed in existing video action segmentation models when long-term dependencies are handled. An action segmentation network balancing high precision and lightweight design was proposed to address these issues. A dual-branch parallel architecture fusing dilated attention mechanisms and channel convolutions was proposed based on experimental analysis. Weights were cooperatively learned by this dual-branch structure to achieve complementary advantages. A convolutional dilated attention mechanism was introduced. Local features were captured, and translation invariance was maintained. The high computational cost of traditional attention mechanisms was effectively addressed. The CDFormer (convolutional dilation transformer) model was constructed based on the Transformer architecture and the convolutional dilated attention mechanism. The results indicate that the accuracies of CDFormer on the 50Salads, GTEA, and Breakfast datasets are 88.13%, 80.14%, and 74.55%, respectively. Superior performance is demonstrated. The efficiency and superiority of the convolutional dilated attention mechanism in action segmentation tasks are thus verified.

Graphical abstract

关键词

动作分割 / Transformer / 注意力机制 / 卷积

Key words

action segmentation / Transformer / attention mechanism / convolution

引用本文

引用格式 ▾

岳明慧, 何宇轩, 任源鑫, 张立晔. 卷积膨胀注意力机制的动作分割网络[J]. 科学技术与工程, 2026, 26(11): 4741-4749 DOI:10.12404/j.issn.1671-1815.2502717

YUE Ming-hui, HE Yu-xuan, Ren Yuan-xin, ZHANG Li-ye. Convolutional Dilation Attention Mechanisms for Action Segmentation Networks[J]. Science Technology and Engineering, 2026, 26(11): 4741-4749 DOI:10.12404/j.issn.1671-1815.2502717

登录浏览全文

4963

注册一个新账户忘记密码

在当今信息爆炸的时代,处理长视频以进行识别和分割已成为一个迫切需要解决的问题。动作识别是对单个视频进行标签化识别的过程,而动作分割则更为精细,涉及识别长视频中的动作以及确定每个动作类别的起始和结束时间。动作分割在多个领域展现出巨大的应用价值,例如,在体育领域^[1],该技术能够帮助运动员进行细致的动作分析;在医学领域^[2],能够监督医生的手术流程规范;在安全监控领域,能识别出异常行为,增强监控系统的智能预警能力。

长视频处理与自然语言处理在训练长序列数据时确实有相似之处,两者都需要对上下文信息进行深入理解。自从Transformer^[3]模型问世以来,其在多个领域展现出卓越的性能。经过适应性改进,衍生出各种专门化的网络结构,如图像分类领域的ViT(vision transformer)^[4]、动作定位领域的ActionFormer(action transformer)^[5],以及视频识别领域的Vivit(video vision transformer)^[6]以及ViT-Shift(vision transformer with temporal shift)^[31],充分证明了Transformer模型的泛化能力和鲁棒性。因此,Transformer模型作为动作分割的基础架构是一个理想的选择。

随着深度学习技术的蓬勃发展,动作分割领域迎来了重大突破。传统的卷积神经网络经适应性改进,演变成了专门处理时间序列数据的时间卷积网络,例如MS-TCN(multi-stage temporal convolutional network)^[7]及其增强版MS-TCN++^[8]。BCN(boundary-aware cascade networks)^[9]模型通过双流卷积网络处理视频数据,能够端到端地处理视频,提高模型的灵活性。MBNet(multi-branch network)^[10]模型采用多分支结构,能够全面捕获视频中的丰富信息,从而增强了模型对动作的识别能力。除卷积网络,Transformer架构也在动作分割中展现了巨大潜力。ASFormer(action segmentation transformer)^[11]模型首次将Transformer架构引入动作分割领域,充分利用了注意力机制提升了分割性能。C2F(coarse to fine multi-resolution temporal convolutional network)^[12]、TUT(temporal u-transformer)^[13]模型结合Transformer^[3]和U-Net(U-shaped network)^[14]架构,通过层次化特征提取提高了动作分割的准确率。

为了降低时间复杂度,越来越多地探索将卷积操作融入注意力机制中。一方面是用卷积直接替代注意力机制,例如Conformer(convolution-augmented transformer)^[15]模型利用不同大小的卷积核以及门控机制来替换注意力机制;另一方面则是将卷积和注意力进行结合。例如,Coatnet(convolution and attention network)^[16]通过相对注意力自然地将深度卷积和自注意力统一,提高了泛化能力、容量和效率;ACmix(attention and convolution mix)^[17]将中间特征分别以自注意力和卷积的方式进行重用和聚合。通过上述方式,模型不仅能够学习到局部特征,还能够捕捉到全局上下文信息,提高了模型在多种计算机视觉任务中的性能,同时也实现了较好的延迟和精度之间的权衡。

在动作分割任务中,长视频数据处理面临三个关键挑战:极长的特征序列导致自注意力机制计算资源消耗过大、有限的数据集规模难以满足Transformer的海量数据需求,从而引发过拟合风险,以及普遍存在的过度分割现象——模型对动作变化过于敏感,难以准确定位动作边界。

针对上述难题,现提出CDFormer(convolutional dilation former)模型,其核心创新在于卷积膨胀注意力机制(convolutional dilated attention mechanism,CDAM)。该机制通过三个关键技术突破有效解决了上述问题:首先,利用卷积神经网络的局部感受野和平移不变性特性,增强模型在有限数据下的泛化能力;其次,设计分层注意力结构,在保持全局建模能力的同时,通过局部特征增强有效缓解过度分割问题;最后,创新性地融合稀疏注意力与分组卷积,不仅将长序列处理的计算复杂度降低40%以上,还通过多尺度特征提取提升了分割精度。预期这种一体化解决方案能够在保持高效计算的同时,显著提升动作分割的准确性和鲁棒性。

1 CDFormer模型

1.1 Transformer框架

在动作分割中,过度分割一直是一个挑战,许多研究者都在寻求解决方案,如辅助平滑损失^[7],自监督域自适应技术^[18]和后处理策略^[19]。除此之外,一种编码器-解码器多层细化的方法^[11]受到了广泛的关注,能够更加准确地捕捉动作的开始和结束点,纠正初次预测中的错误,并更好地捕捉动作类别之间的依赖关系。卷积膨胀注意力机制模型采用编码块和解码块结构相同但部分参数不同的方法。首先,模型利用特征提取器对输入数据进行处理,提取出关键特征序列,显著降低了模型在数据处理时的时间消耗和存储空间需求。接着,将一维特征序列输入至编码器中进行初步的动作预测。预测完成后,模型通过三个连续的解码器层对初步结果进行细化,逐步优化动作分割的准确性。最终,将编码器的输出与解码器层的细化结果整合,形成模型的最终输出,将用于后续的训练和测试流程,以进一步提升模型的性能。如图1(a)所示为模型CDFormer的总体结构。

图1(b)所示为编码器和解码器的结构。输入数据首先通过点卷积层转换,以匹配网络所需的特征维度。随后,进入由膨胀卷积构成的前馈网络阶段,旨在为后续的稀疏注意力机制打下基础。其中膨胀卷积根据不同的空洞率捕获多尺度的上下文信息,有效扩大模型的感受野。在注意力机制的实现上,编码器和解码器的alpha参数有所区别:编码器中alpha保持为常数1,而在解码器中,参数alpha则按照指数衰减的方式进行调整,alpha=e^-^p^×ⁿ(p为用于控制指数衰减速度的系数,n为解码器的层数)。随着解码器层数的递增,alpha值逐渐减小,这导致膨胀窗口的注意力权重降低,而分组卷积和残差的权重相应提升。最终,通过卷积层和全连接层的进一步处理,模型将提取的特征转换为数据集中各类别的预测输出,以实现精确的动作分割。

1.2 卷积操作

卷积在众多领域和应用中扮演着至关重要的角色,不仅具有强大的平移不变性,能够捕捉多层次的特征表示,还拥有高效的计算性能。根据不同的应用场景,卷积衍生出了多种类型。反卷积主要用于上采样或扩大特征图的尺寸;可分离卷积通过减少计算量来优化网络效率;混洗卷积通过增强不同组之间的信息流动,提升特征表达能力。

在CDFormer模型中,主要采用了膨胀卷积、点卷积和分组卷积这三种卷积方式。膨胀卷积,最初被设计来解决图像分割问题。它能够在不增加网络参数和计算量的前提下,扩大网络的感受野,从而增强网络对长距离上下文依赖关系的感知能力。点卷积,主要用于调整通道数,同时保持特征图的空间维度不变。这种卷积方式可以减少参数数量,降低计算复杂度。通过这种方式,模型能够在保持计算效率的同时,灵活地调整特征通道,以适应不同的特征融合和维度变换需求。分组卷积最初为解决显存不足的问题,现在广泛应用于各种轻量化模型中,主要用于减少运算量和参数量。在操作上,分组卷积将输入特征和卷积核进行分组,然后在对应的组内进行卷积操作。如图2所示,该结构直观展示了分组卷积的运算逻辑,其中从左至右的三列依次代表输入特征通道、组内卷积核以及输出特征通道。在此架构下,模型将特征划分为4个独立的组(以不同颜色区分),左侧同一颜色的输入特征仅与中间对应颜色的卷积核进行运算,进而生成右侧同组的输出特征;这种机制强制让计算在组内独立进行,有效隔绝了不同组之间的信息交换,从而在降低计算复杂度的同时加快模型的收敛速度。在计算方面,假设输入的形状为[C,L],其中C为通道数,L为序列长度,输出的维度为[C₁,L₁]。对于常规卷积,参数量为k×C×C₁,运算量为k×C×C₁×L,其中k为卷积核的大小。而分组卷积的参数量为k×

$\frac{C}{g}$

$\frac{{C}_{1}}{g}$

×g,运算量为k×

$\frac{C}{g}$

$\frac{{C}_{1}}{g}$

×g×L,其中g为分组的个数。通过这种方式,分组卷积在保持模型性能的同时,显著降低了计算资源的需求,使其成为轻量化模型设计中的重要工具。

1.3 卷积膨胀注意力操作

1.3.1 膨胀窗口注意力

为了捕捉复杂的上下文关系,全局注意力机制常被采用。然而,它存在诸多弊端。①全局注意力的计算成本高昂,尤其是对于长序列,其计算复杂度通常为O(n²);②模型的复杂度增加,使得模型难以训练和调试;③全局注意力可能会引入噪声,因为它将过多的权重分配给不相关的元素,从而导致模型性能下降。通过对ViT^[4]中全局注意力的补丁间相互作用进行分析,发现浅层的注意力矩阵具有局部性和稀疏性两个关键性质。在主流视觉任务中,浅层的远距离补丁之间缺乏相关性,因此在这些情况下使用全局注意力机制并不必要。随着研究的深入,稀疏注意力机制的使用范围越来越广泛。例如,带状注意力^[20]将矩阵或分成多个带状,每个带状区域只关注一部分元素;Reformer^[21]采用局部敏感哈希方法减少时间复杂度。稀疏注意力机制通过采用不同的策略来减少注意力计算的复杂度和范围,使模型在处理长序列和大规模数据时更加高效和实用。

卷积膨胀注意力机制通过引入可变膨胀率的滑动窗口,实现对序列数据的多尺度特征提取,详细步骤图如图3(a)所示。在具体应用中,假设输入序列具有通道数为3和原始长度L=9,而膨胀率b_l=2。首先,序列被扩充至膨胀率的整数倍,即扩充至长度10,以确保在后续的块处理中能够保持数据的一致性和处理的便利性。随后,计算滑动范围SL,公式为

(1)SL=b_l+2⌊b_l//2」

式(1)中:符号//表示整除运算,配合外部的⌊·」向下取整符号,双重确保了运算结果严格为整数,从而满足神经网络中通道数或特征图尺寸必须为整数的约束条件。

序列在两端各填充⌊L÷2」个零值,旨在消除边界效应,确保在序列的起始和结束位置能够完整地提取特征信息。这对于动作分割等任务尤为重要,因为边界效应可能导致特征提取不完整,进而影响分割的准确性。在填充完成后,序列通过滑动范围和膨胀率被划分成多个矩阵块,以便进行后续的计算处理。随着网络层数的递增,膨胀率以2的倍数增长,从而使得模型能够捕捉到不同尺度的特征信息,如图3(b)多层滑动区域对比。例如,在第零层,膨胀率为1,滑动窗口大小为1;而在第二层,膨胀率为2,滑动窗口大小扩展为4,阴影部分表示填充的零值,以此类推。这种机制的设计使得模型在处理序列数据时具有更强的适应性和鲁棒性,能够有效地提取出不同尺度的特征信息,为后续的分析和决策提供了更为丰富的依据。

1.3.2 卷积膨胀注意力

卷积不仅能够有效地捕捉边缘、纹理和颜色等局部特征,还具有平移不变性,能够减少对数据预处理的依赖。卷积与注意力机制的结合可以显著提升模型的性能,提高了准确性和泛化能力。标准化能够加速模型的收敛速度,稳定梯度下降过程,并减少不同层之间的梯度差异。激活函数能打破线性限制,使模型能够解决更加复杂的问题。因此在图3(c)注意力计算图中可以看到,除了分组卷积外,还使用了标准化和激活函数。在第2.3节中,通过消融实验来验证标准化和激活函数的必要性。

式(3)描述了双分支架构的特征融合过程。最终输出Output由输入特征Feature的残差连接、通道卷积Group_Conv分支输出以及可学习系数alpha加权的膨胀注意力分支输出逐元素相加而成,这种设计利用残差结构保证了梯度的稳定传播,并通过动态调节注意力机制的贡献权重,从而实现了局部特征与全局上下文信息的有效聚合。

(2)O=alpha×Att+F+G

式(2)描述了双分支架构的特征融合过程。最终输出O由输入特征F的残差连接、通道卷积G分支输出以及可学习系数alpha加权的膨胀注意力Att分支输出逐元素相加而成,这种设计利用残差结构保证了梯度的稳定传播,并通过动态调节注意力机制的贡献权重,从而实现了局部特征与全局上下文信息的有效聚合。

卷积和标准化激活函数共同作用,提高了模型的性能。如图4所示为GTEA^[22]数据集中基于彩色热力图的注意力可视化结果,聚焦于模型在识别“从冰箱中取放物品”这一动作时的关注区域分布。热力图中颜色的冷暖变化直观反映了模型对不同区域的关注强度,其中暖色调如红色和黄色对应较高关注度,表明该区域在动作识别过程中具有更重要的判别作用。

2 实验

2.1 数据集

50Salads^[23]数据集有多模态数据,包括RGB视频和深度图等。视频数据被详细注释,涵盖了活动的前、中、后阶段的时间间隔,以及各阶段对应于食谱中的具体步骤。

GTEA^[22]数据集由佐治亚理工学院开发,主要用于研究日常活动中的动作识别和分割任务。摄像头安装在参与者的帽子上,均以第一人称视角录制。每个视频中包含大约20个细粒度的动作实例。

Breakfast^[24]数据集由德国马克斯·普朗克研究所的研究人员创建,旨在提供一个具有挑战性的任务,用于分析和理解复杂的动作序列。视频以第一人称视角录制,使用头戴式摄像机捕捉参与者的视角。每个视频都被详细标注了动作的起始和结束时间,以及动作的具体类别。以上三个数据集的相关信息如表1所示。上述三个数据集在Kinetics数据集上进行预训练,并通过I3D模型提取特征序列。提取的特征为一维序列,其尺寸为2 048×L。

2.2 实验设置

在本实验中,Transformer网络作为基础架构,适应动作分割任务的优化调整。实验在Linux系统环境下进行,依托于NVIDIA Tesla T4 GPU和Intel Xeon Gold 6242R CPU的高性能硬件配置。根据各个数据集的特性,采取了差异化的策略:在处理50Salads数据集时,将输入特征的采样频率由30帧/s降至15帧/s,以此降低数据规模和计算负荷;在 GTEA 数据集的训练中,采用较高Dropout率减少过拟合的风险;而在Breakfast数据集上,将学习率设定为0.001,以便更有效地控制模型训练过程中权重的更新幅度,促进模型向最优解的稳定收敛。模型训练均为200个周期且批量大小均设为1。评估指标为帧级准确度(Acc)、分割编辑分数(edit score)和时间交叉阈值为10%、25%和50%的F₁分数(F₁@{10,25,50})。F₁分数是精确率和召回率的调和平均数,主要用于评估动作片段层面的预测质量。

为了确保实验结果的公正性,训练与测试与ASFormer保持一致。

2.3 消融实验

为了在视频中实现更精确的动作分割,本文模型CDFormer通过一系列消融实验来评估和验证其有效性和准确性。采用三个关键实验来对照探究卷积、卷积与标准化的结合,以及分组卷积在处理查询(query)、键(key)和值(value)时的作用。结果如表2所示。将注意力机制和注意力机制与分组卷积两组实验进行对照,可以看出,分组卷积能够提升模型的准确度,但对其他评估指标并不理想,反而有所下降。这表明卷积与注意力机制的直接结合确实补充了权重信息,但对于时间信息的把握不准确。因此,在原有基础上再加入标准化和激活函数这种融合方法有效地对图像的全局和局部特征进行了建模,从而显著提升了整体性能。

为了进一步提升模型在视频动作分割任务中的表现,探索了分组卷积与卷积膨胀注意力机制相结合的潜力。在已有的卷积膨胀注意力机制的基础上,尝试在注意力模块中引入分组卷积来处理查询(query)、键(key)和值(value),进行维度变换,旨在通过分组卷积特有的并行处理能力和参数减少优势,增强模型对局部特征的捕捉能力,同时降低计算复杂度,如表3所示。

从表3中可以观察到,使用分组卷积处理时,因为各个组之间相互独立,所以特征之间的交互受到限制,影响模型的性能。分组卷积的权重相互独立降低模型对时间信息的把握准确性,影响整体性能。因此,采用常规卷积进行处理查询,键和值。

2.4 实验结果

在50 Salads、GTEA和Breakfast这三个动作分割数据集上,与先前的方法进行了测试对比,结果如表4~表6所示。

对数据集结果进行展示和对比分析,结果显示:CDFormer模型在准确度上实现了显著提高,并在所有关键评估指标上均展现出了提升的趋势。通过结合注意力机制与卷积操作的优势,成功增强了模型的性能。卷积膨胀注意力机制不仅提升了模型对局部特征的捕捉能力,还加强了其对长距离依赖关系的理解,从而在动作分割等复杂任务中取得了更佳的表现。未来将在此基础上进一步探索和优化模型结构,以期达到更高的性能水平。

如图5所示为CDFormer模型在GTEA数据集上的预测结果与对应的真实标签之间的对比,同时提供了该数据集中动作帧的示例,不同颜色用于区分不同的动作类别。由图5可知,尽管模型的预测结果与真实标签大体一致,但仍存在一些差异。这一可视化分析对于评估CDFormer模型的性能及指导未来改进方向具有重要意义。

3 结论

针对动作分割任务中过度分割问题以及Transformer处理长序列计算量大的问题,提出一种卷积与注意力机制结合的卷积膨胀Transformer(CDFormer)。通过将卷积在局部特征提取上的优势与Transformer注意力机制在全局上下文建模上的长处相结合,构建了双分支并行架构。实验结果表明,这种设计不仅提升了模型的整体分割性能,更在一定程度上有效抑制了过度分割现象。未来的研究将继续致力于降低过度分割错误率,并探索更优化的策略,以进一步提升分割编辑分数以及精确率与召回率的调和平均数F₁分数。

在研究中得到以下结论。

(1)注意力和卷积结合能够提升动作分割的准确率,但是对于其他分割指标效果并不好。

(2)需要将卷积与标准化以及激活函数配套使用,这样能够提升模型的总体性能。分组卷积可以适当用来加强各组的独立性,从而提升泛化能力。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	胡铭轩, 乔钧, 张执南. 连续康复训练动作分割与评估[J]. 上海交通大学学报, 2023, 57(5): 533-534.

[2]	Hu Mingxuan, Qiao Jun, Zhang Zhinan. Continuous rehabilitation training action segmentation and assessment[J]. Journal of Shanghai Jiao Tong University, 2023, 57(5): 533-534.

[3]	郑嘉颖, 王杰, 付攀, 等. 基于数据融合的不平衡连续手术动作分割识别[J]. 科学技术与工程, 2023, 23(29): 12620-12627.

[4]	Zheng Jiaying, Wang Jie, Fu Pan, et al. Imbalanced continuous surgical action segmentation and recognition based on data fusion[J]. Science Technology and Engineering, 2023, 23(29): 12620-12627.

[5]	Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in Neural Information Processing Systems, 2017, 30: 5998-6008.

[6]	Dosovitskiy A. An image is worth 16x16 words: Transformers for image recognition at scale[J]. arXiv Preprint, arXiv: 2010. 11929, 2020.

[7]	Zhang C, Wu J, Li Y. Actionformer: localizing moments of actions with transformers[C]// European Conference on Computer Vision. Berlin: Springer, 2022: 492-510.

[8]	Arnab A, Dehghani M, Heigold G, et al. Vivit: a video vision transformer[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 6836-6846.

[9]	Farha Y A, Gall J. MS-TCN: multi-stage temporal convolutional network for action segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2019: 6647-6658.

[10]	Li S, Farha Y A, Liu Y, et al. MS-TCN++: multi-stage temporal convolutional network for action segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020, 45(6): 6647-6658.

[11]	Wang Z, Gao Z, Wang L, et al. Boundary-aware cascade networks for temporal action segmentation[C]// International Conference on Computer Vision. Glasgow: Springer, 2020: 34-51.

[12]	毛琳, 曹哲, 杨大伟, 等. 多阶段边界参考网络的动作分割[J]. 光学精密工程, 2022, 30(3): 340-349.

[13]	Mao Lin, Cao Zhe, Yang Dawei, et al. Action segmentation based on multi-stage boundary reference network[J]. Optics and Precision Engineering, 2022, 30(3): 340-349.

[14]	Yi F, Wen H, Jiang T. Asformer: Transformer for action segmentation[J]// arXiv Preprint, arXiv: 2110. 08568, 2021.

[15]	Singhania D, Rahaman R, Yao A. Coarse to fine multi-resolution temporal convolutional network[J]// arXiv Preprint, arXiv: 2105. 10859, 2021.

[16]	Du D, Su B, Li Y, et al. Efficient u-transformer with boundary-aware loss for action segmentation[J]// arXiv Preprint, arXiv: 2205. 13425, 2022.

[17]	Ronneberger O, Fischer P, Brox T. U-net: convolutional networks for biomedical image segmentation[C]// Medical Image Computing and Computer-assisted Intervention. Munich: Springer, 2015: 234-241.

[18]	Peng Z, Huang W, Gu S, et al. Conformer: local features coupling global representations for visual recognition[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE, 2021: 367-376.

[19]	Dai Z, Liu H, Le Q V, et al. Coatnet: marrying convolution and attention for all data sizes[J]. Advances in Neural Information Processing systems, 2021, 34: 3965-3977.

[20]	Pan X, Ge C, Lu R, et al. On the integration of self-attention and convolution[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 815-825.

[21]	Chen M, Li B, Bao Y, et al. Action segmentation with mixed temporal domain adaptation[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. New York: IEEE, 2020: 605-614.

[22]	Behrmann N, Golestaneh S A, Kolter Z, et al. Unified fully and timestamp supervised temporal action segmentation via sequence to sequence translation[C]// European Conference on Computer Vision. Berlin: Springer, 2022: 52-68.

[23]	Beltagy I, Peters M E, Cohan A. Longformer: the long-document transformer[J]. arXiv Preprint, arXiv: 2004. 05150, 2020.

[24]	Kitaev N, Kaiser Ł, Levskaya A. Reformer: the efficient transformer[J]. arXiv Preprint, arXiv: 2001. 04451, 2020.

[25]	Fathi A, Ren X, Rehg J M. Learning to recognize objects in egocentric activities[C]// IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2011: 3281-3288.

[26]	Stein S, McKenna S J. Combining embedded accelerometers with computer vision for recognizing food preparation activities[C]// Proceedings of the 2013 ACM International Joint Conference on Pervasive and Ubiquitous Computing. New York: ACM, 2013: 729-738.

[27]	Kuehne H, Arslan A, Serre T. The language of actions: recovering the syntax and semantics of goal-directed human activities[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2014: 780-787.

[28]	Gao S, Han Q, Li Z, et al. Global2 local: efficient structure search for video action segmentation[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway: IEEE, 2021: 16805-16814.

[29]	Ishikawa Y, Kasai S, Aoki Y, et al. Alleviating over-segmentation errors by detecting action boundaries[C]// Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. Piscataway: IEEE, 2021: 2322-2331.

[30]	Liu Z, Wang L, Zhou D, et al. Temporal segment transformer for action segmentation[J]. arXiv Preprint, ArXiv: 2302. 13074. 2023.

[31]	Tian X, Jin Y, Tang X. TSRN: two-stage refinement network for temporal action segmentation[J]. Pattern Analysis and Applications, 2023, 26(3): 1375-1393.

[32]	Chen L, Li M, Duan Y, et al. Uncertainty-aware representation learning for action segmentation[C]// International Joint Conference on Artificial Intelligence. Shenzhen: IEEE, 2022(2): 6-7.

[33]	Gong D, Lee J, Jung D, et al. Activity grammars for temporal action segmentation[J]. Advances in Neural Information Processing Systems, 2024, 36: 75413-75433.