面向动态视觉识别的事件数据多维度增强方法

李昊飞; 张霄嵩; 杨维; 王一朋; 姚嘉林; 王鼎衡

doi:10.12404/j.issn.1671-1815.2503912

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (14) :6045-6055 DOI: 10.12404/j.issn.1671-1815.2503912

自动化技术、计算机技术

面向动态视觉识别的事件数据多维度增强方法

作者信息 +

Multi-dimensional Augmentation Methods for Event Data in Dynamic Vision Recognition

Author information +

文章历史 +

摘要

近年来,基于事件数据的深度学习受到了学者的广泛关注。相较于传统视觉数据,事件数据在时间分辨率和光照动态范围适应性方面存在独有的优势。然而,事件数据存在长时间跨度带来的极度稀疏性,现有的事件数据增强方法在挖掘稀疏分布的隐含信息这一方面仍显不足。针对该问题,提出了沿时间维度切块、随机起始时间、几何维度随机丢弃3种数据增强方法,通过对事件数据的时间维度和几何维度进行全方位的数据增强,以尽可能地弥补事件数据稀疏性所导致的潜在特征挖掘不足的现状。在DVS-Gesture、DVS128-Gait-Day和DVS-CIFAR10这3个事件数据集上的实验结果表明,与其他方法相比,本文方法可以使模型在短输入时间窗口的条件下实现优异的识别性能,极大地提高了事件数据的利用效率。相较于基线,分类性能分别提高了17.62%、18.5%和9.7%。

Abstract

In recent years, event-based deep learning has garnered widespread attention among researchers. Compared to conventional visual data, event data exhibits unique advantages in terms of temporal resolution and adaptability to dynamic lighting conditions. However, the extreme sparsity of event streams over prolonged periods limits effective feature extraction, while existing data augmentation methods fail to adequately exploit latent spatiotemporal patterns. To address this issue, three data augmentation strategies were proposed: temporal chunking, random beginning time, and geometric dimension-wise random drop. These methods comprehensively augment event data along both temporal and geometric dimensions, thereby mitigating the limitations of sparse event data in latent feature extraction. Experimental results on three event-based datasets including DVS-Gesture, DVS128-Gait-Day, and DVS-CIFAR10 demonstrate that the proposed methods enable models to achieve superior recognition performance under short input time windows, significantly improving the utilization efficiency of event data. Compared to baseline methods, the classification performance is enhanced by 17.62%, 18.5%, and 9.7%, respectively.

Graphical abstract

关键词

数据增强 / 脉冲神经网络 / 深度学习 / 低延迟

Key words

data augmentation / spiking neural networks / deep learning / low latency

引用本文

引用格式 ▾

李昊飞, 张霄嵩, 杨维, 王一朋, 姚嘉林, 王鼎衡. 面向动态视觉识别的事件数据多维度增强方法[J]. 科学技术与工程, 2026, 26(14): 6045-6055 DOI:10.12404/j.issn.1671-1815.2503912

LI Hao-fei, ZHANG Xiao-song, YANG Wei, WANG Yi-peng, YAO Jia-lin, WANG Ding-heng. Multi-dimensional Augmentation Methods for Event Data in Dynamic Vision Recognition[J]. Science Technology and Engineering, 2026, 26(14): 6045-6055 DOI:10.12404/j.issn.1671-1815.2503912

登录浏览全文

4963

注册一个新账户忘记密码

事件相机如动态视觉传感器(dynamic vision sensor,DVS)^[1]是一种受生物视网膜动态感光机理启发的新质视觉传感器。与捕捉每个像素感光强度的传统相机相比,DVS以一种异步的方式记录每个像素感知的亮度变化,从而拥有了极高的光照动态适应范围和时间维度分辨率。这些特点使DVS可以在一些低延迟、复杂背景或光照条件较为恶劣的任务中展现出显著的功能与价值。因此,DVS被广泛应用于图像分类^[2]、目标检测^[3]、目标跟踪^[4]等任务。但由于DVS输出的事件数据具有很强的稀疏性,传统的人工神经网络(artificial neural network,ANN)难以处理此类数据,无法发挥此类数据的优势。脉冲神经网络(spinking neural network,SNN)^[5]作为一种受生物神经元启发的稀疏计算网络模型,拥有的事件驱动特性可以使网络在没有触发的情况下不执行计算操作。使用泄漏积分发射(leaky integrate-and-fire,LIF)^[5]神经元模型的SNN,则在保留了较为完整的时空动态特性的同时又易于在计算机上进行仿真模拟。因此,与ANN相比,基于LIF神经元的SNN更适合处理这种由DVS拍摄的稀疏数据。

然而,以LIF为代表的SNN神经元理论目前并不完备,在学习算法上的局限性和二进制脉冲引发的量化误差^[6]等问题,导致SNN的表达能力与发展多年的ANN相比仍有本质差距。数据增强作为一种简单且高效的手段,可通过生成多样化样本的方式凸显数据的潜在特征,十分适用于具有高度稀疏性的事件数据,有望显著提升SNN的多维度训练能力并缩小与ANN之间的差距。常用的数据增强方法一般分为两大类,分别是基本方法类和基于深度学习方法类^[7]。如文献[8]和文献[9]就是将基本方法类中的平移、旋转、翻转等数据增强方法用于岩石分类;而属于深度学习方法类的文献[10]和文献[11]则是通过生成对抗网络解决训练样本不足的现状。但是上述两类方法主要针对传统视觉数据集,对强稀疏性、长时间维度的事件数据意义有限,一般需要设计新的方法来实现此类数据的增强。NDA^[12]就是一种可以应用于事件数据的数据增强方法,该方法在将事件数据聚合为类似于图像的帧后,再使用平移、旋转、翻转和裁剪等图像数据增强方法,虽然取得了一定的效果,但是该方法基本未考虑事件数据的时间维度。ShapeAug^[13]在数据内添加了模拟的障碍物,考虑了在移动DVS时拍摄到障碍物的情况,但仅针对这一特定情况的设计使其普适性不足。而EventMix^[14]则是参考了图像数据集的CutMix^[15]方法,并将其扩展到事件数据的时间维度。然而,原始事件数据在时间维度的不均匀分布会导致该方法易将有意义的数据与无意义的噪声混合,从而使其退化为类似CutOut^[16]的效果。EventDrop^[17]则是在事件流数据上的不同维度丢弃一些事件来增强数据。但是该方法极有可能将有效事件丢弃造成性能下降或者无增强效果。EventRPG^[18]作为首个将SNN相关性传播引入该领域的先驱,通过相关性分数指导,使模型可以根据事件对输出的贡献性选择性地针对事件数据进行增强,减少了上述方法的随机性。

针对上述问题,现面向事件数据的多个维度提出沿时间维度切块、随机起始时间、几何维度随机丢弃共3种可联用的数据增强方法,使SNN可以更全面地捕捉数据的多维度信息,同时学习到数据内在的不变特征。在DVS-Gesture、DVS128-Gait-Day和 DVS-CIFAR10事件数据集上对这3种方法进行测试,验证所提数据增强方法的有效性和适用性。为充分发挥事件相机低时延和时间动态特性提供有效解决方案,对未来高效SNN视觉系统落地应用具有重要参考意义。

1 基于SNN的事件数据常规识别方法

1.1 事件数据的表示方法

由DVS拍摄的原始数据是由大量离散事件组成的事件流,事件流ε一般可以表示为

(1)

$\begin{array}{c}\epsilon =\left\{{e}_{i}\right|{e}_{i}=[{t}_{i},{x}_{i},{y}_{i,},{p}_{i}]\}, {t}_{0}\le {t}_{i}\le {t}_{N}\end{array}$

式(1)中:e_i为事件流中的一个事件;t_i为事件e_i的时间戳;(x_i,y_i)为事件e_i的拓扑坐标;p_i为事件e_i的极性,取值为1时为正极性,0为负极性,代表了该位置像素亮度的上升或下降;t₀与t_N分别为事件流的起始时间和终止时间。

然而,事件数据的高稀疏性与噪声干扰问题都使得逐事件训练SNN不论是在成本上还是性能上都无法接受。对于该问题,主流解决方案是对事件流预处理,常见的方法有将整个事件流表示为1帧^[19]和将事件流表示为多帧^[20]这两种,对事件流处理后的效果如图1所示。这两种方法都可以极大地提升输入的信噪比,在SNN中也是符合逻辑的^[21],只是在对时间维度的处理上有所不同。为了保留更多的时间信息,选择了第二种方式并使用固定的时间窗口来处理事件流数据。事件帧F(j)的处理方法为

(2)ε_j={e_i|e_i=[t_i,x_i,y_i,p_i]}, t_j_-1≤t_i≤t_j

(3)F(j)=q(ε_j)

式(3)中:ε_j为对于在时间范围(t_j_-1,t_j)内的事件流。

使用聚合函数q(·)将稀疏的事件聚合为事件帧F(j),其中事件帧F(j)的时间分辨率Δ_t=t_j-t_j_-1,则整段事件流ε共能聚合出T=(t_N-t₀)/Δ_t个事件帧,每个事件帧是SNN不同时间步的输入,则共有T个时间步。因此SNN接受的整个事件流数据的长度为t_input=TΔ_t,也即输入的时间窗口长度。其中聚合函数q(·)的选择可以是加或是与操作^[22]等。聚合函数使用与参考文献[23]类似的函数,公式为

(4)F(j,p,x,y)=$\sum _{i={j}_{0}}^{{j}_{r}}$L_p_,_x_,_y(p_i,x_i,y_i)

式(4)中:F(j,p,x,y)为事件帧F(j)在位置(p,x,y)的像素值;j₀与j_r为事件流中事件的起始与终止索引;L_p_,_x_,_y(·)为示性函数,该函数表示当且仅当(p_i,x_i,y_i)=(p,x,y)时函数值为1,否则为0。

使用该方法的聚合后的事件帧表示为F(j)∈R^2×^H^×^W,所有时间步的事件帧F∈R^T^×2×^H^×^W。

1.2 事件数据的常规识别方法

在单个时间步内,SNN与ANN极其相似,网络模块如卷积或全连接在宏观上的同构性使二者的差异主要集中在神经元是否拥有生物学动态特性,这也使二者在处理帧数据方面并无本质的差异。因此,事件流在按照1.1节的处理方式后,得到事件帧F∈R^T^×2×^H^×^W后,即可逐时间步输入SNN网络中进行处理,如图2所示。

LIF神经元模型因其在生物合理性与计算简洁性之间达到了较好的平衡,成为SNN领域中最常使用的一种神经元模型。LIF神经元模型可以用一个微分方程来描述^[5],即

(5)

$\begin{array}{c}\tau \frac{du\left(t\right)}{dt}=-u\left(t\right)+I\left(t\right)\end{array}$

式(5)中:τ为时间常数;u(t)为突触后神经元的膜电压;I(t)为突触前神经元接收到的输入;t为时间。

使用LIF神经元的SNN网络在逐时间步接收到输入后,网络中的神经元膜电压与神经元输出公式为

(6)

$\begin{array}{c}{x}_{i}^{t+1,n}=\sum _{j=1}^{l(n-1)}{w}_{ij}^{n}{s}_{j}^{t+1,n-1}\end{array}$

(7)

$\begin{array}{c}{u}_{i}^{t+1,n}=\left(\beta {u}_{i}^{t,n}\right)(1-{s}_{i}^{t,n})+{s}_{i}^{t,n}{V}_{reset}+{x}_{i}^{t+1,n}\end{array}$

(8)

$\begin{array}{c}{s}_{i}^{t+1,n}=g({u}_{i}^{t+1,n}-{V}_{th})\end{array}$

式中:t为第t个时间步;l(n)为网络的第n层的神经元个数;w_ij为突触前神经元j到突触后神经元i的突触权重;

${s}_{i}^{t,n}$

∈{0,1}为在第n层的第i个神经元在t时间步的输出;

${u}_{i}^{t,n}$

为在第n层的第i个神经元在t时间步的神经元膜电压;β为衰减因子;V_th和V_reset分别为阈值电压和重置电压;g(·)为阶跃函数。

通过统计最后一层每个神经元的发射率即可得到网络的输出结果。

2 事件流数据增强方法

2.1 沿时间维度切块

事件流蕴含极为丰富的信息,通过选取不同长度的时间窗口,可以提取到多样化的特征。为充分保留DVS微秒级时间分辨率特性,通常会避免直接采用完整或过长时间段的事件流数据进行模型训练。因此在一些低延迟任务中,输入的时间窗口t_input会被限制在几十或者几百毫秒内。这样的限制对持续时间通常以秒计的事件数据而言,将不可避免地丢弃大量的时空动态信息,不仅阻碍了模型对本质特征的提取,更直接导致了识别性能的显著衰减。为解决以上问题,提出了一种时间维度上的数据增强方法,沿时间维度切块,如图3所示。该方法将事件流数据沿时间维度切为多个块,将数据划分为n个独立的Crop。每个Crop的时间范围τ_k可以表示为

(9)τ_k=[k(t_input+t_gap),k(t_input+t_gap)+t_input],k=0,1,2,…,n-1

(10)

$\begin{array}{c}{t}_{gap}=\frac{({t}_{N}-{t}_{0})-n{t}_{input}}{n}\end{array}$

式中:τ_k为第k个Crop的时间范围;t_input=Δ_tT为每个Crop的时间窗口长度;n为Crop的数量;t_gap为在Crop与Crop之间的间隔长度。

而当总的输入时间窗口大于事件流总长度时,即nt_input>t_N-t₀,Crop与Crop之间将产生长度为t_overlap的重叠,则此时第k个Crop的时间范围τ_k表示为

(11)τ_k=[k(t_input-t_overlap),k(t_input-t_overlap)+t_input],k=0,1,2,…,n-1

(12)

$\begin{array}{c}{t}_{overlap}=\frac{n{t}_{input}-({t}_{N}-{t}_{0})}{n}\end{array}$

在切块完成后,每个Crop内的事件流数据ε_Crop都可被视为独立的样本,表示为

(13)

$\begin{array}{c}{\epsilon }_{Crop}=\{{e}_{i}\in \left.\epsilon \right|{t}_{i}\in {\tau }_{k}\}\end{array}$

将ε_Crop内的事件数据经过上述多帧预处理流程聚合为帧后,即可输入模型。该方法将原本的训练数据扩充n倍,但与将数据简单复制数次的策略不同,本文方法充分利用了事件数据在时间维度上的非均匀特性,使得同一样本的每个Crop拥有不同的时空动态特征。因此,即使t_input存在约束,模型仍能通过更多的Crop从事件流数据捕获完整的时空动态特征。该方法同样可适用于推理阶段,即模型对同一个样本的不同时间段进行推理,整理每段的输出即可得到更能代表模型性能的结果。

2.2 随机起始时间

现有的多数研究都会将事件数据的采样起始时间t_beg固定为事件流的起始时刻,即t_beg=t₀,类似于图3。但是部分数据集在事件流起始处存在有效信息较少的时间段,使得在该时间段内的事件帧的信噪比较低,而这在t_input较短的低延迟任务中对模型造成的影响尤为明显。因此将t_beg固定为事件流的起始时间并不一定适用于所有的数据集。其次,在切块增强中,Crop之间的间隔中存在大量未使用的事件。因此,提出了随机起始时间(random beginning time,RBT),通过对Crop使用合适的随机分布以选取一个采样起始时间t_beg的方式解决以上两个问题。对采样起始时间t_beg的选取和对每个Crop的时间窗口τ_k的影响公式为

(14)

$\begin{array}{c}{t}_{beg}=Random({t}_{0},{t}_{N})\end{array}$

(15)τ_k=$\left\{\begin{array}{l}[{t}_{beg}+k({t}_{input}+{t}_{gap}),{t}_{beg}+\\ k({t}_{input}+{t}_{gap})+{t}_{input}]\\ [{t}_{beg}+k({t}_{input}-{t}_{overlap}),{t}_{beg}+\\ k({t}_{input}-{t}_{overlap})+{t}_{input}]\end{array}\right.$, k=0,1,2,…,n-1

式中:Random(·)为适合数据集的分布。

经过RBT处理后的Crop如图4所示,样本中的Crop的起始采样时间不再固定为初始时刻t₀,而是每个Epoch独立生成随机起始时间t_beg,使Crop的位置不再固定。这种采样起始时间偏移机制使Crop规避了事件流起始段的低信噪比区域,又捕获了Crop间隔之间的有效事件。

2.3 几何维度随机丢弃

通过对以上两个方法的实验,发现现有方法在多个数据集评估中呈现过拟合现象。针对这一问题,将沿时间维度切块与图像领域的Cutout增强策略相融合,提出几何维度随机丢弃机制。该方法通过丢弃概率P_r和丢弃区域大小S_Area这两个参数,选择性地对样本中的每个Crop执行丢弃操作,该操作可被描述为

(16)ε_Drop=$\left\{\begin{array}{ll}Drop\left({\epsilon }_{Crop}\right),& \frac{Rand\left(\mathrm{1,10}\right)}{10}＜{P}_{r}\\ {\epsilon }_{Crop},& \frac{Rand\left(\mathrm{1,10}\right)}{10}{＞P}_{r}\end{array}\right.$

式(16)中:ε_Drop为对ε_Crop执行丢弃操作后的事件;Rand(1,10)为1~10中的等概率的随机选取一个值。

式(16)代表每个Crop都存在概率P_r执行丢弃函数Drop(·),因此下文将该方法简称为Drop。

而Drop(·)函数则是在选中的ε_Crop中随机生成一块中心坐标为(C_x,C_y),边长为w和h的矩形丢弃区域来实现丢弃操作的,其中C_x、C_y服从均匀分布U(0,W)和U(0,H),W与H为事件帧的宽和高。而丢弃区域的边长w和h则是由S_Area中的(ρ₁,ρ₂)决定的,具体表示为

(17)

$\begin{array}{c}\rho =Random({\rho }_{1},{\rho }_{2})\end{array}$

(18)

$\begin{array}{c}w=\sqrt{\rho }W\end{array}$

(19)

$\begin{array}{c}h=\sqrt{\rho }H\end{array}$

式中:ρ为根据S_Area随机选择的丢弃区域面积比例,其选取一般情况下服从均匀分布 U(0.15,0.25)。

得到面积比例后,通过式(18)和式(19)可以得到丢弃区域的宽和高,最后通过式(20)实现丢弃区域内的事件,即

(20)

$\begin{array}{c}Drop\left({\epsilon }_{Crop}\right)=\left\{\begin{array}{ll}丢弃,& \left|{x}_{i}-{C}_{x}\right|\le \frac{w}{2}且\left|{y}_{i}-{C}_{y}\right|\le \frac{h}{2}\\ 保留,& \left|{x}_{i}-{C}_{x}\right|\ge \frac{w}{2}且\left|{y}_{i}-{C}_{y}\right|\ge \frac{h}{2}\end{array}\right.\end{array}$

图5中展示了某个样本的Crop在执行丢弃操作后,对其中一帧所造成的影响。该方法可以防止模型过度依赖某些特征,并辅助模型学习数据中的时空不变特征。由于该方法并不是在整个事件流上执行丢弃操作,因此该方法可以使模型得到多样化的输入同时模拟障碍物的不同位置。

3 综合验证实验

3.1 数据集

使用了3个不同的数据集来评估本文方法,其中两个实拍数据集DVS-Gesture^[24],DVS128-Gait-Day^[25]和一个转换数据集DVS-CIFAR10^[26],这3个数据集都是由DVS128事件相机拍摄的。DVS-Gesture数据集包含29位志愿者在3种光照条件下拍摄的11种手势,共包含1 342个样本,其中每个样本平均持续时间约为6 s,该数据集训练集与测试集占比为8∶2。DVS128-Gait-Day数据集则是包含了20名志愿者的步态数据,通过两次不同的设置分别采集了在白天光照条件下的4 000个步态样本,平均持续时间为4.4 s。转换数据集DVS-CIFAR10则是通过DVS128传感器动态扫描CIFAR10中的10 000个样本生成的事件流数据集,每个类1 000个样本。其中DVS-CIFAR10训练集与测试集占比为9∶1。每个数据集的数据增强参数设置如表1所示。

3.2 实验设置

实验在Pytorch下运行。为了评估这3种方法,选择了文献[23]中的网络模型作为实验的基础框架并参考其参数设置。其中不同数据集的网络结构如表2所示。

在所选3个数据集中,DVS128-Gait-Day数据集呈现出独特的时序特性分布。该数据集的样本存在显著的信息密度不均匀现象,部分时间段内事件流信噪比极低,这种极端的非均匀分布使得网络难以被有效训练。将这段有效信息极为贫乏的时间段定义为无效信息时间。图6展示了每个数据集中样本的事件数量分布,可以发现DVS128-Gait-Day中的有效事件主要集中在中段,前后两端均存在较长的无效信息时间。出现这种极端分布的主要原因是DVS128-Gait-Day数据集在采集志愿者的直线行走模式时,存在拍摄主体脱离DVS有效视场的情况,造成了图6(b)这种事件分布,而这在该数据集中并非个例。还统计了各数据集无效信息时间窗口长度,如表3所示。其中,DVS128-Gait-Day数据集存在平均1 s的无效信息时间,而其他数据集的无效信息时间几乎可以忽略。因此,为实现跨数据集的一致性,对该数据集进行了针对性的预处理,将20 ms内事件数大于100的时间点之前的时间段删去,以尽可能地减少噪声的影响。这样设置的原因是在该数据集中,20 ms内产生这个数量的事件的时间点正是志愿者刚进入DVS视场范围的时间点,也即有效信息开始的时间点。这样的处理对数据完整性也不会造成很大影响,因为删去的事件只占总数量的1%左右。而末尾的无效信息时间部分则会被Crop末尾的t_gap覆盖,使其几乎不影响模型。而其他数据集则并不存在以上问题,因此对其他两个数据集不做任何预处理。

从图6中3个数据集的事件数量分布还可以发现,其他两个数据集与DVS128-Gait-Day数据集在分布上存在较大的差异。DVS128-Gait-Day数据集的事件主要集中在中段,而其他数据集则在各个时间段都有分布且具有一定的周期性。根据以上信息,将DVS128-Gait-Day的RBT分布设置为类高斯随机,即使用高斯分布来随机选取t_beg,但当t_beg超过样本的时间范围时,t_beg被设为t₀或t_N。这样的设置是为了使采样起始时间主要集中在时空动态信息较为完整的时间段。而对其他数据集使用均匀分布。

3.3 实验结果

3.3.1 DVS-Gesture

通过系统性的比较两种时间窗口下,不同的方法组合在DVS-Gesture数据集上的性能表现,得到了如表4所示的结果,其中以不使用任何数据增强方法的模型作为基线。可以发现切块增强在t_input不变的情况下,为模型提供了更多的时空动态信息,使检测准确率在不同的输入时间窗口下提高了10.63%~15.95%。然而,当RBT与切块数据增强方法组合使用时,检测性能却普遍下降0.42%~1.81%,表明该模块存在预期之外的负面效应。

为准确评估其他两个模块联合应用的效果,加入了禁用RBT的情况。可以发现Drop增强在切块增强的基础上通过丢弃部分事件,促使模型关注数据的关键时空不变特征,使检测性能提高了1.67%。

3.3.2 DVS128-Gait-Day

在DVS128-Gait-Day中,使用了与DVS-Gesture类似的设置,结果如表5所示。切块数据增强通过提供更丰富的时空动态信息使检测准确率上升16.7%~24.65%。而RBT通过动态调整Crop的位置,有效避免了噪声对模型的影响的同时,充分地利用了时间轴上的事件,使准确率最高提升了5.85%。而Drop却使模型的检测准确率下降了1.35%。

3.3.3 DVS-CIFAR10

在转换数据集DVS-CIFAR10中,执行了与实拍数据集类似的组合,结果如表6所示。可以发现所有组合均呈现正向增益,并未出现类似于实拍数据集的性能下降现象。这是因为该数据集是转换数据集,与实拍数据集相比,该数据集中的时空动态特性并不明显,因此该数据集的分类任务更接近静态图像分类。

4 消融实验与对比分析

4.1 消融实验

通过系统性的消融实验,针对各方法模块展开独立验证,以评估各方法在不同数据集上的性能表现,结果如表7所示,其中t_input=4×30=120 ms。切块数据增强在所有的数据集中均展现出积极正向的性能提升,其中在实拍数据集中的提升幅度尤为明显。更多的Crop为模型额外提供更完整的时空动态信息,这对分类事件数据这一时空依赖性任务来说至关重要。但为了更详细地阐述切块数据增强的作用机理,提取了不同数据集不同Crop的第一帧,如图7所示,可以发现不同的数据集在实现细节方面并不相同。在实拍数据集DVS128-Gait-Day中,切块增强有效捕获了更丰富的人体运动特征,包括手的往复运动、旋转运动等复杂动态信息;以及平移运动信息,使模型在接收到更完整和连续的动态信息的前提下实现了平移增强,这也使该方法在该数据集中提升最大。在DVS-Gesture中,由于被拍摄者始终位于传感器视场中心,事件主体并没有较为明显的平移运动,因此该方法只能提供更多的人体运动信息,因此,该方法在DVS-Gesture中的效果次于DVS128-Gait-Day。而在转换数据集DVS-CIFAR10中,由于转换是通过图像的平移运动产生事件的,数据集中的时空动态信息并不丰富。因此切块增强提供的更多是平移运动信息,造成了该方法在转换数据集中效果并不明显的情况。此外,由于该数据集的分类任务更接近静态图像,对时空动态信息的需求较低,所以在DVS-CIFAR10中将Crop的数量n设为1时更具性价比。

RBT在不同数据集上的表现存在差异。具体而言,在DVS-Gesture数据集中,RBT几乎无效果,这主要归因于该数据集样本的强周期性和连续性,导致不同Epoch截取的数据在时空动态特性上具有高度相似性,使RBT难以引入更多的样本多样性。在其他数据集中,RBT均呈现正向的性能提升,主要原因是这两个数据集相比DVS-Gesture,并不具强周期性或连续性的特点。而在DVS-Gesture数据集中,RBT在与切块数据增强方法联用后,模型性能却出现了下降,效果不及单独使用切块增强。这存在两个原因:首先,二者联用后,RBT难以引入更多的样本多样性的问题依然存在。其次,RBT会不可避免地丢弃部分数据,缩短了输入数据的时间长度,增加了Crop之间发生重叠的概率。这是因为该数据集的周期性和其分布的特性,该数据集的RBT分布被设定为均匀分布。因此,使用RBT后的t_beg可能较大,造成增强后的数据时间维度缩短,不同Crop之间产生重叠的可能性增大。这种重叠效应不但破坏了原始数据的时间连续性,还导致模型重复接收相同的重叠信息,导致模型易对部分特征过拟合。基于此,RBT不适用于该数据集。而在其他两个数据集中,虽然不存在这样的情况,且RBT不论是单独使用还是与其他方法联用时都存在一定的正向效果。但是在t_input更大时,RBT在这两个数据集中的性能增益却明显下降,这表明数据重叠对各数据集均会产生一定的负面影响。但DVS128-Gait-Day由于其数据分布和设置和DVS-CIFAR10是转换数据集,使得RBT的负面效应在这两个数据集中表现并不明显。

单独使用Drop时导致模型在DVS-Gesture和DVS128-Gait-Day数据集上的准确率下降的主要原因在于:单独使用Drop会破坏数据的时空特征完整性,使模型无法接收到完整的时空动态信息用于训练。但在DVS-CIFAR10中,即便Crop的数量n=1,模型也可收敛,这是因为分类该数据集对时空动态信息的要求较低,使得单独使用Drop也可出现一定的增益效果。而在不同方法联用后,Drop却只在DVS128-Gait-Day出现了性能下降的情况。通过观察图7(a)发现,该数据集天然存在类似于Drop的效果。图中前两帧和后三帧的时空动态信息都不完整,相当于将丢弃概率P_r设置为50%。同时,部分Crop内被遮挡的有效信息超过了90%。这使得在此基础上的Drop使模型难以接收到完整的时空动态信息,很容易欠拟合导致性能不佳。因此,Drop不适合DVS128-Gait-Day数据集或者说该数据集已经天然存在Drop。

进一步探究了在切块与随机丢弃联用的情况中,Drop中的两个参数,即丢弃概率P_r和丢弃区域大小S_Area对模型分类DVS-Gesture数据集性能的影响。结果如表8所示,可以发现在该数据集中,最合适的丢弃区域大小为(0,5%),因为该数据集的事件出现区域并不像DVS-CIFAR10一样,可以覆盖整个画面,而是主要集中在DVS视场中心。因此,过大的丢弃区域则会出现完全遮蔽关键时空特征的情况,而过小的丢弃概率则难以确保丢弃区域覆盖有效事件区域。因此丢弃区域过大或丢弃概率过小都会对模型起到不利的影响。

采用多事件帧聚合方法的核心考量在于:该方法能够有效保留事件流中的时间信息,从而显著提升分类准确率。因此,为探究时间信息对分类性能的影响,在DVS-Gesture中使用了单事件帧的聚合方法,即在t_input不变的前提下将事件帧设置为Δ_t×T=120×1以模拟单帧情况,结果如表9所示。

可以发现单事件帧的预处理方式会大幅降低了模型性能。因为事件数据的时间信息对实拍数据集的分类至关重要。时间信息的缺失不仅造成运动特征损失,还会导致运动轨迹重叠,严重阻碍模型对有效特征的提取。而切块增强与RBT的联用后性能的提高则是因为这两种方法分别可以提供更多的空间动态性和时间动态性,从而一定程度上缓解了单帧处理的负面影响。

4.2 性能对比

如表10所示,在启用网络自带的注意力模块后,将提出的3种方法与目前的主流方法进行了比较。实验结果表明:注意力模块启用后,模型的检测精度有所上升,证明本文方法不会对注意力机制产生负面影响。在DVS-Gesture中,本文方法即使在t_input=120 ms,网络结构较为简单的前提下,仍能达到91.32%的准确率。而在DVS128-Gait-Day数据集中,即使存在输入时间窗口的限制,仍以90.6%的准确率取得了最好成绩。而DVS-CIFAR10中,虽然注意力模块对该数据集效果甚微,但还是取得了69.8%的较好成绩。

5 结论

针对现有数据增强方法在面对事件数据的极端稀疏性时,难以捕捉其在时空维度上的高度离散有效特征这一问题,提出了3种可联用的多维度事件数据增强方法:沿时间维度切块,将事件流划分为多个块,以增强模型对时空动态特征的捕获能力;随机起始时间,打破了固定采样起始时间的限制,使模型更充分挖掘数据中的动态信息;改进的几何维度随机丢弃,在保留完整时空动态信息的前提下随机丢弃部分事件,使模型能够有效学习数据的内在不变特征。实验结果表明,相较于不使用任何数据增强方法的基线模型,所提出的3种方法在面向具有不同分布特点的数据时,通过不同的协同应用耦合与取舍策略,将识别精度分别提升17.62%、18.5%、9.7%,克服了短时间窗口下SNN特征提取能力不足的问题。与其他方法相比,本文方法显著强化训练过程中短时间窗口事件数据的抽样能力,拓展了事件数据训练样本的时空间分布范围,充分发挥了DVS的低延迟特性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Lichtsteiner P, Posch C, Delbruck T. A 128× 128 120 dB 15 μs latency asynchronous temporal contrast vision sensor[J]. IEEE Journal of Solid-State Circuits, 2008, 43(2): 566-576.

[2]	李千鹏, 贾顺程, 张铁林, 等. 基于自适应时间步脉冲神经网络的高效图像分类[J]. 自动化学报, 2024, 50(9): 1724-1735.

[3]	Li Qianpeng, Jia Shuncheng, Zhang Tielin, et al. Adaptive timestep improved spiking neural network for efficient image classification[J]. Acta Automatica Sinica, 2024, 50(9): 1724-1735.

[4]	Luo X, Yao M, Chou Y, et al. Integer-valued training and spike-driven inference spiking neural network for high-performance and energy-efficient object detection[C]//European Conference on Computer Vision. Cham: Springer, 2024: 253-272.

[5]	Zhang J, Dong B, Zhang H, et al. Spiking transformers for event-based single object tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans: IEEE, 2022: 8801-8810.

[6]	Maass W. Networks of spiking neurons: the third generation of neural network models[J]. Neural Networks, 1997, 10(9): 1659-1671.

[7]	Guo Y, Chen Y, Zhang L, et al. Im-loss: information maximization loss for spiking neural networks[J]. Advances in Neural Information Processing Systems, 2022, 35: 156-166.

[8]	杨锁荣, 杨洪朝, 申富饶, 等. 面向深度学习的图像数据增强综述[J]. 软件学报, 2025, 36(3): 1390-1412.

[9]	Yang Suorong, Yang Hongchao, Shen Furao, et al. Image data augmentation for deep learning: a survey[J]. Journal of Software, 2025, 36(3): 1390-1412.

[10]	张超群, 易云恒, 周文娟, 等. 基于深度学习与数据增强技术的小样本岩石分类[J]. 科学技术与工程, 2022, 22(33): 14786-14794.

[11]	Zhang Chaoqun, Yi Yunheng, Zhou Wenjuan, et al. Small rock samples classification based on deep learning and data enhancement technologies[J]. Science Technology and Engineering, 2022, 22(33): 14786-14794.

[12]	唐浩耀, 崔鑫, 张艺炜, 等. 基于数据增强与CNN-Optuna-Attention改进的网络流量分类方法[J]. 科学技术与工程, 2025, 25(15): 6419-6430.

[13]	Tang Haoyao, Cui Xin, Zhang Yiwei, et al. Network traffic classification method improved based on data augmentation and CNN-Optuna-Attention[J]. Science Technology and Engineering, 2025, 25(15): 6419-6430.

[14]	孙佳佳, 李承礼, 常德显, 等. 基于生成对抗网络的入侵检测类别不平衡问题数据增强方法[J]. 科学技术与工程, 2022, 22(18): 7965-7971.

[15]	Sun Jiajia, Li Chengli, Chang Dexian, et al. Data augmentation method for intrusion detection imbalance problem using generative adversarial networks[J]. Science Technology and Engineering, 2022, 22(18): 7965-7971.

[16]	林志鹏, 曾立波, 吴琼水. 基于生成对抗网络的宫颈细胞图像数据增强[J]. 科学技术与工程, 2020, 20(28): 11672-11677.

[17]	Lin Zhipeng, Zeng Libo, Wu Qiongshui. Image data augmentation of cervical cells based on generative adversarial networks[J]. Science Technology and Engineering, 2020, 20(28): 11672-11677.

[18]	Li Y, Kim Y, Park H, et al. Neuromorphic data augmentation for training spiking neural networks[C]//European Conference on Computer Vision. Cham: Springer, 2022: 631-649.

[19]	Bendig K, Schuster R, Stricker D. Shapeaug: occlusion augmentation for event camera data[J]. arXiv Preprint, 2024, arXiv: 2401.02274.

[20]	Shen G, Zhao D, Zeng Y. Eventmix: an efficient data augmentation strategy for event-based learning[J]. Information Sciences, 2023, 644: 119170.

[21]	Yun S, Han D, Oh S J, et al. Cutmix: regularization strategy to train strong classifiers with localizable features[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul: IEEE, 2019: 6023-6032.

[22]	DeVries T, Taylor G W. Improved regularization of convolutional neural networks with cutout[J]. arXiv Preprint, arXiv: 1708.04552, 2017.

[23]	Gu F, Sng W, Hu X, et al. Eventdrop: data augmentation for event-based learning[J]. arXiv Preprint, arXiv: 2106.05836, 2021.

[24]	Sun M, Zhang D, Ge Z, et al. Eventrpg: event data augmentation with relevance propagation guidance[J]. arXiv Preprint, arXiv: 2403. 09274, 2024.

[25]	Rebecq H, Horstschaefer T, Scaramuzza D. Real-time visual-inertial odometry for event cameras using keyframe-based nonlinear optimization[C]//British Machine Vision Conference. London: British Machine Vision Association, 2017: 1-8.

[26]	Fang W, Yu Z, Chen Y, et al. Incorporating learnable membrane time constant to enhance learning of spiking neural networks[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Virtual: IEEE, 2021: 2661-2671.

[27]	Deng L, Wu Y, Hu X, et al. Rethinking the performance comparison between SNNs and ANNs[J]. Neural Networks, 2020, 121: 294-307.

[28]	He W, Wu Y J, Deng L, et al. Comparing SNNs and RNNs on neuromorphic vision datasets: similarities and differences[J]. Neural Networks, 2020, 132: 108-120.

[29]	Yao M, Gao H, Zhao G, et al. Temporal-wise attention spiking neural networks for event streams classification[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Virtual: IEEE, 2021: 10221-10230.

[30]	Amir A, Taba B, Berg D, et al. A low power, fully event-based gesture recognition system[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu: IEEE, 2017: 7243-7252.

[31]	Wang Y, Zhang X, Shen Y, et al. Event-stream representation for human gaits identification using deep neural networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 44(7): 3436-3449.

[32]	Li H, Liu H, Ji X, et al. CIFAR10-DVS: an event-stream dataset for object classification[J]. Frontiers in Neuroscience, 2017, 11: 1-10.

[33]	Zheng H, Wu Y, Deng L, et al. Going deeper with directly-trained larger spiking neural networks[C]//Proceedings of the AAAI Conference on Artificial Intelligence. Virtual: AAAI, 2021: 11062-11070.

[34]	Wang Y, Du B, Shen Y, et al. Ev-Gait: event-based robust gait recognition using dynamic vision sensors[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE, 2019: 6358-6367.

[35]	Yao M, Zhang H, Zhao G, et al. Sparser spiking activity can be better: feature refine-and-mask spiking neural network for event-based visual recognition[J]. Neural Networks, 2023, 166: 410-423.

[36]	Wu Y, Deng L, Li G, et al. Spatio-temporal backpropagation for training high-performance spiking neural networks[J]. Frontiers in Neuroscience, 2018, 12: 1-12.

[37]	Kim Y, Panda P. Optimizing deeper spiking neural networks for dynamic vision sensing[J]. Neural Networks, 2021, 144: 686-698.

基金资助

咸阳市重大科技创新项目(L2023-ZDKJ-JSGG-GY-018)

PDF (8910KB)

访问

被引

详细

导航

Received	Published	Revised
2025-05-26	2026-05-18	2025-11-26
Online Date
2026-08-06

摘要