融合节点自适应图卷积和聚焦线性注意力的交通流量预测模型

肖楠 ,  高爱云 ,  张玮 ,  周正

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (22) :9690-9702

PDF (12178KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (22) :9690-9702 DOI: 10.12404/j.issn.1671-1815.2505836
交通运输

融合节点自适应图卷积和聚焦线性注意力的交通流量预测模型

作者信息 +

Traffic Flow Prediction Model Integrating Node-adaptive Graph Convolution with Focused Linear Attention

Author information +
文章历史 +

摘要

交通流量预测是智慧交通系统的核心组成部分,对高效的交通管理和规划至关重要。针对现有方法在构建图结构和注意力计算过程中的不足,提出了一种融合节点自适应图卷积和聚焦线性注意力的交通流量预测模型。主要包括节点自适应图卷积模块,空间聚焦线性注意力模块和时间注意力模块。首先通过嵌入获取动态时空特征并构建自适应路网信息学习路网节点特征;其次空间注意力模块采用线性注意力降低计算复杂度,并提出聚焦函数增强特征提取能力,再通过时间注意力模块提取非线性时间依赖关系;最后通过节点自适应图卷积捕捉每个节点的独特变化模式,并与注意力输出进行门控融合,动态调整二者输出权重。在3个真实交通数据集进行实验验证后,相较于最优基线模型,本文模型在预测精度上展现出显著提升:即平均绝对误差、均方根误差和平均绝对百分比误差 3个关键指标分别平均下降了2.49%、1.42%和3.72%。

Abstract

Traffic flow prediction serves as a core component of intelligent transportation systems, rendering it indispensable for efficient traffic management and planning. To mitigate the limitations of existing methods in graph structure construction and attention computation processes, a traffic flow forecasting model that Integrating NAGC-FLA (node-adaptive graph convolution with focused linear attention) was proposed. The proposed model was primarily composed of three modules: a node-adaptive graph convolution module, a spatial focused linear attention module, and a temporal attention module. Initially, dynamic spatio-temporal features were extracted via embedding, and adaptive road network information was constructed to facilitate the learning of road network node features. Subsequently, the spatial focused linear attention module adopts linear attention to reduce computational complexity, while a focusing function was introduced to enhance feature extraction performance. Furthermore, the temporal attention module was utilized to capture non-linear temporal dependencies. Finally, node-adaptive graph convolution was employed to capture the unique variation patterns of each node, and gated fusion is performed with the output of the attention modules to dynamically adjust the weights assigned to the two types of outputs. Experimental validations are conducted on three real-world traffic datasets. In comparison with the optimal baseline model, the proposed model exhibits significant improvements in prediction accuracy: the three key evaluation metrics, namely mean absolute error, root mean square error and mean absolute percentage error, are reduced by an average of 2.49%, 1.42%, and 3.72%, respectively.

Graphical abstract

关键词

交通流量预测 / 线性注意力 / 图卷积网络 / 自适应特征嵌入 / Transformer

Key words

traffic flow forecasting / linear attention / graph convolutional network / adaptive feature embedding / Transformer

引用本文

引用格式 ▾
肖楠, 高爱云, 张玮, 周正. 融合节点自适应图卷积和聚焦线性注意力的交通流量预测模型[J]. 科学技术与工程, 2026, 26(22): 9690-9702 DOI:10.12404/j.issn.1671-1815.2505836
XIAO Nan, GAO Ai-yun, ZHANG Wei, ZHOU Zheng. Traffic Flow Prediction Model Integrating Node-adaptive Graph Convolution with Focused Linear Attention[J]. Science Technology and Engineering, 2026, 26(22): 9690-9702 DOI:10.12404/j.issn.1671-1815.2505836

登录浏览全文

4963

注册一个新账户 忘记密码

随着智慧城市的发展,智慧交通系统(intelligent traffic system,ITS)也逐渐受到人们的广泛关注,其中对于未来交通流量的精准预测更是智慧交通系统实现的关键[1]。交通流量预测是指利用该区域过去一段时间内的流量来预测未来一段时间内的流量,是车路协同、自动驾驶等技术发展的关键推动力,具有非常重要的实际部署价值[2-3]。
早期的研究主要使用时间序列分析模型来获取交通流量的时间特征,如差分自回归移动平均模型(ARIMA)[4]等。但是这种方法由于无法提取非线性特征和没有考虑空间信息等问题,在复杂交通环境中表现不佳[5]。之后又出现了各种使用机器学习方法,如贝叶斯网络[6],K-最邻近算法[7]等,都发挥了重要作用,但这些方法都需要专家的手动特征提取,且过于依赖专家知识,从而消耗大量人力物力[8]。
近些年来,随着深度学习技术的发展,使用深度学习模型来进行交通流量预测可以从数据中有效发掘交通流量的复杂非线性特征、挖掘并提取其内在时空耦合关系,从而表现出更加优异的预测精度[9-11]。卷积神经网络(convolutional neural networks,CNN)和循环神经网络(recurrent neural network,RNN)最先被用于交通流量预测任务中[12]。CNN将交通流量网格化进行特征提取,但无法捕捉长时序空间依赖关系[13];RNN虽然适合处理时序信息,但在处理长时序信息中存在梯度消失的问题[2]。但是,以上方法最大的局限性在于它们不能直接从非欧空间中存在的数据进行学习,而交通数据恰恰属于非欧数据。近些年,图神经网络(graph neural network,GNN)开始因其处理非欧数据时的强大能力受到广泛关注[14],其中图卷积网络GCN(graph convolutional network)因其在局部空间建模上的优势,成为建模交通空间依赖的主要工具,Yu等[15]提出STGCN模型采用图卷积和时间卷积结合的建模方式;Li等[16]提出采用扩散图卷积来代替门控循环单元GRU中的线性层,实现空间与时间建模的结合;Guo等[17]提出ASTGCN模型从小时、天、周3个周期出发分别建立了3个基于注意力的图卷积加时序卷积通道;这些方法由于仍使用预定义图来表示路网节点信息,在表示路网深层拓扑关系上具有局限性。为此,模型GWnet[18]、AGCRN[19]和DGCRN[20]提出让图结构随着训练的进行来动态学习路网中深层次特征。这种动态图构建方法缓解了静态图的局限性,但单凭动态图提取路网信息是远远不够的,且过于依赖图结构构建,对于图结构的构建方法十分敏感,存在过平滑问题[21]。同时在近些年来,随着应用注意力机制作为核心的Transformer在许多领域取得了卓越的效果,也有很多研究者将其应用在了交通预测领域[22]。Geng等[8]提出考虑空间距离和时间门控的Transformer变体模型。Transformer方法中的自注意力机制可以提高全局时空表征能力,使效果明显提升,但由于其计算过程中采用softmax归一化方法,相对于查询Q和值V进行计算,存在二次计算复杂度高的问题。针对这一问题,Xing等[23]提出分别对注意力计算中的查询Q和键K使用softmax归一化降低复杂度。Angelos等[24]提出构建核函数方法对查询Q和键K都使用核函数,从而改变计算次序,使键K和值V进行计算,从而实现复杂度降低的效果。上述变换方法虽然都降低了计算复杂度,但由于线性注意力在加权计算后分布过于平滑,无法聚焦在关键部分,难以全面反映复杂的交通流量变化特性。由此本文在使用核函数方法基础上,提出一种聚焦函数来进行特征增强,加入查询Q,键K计算过程中,从而达到降低复杂度的同时提升预测效果。
并且现有研究多聚焦于模型的迭代更新,用逐渐复杂的模型架构和庞大的参数量带来较小的性能提升。也有一些研究者另辟蹊径,将重点放在对于附加时空信息的提取上,并取得了优异的效果。STID模型[25]首次将重点放在附加时空身份信息上,采用时间和空间嵌入矩阵来解决时空异质性问题,并仅用嵌入矩阵加多层感知机就达到了不错的效果。但其嵌入方式忽略了节点各自的特异性,默认在同一时间步下所有节点学习到的特征是一样的,并且多层感知机提取深层信息的能力有限。PDFormer[26]则通过拉普拉斯位置编码,获取空间嵌入,但这样使用的是预定义好的邻接矩阵来进行信息获取,仍存在静态图的不足之处。
为此,现提出一种融合节点自适应图卷积和聚焦线性注意力模型来进行交通流量预测(traffic flow prediction model integrating node-adaptive graph convolution with focused linear attention,NAGC-FLA)。模型使用多维度嵌入输入来解构时空耦合特性,使其自适应学习交通模式特征。在此基础上,采用并行框架将时空注意力和图卷积进行门控融合。其中针对注意力提出空间聚焦线性注意力网络替换原有传统注意力网络,将二次计算复杂度降低为一次计算复杂度,并使用聚焦函数增强对于重点特征的提取能力,使用时间注意力提取时序依赖关系。针对图卷积采用节点自适应图卷积来动态学习路网空间特征。将NAGC-FLA在PEMS04、PEMS07、PEMS08数据集上与DDGCRN、PDFormer等11个模型进行比较,进而验证本文模型预测效果的优越性,以证明对于交通流量预测的有效性。

1 问题定义

交通流量指在一定时间间隔内通过特定区域车辆的数量(断面流量),是典型的非欧结构数据,可以用无向图G(V,E,A)的形式来表达。其中V表示图上的节点,即交通路网中的传感器,节点个数为$\left|V\right|$=N,E,为节点之间连接的边,A∈RN×N为图的邻接矩阵,储存边的权重,体现节点之间的拓扑关系。交通流量预测目的就是通过给定先前T时间段内交通流量序列Xt-T+1∶t和路网关系图G,构建模型F(·)和训练参数θ来预测未来Q时间段内流量数据,可以表示为

$ \left[\boldsymbol{X}_{t-T+1}, \boldsymbol{X}_{t-T+2}, \cdots, \boldsymbol{X}_{t}, G\right] \xrightarrow[\theta]{F(\cdot)}\left[\boldsymbol{X}_{t+1}, \boldsymbol{X}_{t+2}, \cdots, \boldsymbol{X}_{t+Q}\right]$

式(1)中:Xi∈RN×C为N个节点在时间步i处的交通信息;C为特征维度,取值为1,表示流量;G为路网关系图。

2 融合节点自适应图卷积和聚焦线性注意力的交通流量预测模型

2.1 模型架构

NAGC-FLA框架如图1所示,该框架整体架构包含以下几个核心模块:节点自适应图卷积模块、时间多头自注意力模块、空间多头聚焦线性自注意力模块以及门控融合模块。输入包括天、周的周期嵌入、自适应时空嵌入、原始交通流量序列及其嵌入和自适应路网图信息。首先各类嵌入向量经由拼接操作整合为统一特征Z0表示,输入由L层空间自注意力和时间自注意力串联组成的时空注意力模块;与此同时原始数据和自适应路网图信息输入节点自适应图卷积中,自适应图通过数据学习到各个节点之间拓扑关系,所得到输出ZL经过线性层转换维度后再与时空注意力输出进行门控融合,最后通过回归层输出对于未来交通流量序列的预测结果。这样通过将注意力与图卷积二者结合,一方面充分利用局部信息实现对交通流量精细化特征的捕捉,另一方面借助全局信息感知把握整体交通态势;并采用节点自适应图卷积和时空自适应嵌入,针对每个节点独特变化特性进行精准建模;为解决空间自注意力计算复杂度高的问题,提出空间聚焦线性自注意力,在降低计算资源消耗的同时,提升预测准确性和稳定性。

2.2 特征嵌入模块

对于原始数据特征的挖掘,接下来将从数据本身、时间周期性嵌入、时空自适应嵌入3个方面进行展开说明。

首先,对于原始数据,初始维度较低,为了从原始数据中提取更多信息,使用线性层FC将其映射到高维空间,df为嵌入维度,增强其表征能力,原始数据嵌入Ef实现公式为

Ef=FC(Xt-T+1∶t)

其次,交通流量序列与人们的生活息息相关,所以在时间上存在周期性变化。其中属天周期和周周期变化最为明显,首先将原始数据中的时间信息进行提取,因传感器采集流量间隔为5 min,所以一天内的时间戳数量Nd=288,同理一周时间戳数量Nw=7,根据Nd和Nw获取每个时间点流量所处的时间位置,并将其归一化以便模型学习。然后使用嵌入矩阵对所获取的时间信息进行周期性学习,分别针对天和周进行嵌入表示:Td∈RNd×df、Tw∈RNw×df。将输入数据中的一天的时间戳信息Dt∈RT和周信息Wt∈RT作为索引来从嵌入表示中提取嵌入向量,最后将提取到的天嵌入Edt∈RT×df和周嵌入Ewt∈RT×df分别进行拼接和广播操作,形成时间周期性嵌入Et∈RT×N×2df。

最后,交通流量序列具有复杂动态的时空关系,不相邻的传感器节点在相同时间可能有相似的变化趋势,这表明交通流量还存在着复杂的时空变化规律。因此考虑时空融合变化关系,提出时空自适应嵌入表示Ei∈RT×N×di,其中di为嵌入维度,该嵌入方式可以学习到每个时间步中独有的空间变化趋势,从更细粒度空间学习特征,在同时考虑时空变化的基础上进行嵌入学习,确保能捕获到复杂交通态势变化模式。

将以上嵌入矩阵拼接作为后续模块输入。

E=Ef‖Et‖Ei
d=3df+di

式中:E为总嵌入矩阵;d为总嵌入维度;‖·‖为拼接操作。

2.3 时空自注意力模块

为更深入地建模交通流量数据中的时空依赖关系,将时间自注意力和空间聚焦线性自注意力串行连接,先进行时间维度的特征提取再进行空间维度的关联分析和特征增强,这样可以赋予模型更强的特征学习能力,提高模型在复杂交通流量变化环境下的泛化能力。

对于经过嵌入处理的序列E∈RT×N×d,依次在时间和空间维度采用多头自注意力操作。针对交通流量数据的特点,对于时间自注意力层采用传统自注意力机制;对于空间自注意力层则采用聚焦线性自注意力机制。时间维度和空间维度上所采用的不同注意力操作过程如下。

对于经过嵌入的序列E∈RT×N×d,在时间维度,分别使用3次线性变换将其变为3组新的矩阵Qt、Kt、Vt。

$\left\{\begin{array}{l}{Q}^{t}=X{{W}^{t}}_{q}\\ {K}^{t}=X{{W}^{t}}_{k}\\ {V}^{t}=X{W}_{v}^{t}\end{array}\right.$

式(5)中:Qt、Kt、Vt分别为查询矩阵、键矩阵、值矩阵:Wq、Wk、Wv分别为其对应的权重矩阵。

自注意力机制计算公式为

At=softmax$\left[\frac{{Q}^{t}({K}^{t}{)}^{T}}{\sqrt{{d}_{k}}}\right]$
Zt=AtVt

式中:At为注意力分数,At∈RN×T×T,利用 softmax归一化操作计算各节点特有的时间依赖关系At,将其与值矩阵Vt进行矩阵乘法运算,生成时间自注意力输出Zt∈RT×N×dh。

在时间注意力计算过程中,其计算复杂度为o(T2d),其中d为总嵌入维度,对于时间步长T一般取值较小,所以时间自注意力计算复杂度较小。但在空间维度进行注意力操作时,如果仍采用传统注意力计算方法,计算复杂度为o(N2d),N为交通路网节点数,是远远大于总嵌入维度d的,所以这会使计算复杂度大大增加。由此提出在空间维度上采用聚焦线性自注意力机制来代替原有传统自注意力机制,以下为线性注意力机制实现过程。

在空间维度,对于注意力公式[式(6)],将其中的softmax归一化操作展开,即

${O}_{i}=\sum _{j=1}^{N}\frac{\varphi \left({Q}_{i}\right)\varphi ({K}_{j}{)}^{T}}{\sum _{j=1}^{N}\varphi ({Q}_{i}\left)\varphi \right({K}_{j}{)}^{T}}{V}_{j}$
${O}_{i}=\sum _{j=1}^{N}\frac{Sim({Q}_{i},{K}_{j})}{\sum _{j=1}^{N}Sim({Q}_{i},{K}_{j})}{V}_{j}$

通过乘法结合律,转化为

${O}_{i}=\frac{\varphi \left({Q}_{i}\right)\left[\sum _{j=1}^{N}\varphi \right({K}_{j}{)}^{T}{V}_{j}]}{\varphi \left({Q}_{i}\right)\left[\sum _{j=1}^{N}\varphi \right({K}_{j}{)}^{T}]}$

设Sim(Q,K)=ϕ(Q)ϕ(K)T,传统注意力中Sim(Q,K)=exp(QKT/$\sqrt{{d}_{k}}$),由图2所示,线性注意力就是通过2个核函数替代原有softmax操作,从而降低softmax注意力权重计算运行复杂度,对于空间粒度上采用线性自注意力可以将复杂度从o(N2d)降为o(Nd2),从而减少计算复杂度。

分别在时间和空间维度进行传统注意力和线性注意力操作,并将时间自注意力和空间聚焦线性自注意力组合为一个时空块Z,并进行L层堆叠来提取更深层次特征。与Transformer类似,分别在时空注意力后应用前馈神经网络来提取非线性特征及模式,同时在其中应用了层归一化,残差连接,多头机制等操作。

2.4 聚焦线性注意力原理

虽然线性注意力在计算复杂度上有一定优势,但提取特征能力有限,注意力分布较平滑,且相较于传统softmax注意力使查询Q、键K在N维进行全局激活,线性注意力使键K、值V在d维只进行局部激活,这使其在模型性能方面仍与传统注意力机制有一定差距。因此针对这一不足,提出一种聚焦函数在查询Q、键K计算过程中对其进行优化,提升提取重点特征的能力,增加全局表达能力。以下为聚焦函数组成及其作用原理推导。

Sim(Qi,Kj)=ϕp(Qi)ϕp(Kj)T
$\left\{\begin{array}{l}{\varphi }_{p}\left(x\right)={f}_{p}\left[ReLU\right(Q\left)\right]\\ {f}_{p}\left(x\right)=\frac{‖x‖}{‖{x}^{*p}‖}{x}^{*p}\end{array}\right.$

式(12)中:x=(x1,x2,…,xn);‖·‖为L2范数;p为聚焦因子。

对于任意n维向量x,y(x≠y),其中x=(x1,x2,…,xk,…,xn),y=(y1,y2,…,yl,…,yn),先经过ReLU激活函数操作,保证输入的非负性。

由此可得两个推论。①推论1:x,y中有且仅有一个最大值;②推论2:0<<x,y><‖x‖‖y‖,即x,y之间的内积大于0,小于x,y范数的乘积。

则两个聚焦函数内积(x,y相似度)为

<ϕp(x),ϕp(y)>=<fp(x),fp(y)>=‖fp(x)‖‖fp(y)‖<u,v>=‖x‖‖y‖<u,v>

式(13)中:Sim为相似度函数;${\varphi }_{p}$为聚焦函数;fp为归一化缩放函数;x*为参考向量。

$u,v=\frac{\sum _{i=1}^{n}{x}_{i}^{p}{y}_{i}^{p}}{\sqrt{\sum _{i=1}^{n}{x}_{i}^{2p}\sum _{i=1}^{n}{y}_{i}^{2p}}}$

由推论1可令

$\left\{\begin{array}{l}{a}_{i}=\frac{{x}_{i}}{\underset{1\le i\le n}{max}{x}_{i}},　{a}_{i},{b}_{i}\in \left[\mathrm{0,1}\right]\\ {b}_{i}=\frac{{y}_{i}}{\underset{1\le i\le n}{max}{y}_{i}},　{a}_{i},{b}_{i}\in \left[\mathrm{0,1}\right]\end{array}\right.$

式(15)中:ai、bi分别为向量x、y中第i个分量xi、yi的归一化值。

且在x中仅存在一个m,使得xm取得最大,即ai=1;y中仅存在一个n,使得yn取得最大,即 bi=1。式(14)可表示为

$u,v=\frac{\sum _{i=1}^{n}{a}_{i}^{p}{b}_{i}^{p}}{\sqrt{\sum _{i=1}^{n}{a}_{i}^{2p}\sum _{i=1}^{n}{b}_{i}^{2p}}}$

${a}_{i}^{p}$、${b}_{j}^{p}$分别对p求极限,即

$\underset{p\to +\infty }{lim}{a}_{i}^{p}$=$\left\{\begin{array}{ll}1,& i=m\\ 0,& i\ne m\end{array}\right.$
$\underset{p\to +\infty }{lim}{b}_{j}^{p}$=$\left\{\begin{array}{ll}1,& j=n\\ 0,& j\ne n\end{array}\right.$

可得当m=n时,即相似度较高时,$\underset{p\to +\infty }{lim}$<u,v>=1。

$\underset{p\to +\infty }{lim}$<u,v>=$\underset{p\to +\infty }{lim}\frac{0+\dots +1\times 1+\dots +0}{\sqrt{(0+\dots +1+\dots +0)(0+\dots +1+\dots +0)}}$=$\frac{1}{1}$=1

由推论2可得

$\underset{p\to +\infty }{lim}$<ϕp(x),ϕp(y)>=‖x‖‖y‖><x,y>

可得当m≠n时,即相似度较低时,$\underset{p\to +\infty }{lim}$<u,v>=0。

$\underset{p\to +\infty }{lim}$<u,v>=$\underset{p\to +\infty }{lim}\frac{0+\dots +1\times 0+\dots +0\times 1+\dots +0}{\sqrt{(0+\dots +1+\dots +0)(0+\dots +1+\dots +0)}}$=$\frac{0}{1}$=0
$\lim _{p \rightarrow+\infty}\left\langle\varphi_{p}(\boldsymbol{x}), \varphi_{p}(\boldsymbol{y})\right\rangle=0＜\langle\boldsymbol{x}, \boldsymbol{y}\rangle$

根据极限保号性可推得存在p>1,使得当x、y相似时,相似度特征被放大;当x、y不相似时,相似度特征被缩小。聚焦函数所起作用为使原来相似度高的向量相似度进一步升高;原来相似度低的向量相似度进一步下降,从而增强特征表示能力。

2.5 节点自适应图卷积模块

尽管采用注意力机制来捕捉空间特征,但仍难以获取完备的图结构信息,因此采用基于谱域的图卷积网络来进一步提取空间信息,采用一阶切比雪夫近似的图卷积,并将其展开到多维。图卷积公式Z和邻接矩阵A表达式为

Z=(IN+${D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$)(XΘ+b)
A=IN+${D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$

式中:IN 为每个节点添加自环;Θ为权重矩阵;b为偏置矩阵;D为度矩阵。

针对其中存在的两个问题:一是依据专家经验所构建的静态图虽包含一些先验信息,但很难体现出相邻路网真实的依赖关系。对此问题选择构建自适应图,通过数据自动学习路网变化关系,许多研究表明[18-19],自适应图在提取路网深层信息中有很大优势。通过提出一个节点嵌入矩阵EA∈RN×d,将EA和其转置${E}_{A}^{T}$进行乘积来构建一个N×N的可学习矩阵,代替原有的预定义邻接矩阵,同时采用ReLU激活函数保证其节点关系的非负性,并采用softmax函数将节点关系进行归一化,最后加入一个单位矩阵加强对自身特征的提取。通过上述操作,自适应邻接矩阵构建Aa公式为

Aa=IN+softmax[ReLU(EAETA)]

二是式(22)中的Θ和b为所有节点共享参数,虽然这会使模型学习到所有节点的最突出特征,降低了计算复杂度,但实际中每个节点的特征是不相同的,如一些节点正在发生一些特殊事件或极端天气变化,即使相邻节点在同一时刻也会有不同的变化趋势。而节点共享参数会忽略这些特征信息,因此提出对每个节点设置单独的参数进行学习。其中,将原有权重矩阵Θ∈RC×F与偏置矩阵b∈RF改为Q∈RN×C×F与b∈RN×F,这样可以让模型学习到每个节点所独有的变化模式。但这样面临计算量过大的问题,为此采用矩阵分解的思路来降低计算量,同样采用构建自适应邻接矩阵时所采用的节点嵌入矩阵EA∈RN×d和相应的WA∈Rd×C×F与bA∈Rd×F,d为总嵌入维度,这里d<N,Θ=EAWA、b=EAbA,这样就显著减少了参数量,降低了复杂度。

综上所述,节点自适应图卷积(NAGCN)公式为

Z={IN+softmax[ReLU(EAETA)]}XEAWA+EAbA

式(24)中:X∈RN×C、Z∈RN×F分别为节点自适应图卷积的输入和输出,其中C为输入特征维度,F为输出特征维度;EA为嵌入矩阵;WA、bA为对应的权重和偏置矩阵。

2.6 门控融合模块

针对上面所采用的注意力和图卷积模块,采用门控机制进行融合,如图3所示。分别使用一个线性层将时空注意力输出和图卷积输出转换成相同维度,以便进行门控融合。在l时刻,时空注意力输出经过Linear-a后输出为${H}_{A}^{l}$∈RN×dh,图卷积输出经过Linear-b输出为${H}_{G}^{l}$∈RN×dh。如式(26)和式(27)所示,门控机制可以动态融合注意力和图卷积输出特征,学习到最优参数来自动调整二者之间权重。

Hl=z☉${H}_{A}^{l}$+(1-z)☉${H}_{G}^{l}$
z=σ(${H}_{A}^{l}$Wz,1+${H}_{G}^{l}$Wz,2+bz)

式中:Wz,1∈Rdh×dh、Wz,2∈Rdh×dh、bz∈Rdh为可学习参数;☉为逐元素乘积;σ(·)为Sigmoid激活函数;z为门控单元;Hl∈RN×dh为门控融合后的输出。

最后,通过回归层将门控融合后的输出H∈RT×N×dh转化为预测值。

回归层可表示为

Y=FC(H)

式(28)中:Y∈RQ×N×do为预测值,其中Q为预测时间步长;do为预测维度,这里最后预测值只有流量,do=1。

3 实验结果与分析

3.1 实验设置与数据集

使用pytorch框架实现本次实验,所有实验均在GPU上运行,GPU为 GeForce RTX 4060(8 GB内存)。数据集按6∶2∶2 划分为训练集、验证集和测试集。输入数据为历史12个时间步的交通流量序列,预测未来等长交通流量序列,由于数据集以 5 min 为时间间隔进行聚合,因此预测周期为1 h。节点自适应图卷积层数设置为2,每层隐藏层层数设置为64,嵌入维度df设置为24,自适应嵌入维度di设置为32,聚焦因子p设置为4,时空注意力层数均设置为3,注意力头数设置为4,使用Adam优化器,学习率设置为0.001,PEMS04、PEMS08数据集批次大小设置为16,由于PEMS07数据集较大,所以其批次大小设置为8。最大训练轮数设置为200轮,同时使用了早停机制,当验证集误差在20个连续时间步内收敛时就停止训练,防止模型过拟合并节省计算时间。在输入模型前对数据进行Z-score标准化。

X'=$\frac{X-\mu }{\sigma }$

式(29)中:μ、σ分别为输入流量序列的均值和方差。

采用3个公开交通数据集PEMS04、PEMS07、PEMS08进行实验,它们是加州交通局性能测量系统(performance measurement system, PEMS)收集的美国加州3个地区的真实高速公路数据。原始数据由道路检测器每 30 s采集,并聚合为5 min间隔的观测值。虽然数据集提供流量、速度和道路占有率,但本次研究仅利用交通流量特征进行建模。各数据集的详细统计信息如表1所示。

3.2 基准模型

为了验证本文模型的有效性,选取了经典模型和当下最先进模型与NAGC-FLA进行比较。

(1)VAR:向量自回归模型,捕捉多个时序两两之间的关系。

(2)SVR:支持向量回归模型,使用线性支持向量机实现预测。

(3)STGCN:在空间上使用图卷积,时间上采用时间门控卷积来获取时空依赖。

(4)DCRNN:采用扩散图卷积和编码器解码器结合来提取时空信息。

(5)DDGCRN[27]:采用分解动态图循环模型,并区分正常和异常交通信号与模型来提取时空特征。

(6)AGCRN:采用自适应参数可学习图卷积和GRU来捕获时空关系。

(7)Bi-AGGCN[28]:采用双向门控图卷积网络提取特征,再使用注意力网络聚合两路信息。

(8)STPGNN[29]:通过将节点识别并区分为关键节点和非关键节点,并分别对其使用相应图卷积来进行预测。

(9)ASTGCN:采用时空注意力和空间图卷积与时间时序卷积结合提取时空特征。

(10)GMAN:采用编码器解码器架构,编解码器都由时空注意力加门控融合构建,并加入转换注意力层减少误差传播。

(11)PDFormer:采用交通延迟感知模块的时空自注意力模型。

3.3 评价指标

为公平性评价模型预测效果好坏,采用3个评价指标来评定预测效果,即平均绝对误差(mean absolute error,MAE)、均方根误差(root mean square error,RMSE)和平均绝对百分比误差(mean absolute percentage error,MAPE),3个评价指标数值越小,模型预测的表现越佳。

$MAE=\frac{1}{n}\sum _{i=1}^{n}|{y}_{i}-{\widehat{y}}_{i}|$
$RMSE=\sqrt{\frac{1}{n}\sum _{i=1}^{n}({y}_{i}-{\widehat{y}}_{i}{)}^{2}}$
$MAPE=\frac{1}{n}\sum _{i=1}^{n}\left|\frac{{y}_{i}-{\widehat{y}}_{i}}{{y}_{i}}\right|\times 100\%$

式中:yi、${\widehat{y}}_{i}$分别为预测流量的真实值和预测值。

3.4 性能比较

将NAGC-FLA与11个基线模型开展对比实验,分析其预测精度和长期预测能力。表2为12步平均预测结果对比。由表2可知,NAGC-FLA在3个数据集上的评价指标均优于现有基线模型。与最优基线模型PDFormer相比,NAGC-FLA的MAE、RMSE、MAPE分别降低了2.49%、1.42%、3.72%。其中传统方法VAR和SVR由于无法提取非线性特征,结果相较深度学习方法表现较差;STGCN、DCRNN、ASTGCN和Bi-AGGCN则采用预定义的静态图结构来表达拓扑节点位置关系,获取真实路网空间中深层关系的能力不足,且忽略了节点之间流量变化模式的相似性,预测效果略差;而采用动态图结构的AGCRN、DDGCRN和STPGNN取得了比其更好的效果,说明在交通流量预测问题中精准捕捉动态空间依赖关系是极为重要的一环。NAGC-FLA也使用了动态图结构,并同时使用时空自注意力机制提取特征,在灵活提取时空特征的同时捕捉变化关系,因此表现出最优的预测性能。NAGC-FLA在PEMS04数据集上的3个评价指标相较于同样使用动态图结构的AGCRN分别降低了8.93%、7.75%、10.90%。ASTGCN在图卷积前后使用了注意力机制,GMAN和PDFormer则是基于注意力的模型,相较于使用时空图卷积模型的性能有一定幅度的提升。与GMAN相比,NAGC-FLA的评价指标分别降低了5.80%、3.06%、9.48%。相比于 PDFormer 使用传统自注意力机制的模型,NAGC-FLA通过聚焦线性注意力取得了较好的预测效果,说明了聚焦线性自注意力确实起到了在局部特征提取的前提下增强关键信息把控的作用。

图4和图5为在PEMS04和PEMS08数据集上NAGC-FLA与对比模型之间12步的误差结果可视化。由图4和图5可以看出,随着预测步长的增加,交通路网中会存在更加复杂的时空变化,预测难度大大增加,因此所有方法的性能都随之下降。NAGC-FLA在所有时间步上的预测效果均优于其他基线模型,尤其在中长期预测中NAGC-FLA的优势更加明显。STGCN和ASTGCN等模型在中长期预测中误差明显增大。虽然PDFormer效果仅次于NAGC-FLA,但NAGC-FLA在中长期预测中性能下降较慢,能够更好地考虑长期的时空依赖关系。

3.5 消融实验

为了评估该模型组件的有效性,模型在PEMS04和PEMS08数据集上进行消融实验,并设计以下对比模型进行实验。①w/o Ei:移除时空自适应嵌入Ei;②w/oEt:移除周期性嵌入Et;③w/o NAGCN:移除节点自适应图卷积;④w/o Transatt:将空间聚焦注意力换为传统注意力;⑤w/ogate:移除门控,采用加法进行特征融合。

除上述差异外,其余设置均与NAGC-FLA设置一致,表3所示为在PEMS04、PEMS07、PEMS08上进行预测未来12步的平均误差结果,从结果来看,NAGC-FLA相比于其他对比模型,效果均为最佳,证明本文模型的有效性。

由图6~图8可知,在消融实验中,移除自适应嵌入后预测效果进行了下降,证明自适应嵌入的确可以学习到不同交通模式下的变化趋势;移除周期性嵌入后效果同样也产生了下降,说明在天、周的周期中确实存在许多的可学习特征;在去掉了节点自适应图卷积后,效果也产生了下降,可见图卷积操作对于模型获取路网节点之间特征发挥重要作用;在将空间聚焦线性自注意力替换为传统注意力后,效果相较原来产生下降,这说明所提出的聚焦线性注意力完美替代了传统注意力,并有一定提升,这是由于聚焦函数增强了提取关键节点特征的能力。在此基础上,提出一个开放性的思考:是否线性注意力在交通流量预测问题中还有其他额外优势?Ning等[30]提出使用线性注意力进行交通流量预测还起到正则化作用;在将原有门控融合单元替换为加法进行融合后,发现效果大幅下降,这说明门控融合单元可以有效将注意力模块和图卷积模块进行融合。综上可知,所提出的这些模型组件在捕获时空特征方面是十分有效的。

3.6 聚焦线性注意力有效性分析

为探究所提出的聚焦函数是否可以起到增强特征提取的作用,在PEMS08数据集上对使用聚焦函数前后的查询Q、键K进行可视化分析。由图9(a)和图9(b)可知,在未经过聚焦函数作用前的QK分布较分散,存在许多干扰噪声,未能准确提取关键特征。而经过聚焦函数提取关键节点特征后的QK,如图9(c)和图9(d)所示,弱化关联较小的特征,增强更加重要的特征,特征分布更加集中,聚焦函数使注意力更加关注关键特征,提升对于交通流量空间关联的建模能力,提升其表达能力。

为了测试所提出的聚焦线性注意力是否真的能起到降低复杂度的作用,设计了2个变体模型进行实验。①no S FLA:不采用空间聚焦线性自注意力,而是在时间和空间维度都采用传统自注意力;②use ST FLA: 在采用空间聚焦线性自注意力的基础上,在时间维度也采用聚焦线性自注意力。

use S FLA即本文模型NAGC-FLA,使用空间聚焦线性自注意力和时间传统自注意力。表4为NAGC-FLA和变体模型在PEMS08数据集上的每轮训练时间和测试时间对比。为保证实验的严谨性,所有模型的batch_size和学习率均一致。由表4可知,相对于采用时空传统自注意力的no S FLA对比模型,所提出的空间聚焦线性注意力确实起到了降低计算复杂度的作用。而对于时空维度都采用聚焦线性自注意力的use ST FLA对比模型,发现时间维度上使用并不会起到降低计算复杂度的作用,反而会增大计算复杂度。这些证明了聚焦线性注意力在降低计算复杂度方面的有效性。

3.7 超参数分析

为了研究核心超参数对于实验效果的影响,在PEMS04和PEMS08数据集研究了不同自适应时空嵌入维度和聚焦因子对预测效果的影响。

通过消融实验,了解到自适应时空嵌入对模型预测效果的影响较大,所以研究自适应时空嵌入的不同维度是否对模型预测效果有较大的影响。由表5可知,由小到大分别设置了6个不同的维度进行实验,发现在嵌入维度为32时各项指标基本达到最优,此后维度提升效果变化不大,而随着维度提升,计算复杂度也会随之增大,发现当嵌入维度为32时,达到计算复杂度和效果的平衡,因此将自适应时空嵌入维度设置为32。

通过2.6节推导,可知当聚焦因子大于1时,聚焦函数可以发挥提升重点特征提取能力的作用,所以将其分别设置为2、3、4、5、8,来研究其效果变化。由表6可知,聚焦因子的设置对于预测效果影响不大,说明该超参数具有一定的鲁棒性。由此,选择聚焦因子为4作为所设参数,此时预测效果最佳。

同时也对图卷积模块中隐藏层维度进行了超参数实验,发现该超参数变化对实验结果影响较小,鲁棒性较好。

3.8 预测结果可视化

为了更直观地展示模型的预测性能,在PEMS04、PEMS07、PEMS08数据集上的交通流量数据进行可视化分析,图10分别展示了在3个数据集中各随机选择一个节点进行一天的预测流量和真实流量对比展示。

从3个数据集上的预测结果来看,模型能够准确辨识并预测当日的流量变化走向,对于早晚高峰流量的增长与下降也可精准识别,并能精确捕捉实际交通流的周期性和时空性变化。所选择节点的交通模式各不相同,模型能够准确捕捉节点所具有的独特模式,证明其能够处理复杂交通路网的动态变化关系。但在PEMS07上的预测结果相较于PEMS04、PEMS08更为精准,PEMS04 和 PEMS08 数据集出现了峰值滞后与峰值偏差现象。究其原因,在于这两个数据集的节点数量较少,同时流量数据也较为有限,模型在学习有限数据特征中存在一定泛化偏差,所以在PEMS07数据集这种有着较多节点数和流量数的数据集上预测结果会更为精确。

4 结论

(1)针对时空耦合特性,提出时空自适应嵌入来附加时空身份信息,有效解决时空异质性问题。

(2)使用线性注意力来代替传统注意力机制,并针对线性注意力局部特征提取的问题提出一种聚焦函数对其进行特征增强,能够替代并优于原有注意力模块,为注意力计算范式提供一种新颖且有效的替代方式。

(3)针对交通流量数据自身特性,分别在空间和时间维度采用聚焦自注意力和传统自注意力机制,并采用自适应图卷积加强路网信息探索,并对注意力和图卷积采用门控机制进行动态融合。

(4)在PEMS04、PEMS07、PEMS08数据集上的大量实验结果表明,本文模型在预测效果和计算量消耗上都有着良好表现。在未来时间中,将考虑对线性注意力是否还有其他部分需要优化,并结合国内交通特性,聚焦典型交通场景下的本土化验证与适配。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

闫佳和, 李红辉, 孙婧, 等. 面向交通流预测的时空图神经网络发展综述[J]. 计算机工程与应用, 2025, 61(21): 1-19.
[2]

Yan Jiahe, Li Honghui, Sun Jing, et al. The development of spatio-temporal graph neural networks for traffic flow prediction: a review[J]. Computer Engineering and Applications, 2025, 61(21): 1-19.
[3]

Khan A, Fouda M M, Do D T, et al. Short-term traffic prediction using deep learning long short-term memory: taxonomy, applications, challenges, and future trends[J]. IEEE Access, 2023, 11: 94371-94391.
[4]

钟松浩, 卢毅, 李理, 等. 基于跨周期稀疏技术的长时交通流预测模型[J]. 科学技术与工程, 2025, 25(24): 10468-77.
[5]

Zhong Songhao, Lu Yi, Li Li, et al. Long term traffic flow forecasting model based on cross period sparse technique[J]. Science Technology and Engineering, 2025, 25(24): 10468-10477.
[6]

Williams B M, Hoel L A. Modeling and forecasting vehicular traffic flow as a seasonal ARIMA process: theoretical basis and empirical results[J]. Journal of Transportation Engineering, 2003, 129(6): 664-672.
[7]

蒋挺, 杨柳, 刘亚林, 等. 基于分解动态时空分解框架预测交通流量[J]. 科学技术与工程, 2025, 25(7): 3007-3017.
[8]

Jiang Ting, Yang Liu, Liu Yalin, et al. Traffic flow prediction based on the dynamic spatial-temporal decomposition framework[J]. Science Technology and Engineering, 2025, 25(7): 3007-3017.
[9]

Pascale A, Nicoli M. Adaptive Bayesian network for traffic flow prediction[C]// IEEE Statistical Signal Processing Workshop (SSP). Nice: IEEE, 2011: 177-180.
[10]

Sun B, Cheng W, Goswami P, et al. Flow-aware WPT k-nearest neighbours regression for short-term traffic prediction[C]// IEEE Symposium on Computers and Communications (ISCC). Heraklion: IEEE, 2017: 48-53.
[11]

Geng Z, Xu J, Wu R, et al. STGAFormer: spatial-temporal gated attention transformer based graph neural network for traffic flow forecasting[J]. Information Fusion, 2024, 105: 102228.
[12]

Liu Q, Liu T, Cai Y, et al. Explanatory prediction of traffic congestion propagation mode: a self-attention based approach[J]. Physica A: Statistical Mechanics Its Applications, 2021, 573: 125940.
[13]

Ma X, Dai Z, He Z, et al. Learning traffic as images: a deep convolutional neural network for large-scale transportation network speed prediction[J]. Sensors, 2017, 17(4): 818.
[14]

Jin G, Liang Y, Fang Y, et al. Spatio-temporal graph neural networks for predictive learning in urban computing: a survey[J]. IEEE Transactions on Knowledge Data Engineering, 2023, 36(10): 5388-408.
[15]

崔建勋, 要甲, 赵泊媛. 基于深度学习的短期交通流预测方法综述[J]. 交通运输工程学报, 2024, 24(2): 50-64.
[16]

Cui Jianxun, Yao Jia, Zhao Boyuan. Review on short-term traffic flow prediction methods based on deep learning[J]. Journal of Traffic and Transportation Engineering, 2024, 24(2): 50-64.
[17]

Dai G, Kong W, Liu Y, et al. Multi-perspective convolutional neural networks for citywide crowd flow prediction[J]. Applied Intelligence, 2023, 53(8): 8994-9008.
[18]

Yuan Q, Wang J, Han Y, et al. DAGCAN: decoupled adaptive graph convolution attention network for traffic forecasting[J]. IEEE Transactions on Intelligent Transportation Systems, 2025, 26(3): 3513-3526.
[19]

Yu B, Yin H, Zhu Z J. Spatio-temporal graph convolutional networks: a deep learning framework for traffic forecasting[J]. arXiv Preprint arXiv: 04875, 2017.
[20]

Li Y G, Yu R, Shahabi C, et al. Diffusion convolutional recurrent neural network: data-driven traffic forecasting[J]. arXiv Preprint arXiv: 01926, 2017.
[21]

Guo S, Lin Y, Feng N, et al. Attention based spatial-temporal graph convolutional networks for traffic flow forecasting[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Honolulu: AAAI, 2019: 922-929.
[22]

Wu Z, Pan S, Long G, et al. Graph WaveNet for deep spatial-temporal graph modeling[C]// 28th International Joint Conference on Artificial Intelligence. Macao: IJCAI, 2019: 1907-1913.
[23]

Bai L, Yao L, Li C, et al. Adaptive graph convolutional recurrent network for traffic forecasting[J]. Advances in Neural Information Processing Systems, 2020, 33: 17804-17815.
[24]

Li F, Feng J, Yan H, et al. Dynamic graph convolutional recurrent network for traffic prediction: benchmark and solution[J]. ACM Transactions on Knowledge Discovery from Data, 2023, 17(1): 1-21.
[25]

Jiang W, Luo J, He M, et al. Graph neural network for traffic forecasting: the research progress[J]. ISPRS International Journal of Geo-Information, 2023, 12(3): 100.
[26]

Liu J, Kang Y, Li H, et al. STGHTN: spatial-temporal gated hybrid transformer network for traffic flow forecasting[J]. Applied Intelligence, 2023, 53(10): 12472-12488.
[27]

Xing Z, Huang M, Li W, et al. Spatial linear transformer and temporal convolution network for traffic flow prediction[J]. Scientific Reports, 2024, 14(1): 4040.
[28]

Angelos K, Apoorv V, Nikolaos P, et al. Transformers are RNNs: fast autoregressive transformers with linear attention[C]// International Conference on Machine Learning (ICML). Online: IMLS, 2020: 5156-5165.
[29]

Shao Z, Zhang Z, Wang F, et al. Spatial-temporal identity: a simple yet effective baseline for multivariate time series forecasting[C]// Proceedings of the 31st ACM International Conference on Information & Knowledge Management. Atlanta: ACM, 2022: 4454-4458.
[30]

Jiang J, Han C, Zhao W X, et al. Pdformer: propagation delay-aware dynamic long-range transformer for traffic flow prediction[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Washington, D.C.: AAAI, 2023: 4365-4373.
[31]

Weng W, Fan J, Wu H, et al. A decomposition dynamic graph convolutional recurrent network for traffic forecasting[J]. Pattern Recognition, 2023, 142: 109670.
[32]

贺文武, 裴博彧, 李雅婷, 等. 基于双向自适应门控图卷积网络的交通流预测[J]. 交通运输系统工程与信息, 2023, 23(1): 187-197.
[33]

He Wenwu, Pei Boyu, Li Yating, et al. Traffic flow forecasting based on bi-directional adaptive gating graph convolutional networks[J]. Journal of Transportation Systems Engineering and Information Technology, 2023, 23(1): 187-197.
[34]

Kong W, Guo Z, Liu Y. Spatio-temporal pivotal graph neural networks for traffic flow forecasting[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver: AAAI, 2024: 8627-8635.
[35]

Ning X J. Linear attention is enough in spatial-temporal forecasting[J]. arXiv Preprint arXiv: 09158, 2024.

基金资助

国家自然科学基金(62371182)

PDF (12178KB)

40

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录