智能网联混合交通流交叉口车辆轨迹-信号配时协同控制

裴红磊; 赵红星; 聂江龙; 梁瑞艳; 何瑞春

doi:10.12404/j.issn.1671-1815.2503855

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (15) :6561-6570 DOI: 10.12404/j.issn.1671-1815.2503855

交通运输

智能网联混合交通流交叉口车辆轨迹-信号配时协同控制

裴红磊 ¹ ,
赵红星 ¹^,^* ,
聂江龙 ² ,
梁瑞艳 ³ ,
何瑞春 ¹

作者信息 +

Vehicle Trajectory-signal Timing Coordinated Control at Intersections of Intelligent Connected Mixed Traffic Flows

Author information +

文章历史 +

摘要

针对智能网联混合交通环境下车辆轨迹调控与信号配时协同优化难题,提出一种基于深度强化学习的双模块协同控制框架。通过构建时距管理-信号配时双环耦合机制实现动态优化:时距管理模块采用设计具有动态感知信号相位能力改进CACC(cooperative adaptive cruise control)跟驰模型,并通过时空约束生成CAVs(connected and automated vehicles)速度引导策略,确保车流连续平稳运行;信号配时模块设计具有动态感知信号相位能力的D3QN(double dueling deep Q-network)算法,构建包含相位长度、累计排队长度等34维特征的状态空间,以车均排队时间作为目标奖励函数。采用双网络架构与优先经验回放机制,通过ε-衰减策略平衡探索与开发,实现信号相位时长动态决策。通过SUMO-Python联合仿真平台进行多场景验证实验,在兰州市东方红广场西侧交叉口交通流量条件下进行多场景验证实验。对比实验表明:相较于传统固定配时方法、基准D3QN算法及传统车路协同算法,本模型使平均排队长度、平均车速和排队时间等指标均有所优化。研究成果验证了车辆轨迹控制与信号配时优化的深度耦合对交叉口通行效率的提升作用,为智能网联混合交通流场景下的车辆轨迹—信号配时协同控制提供具备研究价值的解决方案。

Abstract

To address the cooperative optimization challenge of vehicle trajectory regulation and signal timing in intelligent and connected hybrid traffic environments, a dual-module cooperative control framework based on deep reinforcement learning was proposed. A dual-loop coupling mechanism integrating time-space management and signal timing was developed for dynamic optimization. The time-space management module adopted an improved CACC (cooperative adaptive cruise control) car-following model with dynamic signal phase awareness, generating speed guidance strategies for connected and automated vehicles (CAVs) through spatiotemporal constraints to ensure continuous traffic flow. The signal timing module designed a double dueling deep Q-network (D3QN) algorithm with dynamic phase perception capability, constructing a 34-dimensional state space containing phase duration, cumulative queue length, and other parameters. A reward function targeting average vehicle queuing time was established. The algorithm utilized dual-network architecture and prioritized experience replay mechanism, achieving dynamic phase duration decisions through an ε-decay strategy to balance exploration and exploitation. Multi-scenario verification experiments were conducted using the SUMO-Python co-simulation platform under traffic flow conditions at the western intersection of Dongfanghong Square in Lanzhou City. Comparative tests demonstrated that compared with traditional fixed-time control, baseline D3QN algorithm, and conventional vehicle-infrastructure cooperative algorithms, the proposed model improved key metrics including average queue length, average speed, and queuing time. The results validate that deep coupling between vehicle trajectory control and signal timing optimization enhances intersection efficiency. The study provides an valuable research solution for cooperative vehicle trajectory-signal timing control in intelligent and connected hybrid traffic scenarios.

Graphical abstract

关键词

城市交通 / 车辆轨迹-信号配时协同控制 / D3QN算法 / 混合交通流 / 跟驰模型

Key words

urban traffic / vehicle trajectory-signal timing coordinated control / D3QN algorithm / mixed traffic flow / car-following model

引用本文

引用格式 ▾

裴红磊, 赵红星, 聂江龙, 梁瑞艳, 何瑞春. 智能网联混合交通流交叉口车辆轨迹-信号配时协同控制[J]. 科学技术与工程, 2026, 26(15): 6561-6570 DOI:10.12404/j.issn.1671-1815.2503855

PEI Hong-lei, ZHAO Hong-xing, NIE Jiang-long, LIANG Rui-yan, HE Rui-chun. Vehicle Trajectory-signal Timing Coordinated Control at Intersections of Intelligent Connected Mixed Traffic Flows[J]. Science Technology and Engineering, 2026, 26(15): 6561-6570 DOI:10.12404/j.issn.1671-1815.2503855

登录浏览全文

4963

注册一个新账户忘记密码

自20世纪90年代以来,强化学习方法逐渐开始应用于交通信号控制问题中^[1]。强化学习通过学习信号控制动作与交通流变化之间的关系来隐式地对复杂交通系统动力学进行建模,其中经典的Q学习方法就是通过状态动作值函数Q^π(s,a)来反映在交通状态s下依据某个策略π执行控制动作a后的累计回报期望,并通过贝尔曼方程迭代逼近最优动作值函数Q^*(s,a),从而获取全局最优策略。早期的Q-learning方法利用贝尔曼方程迭代更新状态-动作值函数,从而逼近最优策略。Eltantawy等^[2]回顾了1997—2010年基于强化学习的信号控制研究,指出此阶段的研究主要局限于表格型Q学习及线性函数逼近,仅适用于低维简单场景。

随着深度学习的兴起,深度强化学习(deep reinforcement learning, DRL)将深度神经网络用于Q值估计,为复杂状态空间的信号控制问题提供了可扩展解法。Li等^[3]采用DQN(deep Q-network)算法实现单点交叉口的自适应信号控制,仿真结果表明其可显著降低车辆延误。尽管DQN采用了经验回放机制与目标网络结构,但仍然存在Q学习中容易出现过估计动作Q值的问题,因此,研究者提出了多种改进算法^[4-14]。Van Hasselt^[5]提出双重DQN,将动作选择与值函数进行解耦,由评估网完成动作选择,目标网络负责完成值函数估计,有效解决Q学习中Q值过估计的问题。由于传统经验回放采用均匀采样,这就使得智能体在进行学习时无法根据经验的不同价值进行处理,因此文献[4,14]引入优先经验回放与注意力机制,通过应用具有优先级的经验样本,使得具备高TD误差的样本获得较高的抽样概率,以优先处理出现次数少但是价值高的经验,提升效果的同时加快学习速度。此外,赖建辉^[9]采用的D3QN应用了决斗网络结构,将DQN中的估算Q值改成估算状态值函数S以及依赖于状态的行为优势函数A,使得在每次网络更新时将状态下所有动作Q值进行更新,大大提升了训练效率。乔志敏等^[11]则采用动态权重更新的策略提升智能体训练效率。除了对DRL算法进行网络架构的更新以外,一些学者还基于DRL算法,采用了更为灵活的应用场景。例如,孙浩等^[6]提出了分布式DQN算法,更好地对交通特征进行提取,宋太龙等^[8]验证了在大型活动路网高压力交叉口场景下DRL算法的优越性;孙伟等^[10]则考虑混合交通流场景下对车辆轨迹以及信号控制策略进行协同控制,李振龙等^[12]则考虑采用更为灵活的双周期信号控制策略对交叉口通行效率进行优化,文献[7,13]通过对奖励函数的创新,验证了双网络结构的优势。这些研究逐步突破了传统信号控制在策略固定、状态描述不足等方面的局限,表明DRL具备在动态交通系统中实现自学习与自适应控制的潜力。

值得注意的是,信号控制的目标在于协调宏观交通流运行,而车辆行为则决定了交通流的微观演化过程。两者在时间与空间尺度上紧密耦合:信号决策直接影响车辆的加减速模式,而车辆轨迹又反过来塑造了信号优化的约束边界。因此,信号优化问题的本质并非单纯的相位决策,而是一个多尺度的时空协调优化。基于这一认识,车辆轨迹优化逐渐成为支撑信号控制优化的重要研究方向。早期的轨迹优化研究以车辆动力学为基础,Rakha等^[15]通过解析方法推导了单车通过信号交叉口的最优速度曲线;Asadi等^[16]提出预测巡航控制(predictive cruise control, PCC),利用信号剩余时间预测车辆的加减速轨迹,实现提前调整以减少停车等待。

随着智能网联汽车的推广与应用,部分学者开始构建不同智能网联汽车比例时的宏观异质交通流模型。Ngoduy^[17]分析了 CAV(connected and automated vehicle) 相比于人工驾驶车辆具有更小的跟车间距且易形成 CAV 车队的特性,从跟驰模型的角度提出了针对 CAV 车队的宏观交通流模型,并通过上匝道瓶颈数值仿真实验验证了所提模型的特性。Ngoduy等^[18]基于 CACC(cooperative adaptive cruise control) 车辆的协同驾驶行为策略,提出了多前车双向预测下的 CACC 异质交通流宏观模型,并分别从周期性边界条件和开放性边界条件出发,设计数值仿真实验,验证所提模型的可靠性。

然而,随着交通流复杂度的提升,车辆间的动态交互和时空依赖关系使得单一层级的优化难以实现系统全局最优。解析方法虽具备良好的物理可解释性,但在信号相位耦合场景下,模型在感知能力、响应时延与控制精度上的差异导致其计算复杂度急剧上升。

因此,研究开始进一步转向信号-轨迹协同优化的思路,旨在通过统一建模框架同时刻画信号控制策略与车辆行为决策,使两者在时空层面形成闭环反馈。Li等^[19]在理想自动驾驶场景下构建信号—轨迹联合优化模型,通过枚举算法获得最优周期与绿灯相位;Yu等^[20]采用混合整数线性规划(mixed-integer linear programming,MILP)方法,综合考虑车辆转向、信号相位顺序与持续时间等约束,建立了分层多目标优化框架;Guo等^[21]提出结合动态规划与启发式算法(dynamic programming-simple heuristic,DP-SH)的求解策略,在降低计算时间的同时保持较优解质量;Tajalli等^[22]通过线性化非线性约束将问题转化为可求解的混合整数线性规划,并利用松弛分解实现车道级控制优化;Lin等^[23]则从空间结构划分的角度出发,将交叉口划分为核心区、缓冲区与自由区,分别对信号与轨迹进行分段优化。这些研究推动了从分层独立控制向跨层协同优化的转变,但其优化求解依赖显式交通模型,在复杂交通扰动与异质车流环境下仍面临泛化与鲁棒性不足的问题。

当前智能混合交通流研究中现有方法主要存在三个关键挑战:①针对全自动驾驶场景设计,难以应对现实交通中人驾车辆与智能网联车辆混合行驶的复杂情况;②传统信号控制系统对车辆运行状态的感知能力有限;③基于解析模型的传统车辆轨迹-信号配时协同控制模型在动态交通环境中计算效率较低等不足。现提出基于深度强化学习的智能混合交通流场景下车辆轨迹-交通信号协同控制模型,通过智能感知与动态决策相结合的方法,重点解决混合交通场景中车辆轨迹预测不准、信号配时响应滞后等问题。可改善传统交叉口信号控制方法在混合交通流场景下车辆轨迹感知与应用方面的局限性。该方法能够自动学习交通流演化规律,实时处理路口多维信息,相比传统方法在控制策略更新速度与实际应用效果上均有显著提升。

本文的具体工作如下:

(1)考虑智能网联混合交通流中不同车辆的交通特性,提出了基于改进跟驰模型的智能网联混合交通流车辆时距管理模型,从微观角度实现智能网联混合交通流场景下对不同车辆特性的精细模拟,继而通过时距管理对车辆进行差异化轨迹引导控制。

(2)考虑交通信号控制优化中的车辆行驶轨迹与信号控制的耦合交互作用,建立车辆轨迹-信号配时协同控制模型,优化交叉口的流量和通行能力。

(3)通过实验验证所提出的模型在求解质量上优于传统的固定配时方法、对照试验中的车路协同算法A以及DRL中的基准D3QN算法。

1 智能网联混合交通流车辆轨迹-信号配时协同控制模型

1.1 基于改进跟驰模型的车辆轨迹控制模型

车头时距(time headway, THW)作为前后车辆时间间隔的量化表征,是影响交通流安全性、通行效率及能耗特性的核心参数。对于CAVs,现有研究主要通过美国加州大学PATH(Program for Appropriate Technology in Health)实验室提出的协同自适应巡航控制(CACC)模型实现车头时距的动态调控,但文献[24]研究表明,当期望车头时距参数设定失当时,模型会产生非物理性车辆行为(如负间距或倒车现象),严重制约了其在复杂交通场景中的应用可靠性;并且针对这个问题,基于PATH实验室模型框架,提出了一种融合时变期望间距的改进型车头时距优化模型,期望时距由当前车辆速度决定,以确定其跟车间距。时变期望间距的计算公式为

(1)h_c(t)=max$\left\{{\stackrel{·}{\mathit{x}}}_{\mathit{i}}\left(\mathit{t}\right)\mathit{\tau }+\mathit{l}+{\mathit{s}}_{0}+\frac{{\stackrel{·}{\mathit{x}}}_{\mathit{i}-1}^{2}\left(\mathit{t}\right)}{2{\mathit{a}}_{\mathit{i}-1}}-\frac{{\stackrel{·}{\mathit{x}}}_{\mathit{i}}^{2}\left(\mathit{t}\right)}{2{\mathit{a}}_{\mathit{i}}},\mathit{l}+{\mathit{s}}_{0}\right\}$

式(1)中:s₀为停车后跟随车与前车之间所允许的最小间距,取值为2 m;l为前车的车身长度,取5 m;τ为期望车间时距,s;${\stackrel{·}{\mathit{x}}}_{\mathit{i}-1}$(t)、${\stackrel{·}{\mathit{x}}}_{\mathit{i}}$(t)为前后车速度,m/s;a_i_-1、a_i为前后车最大减速度,均取值为-8m/s²。

由于智能网联车辆可以获取前车的状态信息,文献[24]通过对获取的前车状态信息进行平均,以获得综合的前车加速度状态,并将其纳入加速度调整模型中。基于学者普遍采用的0.6 s目标时距,并通过测试发现该取值时实验效果最佳,将CACC的目标时距T_c设为0.6 s。目标时距T_c满足约束

(2) x_i_,_i_-1(t)≥T_cv_i(t)

式(2)中:x_i_,_i_-1(t)表示当前车辆i与前车i-1的车间距;v_i(t)为当前车辆i在t时刻的速度;所提出的改进CACC跟驰模型数学表达式为

(3)

${\stackrel{·}{\mathit{v}}}_{\mathit{n}}$(t)=k₁$\stackrel{\mathit{m}}{\sum _{\mathit{i}=1}}{\stackrel{·}{\mathit{v}}}_{\mathit{n}-1}$(t)+k₂[x_n_-1(t)-x_n(t)-h_c(t)]+

k₃{pΔv_n(t)+q[${\overline{\mathit{v}}}_{\mathit{m}}$(t)-v_n(t)]}

式中:${\stackrel{·}{\mathit{v}}}_{\mathit{i}}$(t)为车辆i在t时刻的目标输出加速度;${\stackrel{·}{\mathit{v}}}_{\mathit{i}-1}$(t)为前车i-1在t时刻的加速度;m为可以与当前CACC车辆通信的前方车辆数量,取值为3;p、q和w分别为驾驶员对前方相邻车辆速度、前方多车的平均速度以及信号相位的注意力,其中p+q+w=1,取值分别为0.5、0.2、0.3;${\overline{\mathit{v}}}_{\mathit{m}}$(t)=$\stackrel{\mathit{m}}{\sum _{\mathit{i}=1}}$v_i(t)/m为前方多车的平均速度;k₁、k₂和k₃分别为CACC跟驰模型加速度控制系数、车间距误差控制系数与速度差控制系数,取值分别为k₁=1 s^-1、k₂=0.2 s^-1、k₃=3 s^-1;T_c为CACC期望车间时距,取值为0.6 s^[24]。

为进一步增强车辆对信号相位的响应能力,实现车辆轨迹与信号时序的耦合协同,在改进CACC模型基础上,引入了基于有限滚动时域的建议车速v_advice计算方法。该方法通过基于当前通行相位剩余时长构成的有限预测时域,优化车辆轨迹,具体计算如下:

设g(t)为t时刻通行相位剩余时长,Δt为仿真时间步长,取值为1 s,并向上取整$\lceil\rceil$,可得有限滚动时域预测步数,表达式为

(4)$N=\left\lceil\frac{g(t)}{\Delta t}\right\rceil$

在时域[t,t+g(t)]内建立目标函数,用于求解车辆i在预测时域内最优速度序列$\{{\mathit{v}}_{\mathit{i}}^{\mathrm{*}}{\left(\mathit{k}\right)\}}_{\mathit{k}=0}^{\mathit{N}}$,即

(5)$\{{\mathit{v}}_{\mathit{i}}^{\mathrm{*}}{\left(\mathit{k}\right)\}}_{\mathit{k}=0}^{\mathit{N}}$=argmin$\stackrel{\mathit{N}-1}{\sum _{\mathit{k}=0}}${λ₁[v_i(k)-v_max]²+λ₂${\left[\frac{{\mathit{v}}_{\mathit{i}}(\mathit{k}+1)-{\mathit{v}}_{\mathit{i}}\left(\mathit{k}\right)}{\mathrm{\Delta }\mathit{t}}\right]}^{2}$}

式(5)中:λ₁为速度偏离控制项系数;λ₂为速度平滑控制项系数,均取值为0.5。前者鼓励目标车辆以尽可能高的速度快速通过当前路口,后者鼓励目标车辆平滑加速,避免加速度剧烈变化。其中第k步离散加速度$\frac{{\mathit{v}}_{\mathit{i}}(\mathit{k}+1)-{\mathit{v}}_{\mathit{i}}\left(\mathit{k}\right)}{\mathrm{\Delta }\mathit{t}}$满足约束

(6)$\frac{{\mathit{v}}_{\mathit{i}}(\mathit{k}+1)-{\mathit{v}}_{\mathit{i}}\left(\mathit{k}\right)}{\mathrm{\Delta }\mathit{t}}$=$\left\{\begin{array}{ll}\mathrm{m}\mathrm{i}\mathrm{n}\left\{\begin{array}{l}\frac{{\mathit{v}}_{\mathit{i}}(\mathit{k}+1)-{\mathit{v}}_{\mathit{i}}\left(\mathit{k}\right)}{\mathrm{\Delta }\mathit{t}},\\ {\mathit{a}}_{\mathrm{a}\mathrm{c}\mathrm{c}\mathrm{e}\mathrm{l}}\end{array}\right.& \frac{{\mathit{v}}_{\mathit{i}}(\mathit{k}+1)-{\mathit{v}}_{\mathit{i}}\left(\mathit{k}\right)}{\mathrm{\Delta }\mathit{t}}>0\\ \mathrm{m}\mathrm{a}\mathrm{x}\left\{\begin{array}{l}\frac{{\mathit{v}}_{\mathit{i}}(\mathit{k}+1)-{\mathit{v}}_{\mathit{i}}\left(\mathit{k}\right)}{\mathrm{\Delta }\mathit{t}},\\ {\mathit{a}}_{\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}}\end{array}\right.& \frac{{\mathit{v}}_{\mathit{i}}(\mathit{k}+1)-{\mathit{v}}_{\mathit{i}}\left(\mathit{k}\right)}{\mathrm{\Delta }\mathit{t}}\le 0\end{array}\right.$

(7)s.t. $\left\{\begin{array}{ll}{\mathit{v}}_{\mathit{i}}\left(0\right)={\mathit{v}}_{\mathit{i}}\left(\mathrm{t}\right)& \mathrm{ }\\ {\mathit{v}}_{\mathit{i}\mathrm{a}\mathrm{d}\mathrm{v}\mathrm{i}\mathrm{c}\mathrm{e}}\left(\mathrm{t}\right)={\mathit{v}}_{\mathit{i}}^{\mathrm{*}}\left(1\right)& \mathrm{ }\\ {\mathit{v}}_{\mathit{i}}\left(\mathrm{k}\right)\le {\mathit{v}}_{\mathrm{m}\mathrm{a}\mathrm{x}},\mathit{　}\mathrm{k}=\mathrm{0,1},\dots,\mathrm{N}& \end{array}\right.$

将速度序列$\{{\mathit{v}}_{\mathit{i}}^{\mathrm{*}}{\left(\mathit{k}\right)\}}_{\mathit{k}=0}^{\mathit{N}}$表示成向量形式v=$\left[{\mathit{v}}_{\mathit{i}}\right(0),{\mathit{v}}_{\mathit{i}}(1),\dots,{\mathit{v}}_{\mathit{i}}{\left(\mathit{N}\right)]}^{\mathrm{T}}$并展开,可得目标函数矩阵二次型,即

(8)J=$\frac{1}{2}$v^TQv+c^Tv+d

式(8)中:矩阵Q与向量c分别为目标函数的系数矩阵与常数项的线性组合;d为常数项,表达式分别为

(9)

$\left\{\begin{array}{l}\mathit{Q}=2{\mathrm{\lambda }}_{1}\mathit{E}+2{\mathrm{\lambda }}_{2}{\mathit{D}}^{\mathrm{T}}\mathit{D}\\ \mathit{c}=-2{\mathrm{\lambda }}_{1}\left\{{\mathrm{v}}_{\mathrm{i}}\right(\mathit{k}\left)\right\}{\mathrm{v}}_{\mathrm{m}\mathrm{a}\mathrm{x}}\\ \mathit{d}=\stackrel{\mathrm{N}-1}{\sum _{\mathrm{k}=0}}{\mathrm{\lambda }}_{1}{\mathrm{v}}_{\mathrm{m}\mathrm{a}\mathrm{x}}^{2}\end{array}\right.$

式(9)中:E为单位矩阵;D为一阶差分矩阵,由目标函数的矩阵二次型可得。对于Hessian矩阵Q,单位矩阵E必然正定,且D^TD为典型离散拉普拉斯算子,D^TD也正定,亦得Hessian矩阵Q也为正定,因此目标函数为严格凸,即为严格凸二次规划函数。

在本问题中,约束条件包括速度边界和加速度限制,这些约束均为线性不等式或等式,因此它们定义了一个非空的闭凸可行域。根据凸优化理论,若目标函数是严格凸,且约束条件定义了一个非空闭凸集,则该二次规划问题有且只有一个全局可行最优解。即所建模型有且仅有一个最优速度序列。

对目标函数求解得到最优速度序列之后,将当前控制周期车辆i的建议车速v_advice作为下一时刻最优速度即${\mathit{v}}_{\mathit{i}}^{\mathrm{*}}$(1),并引入式(3)速度控制项中,即得到模型所采用的改进之后的CACC模型公式,即

(10)${\stackrel{·}{\mathit{\nu }}}_{\mathit{i}}$(t)=k₁$\stackrel{\mathit{m}}{\sum _{\mathit{i}=1}}{\stackrel{·}{\mathit{\nu }}}_{\mathit{i}-1}$(t)+k₂[x_i_-1(t)-x_i(t)-h_c(t)]+k₃{pΔv_i(t)+q[${\overline{\mathit{v}}}_{\mathit{m}}$(t)-v_i(t)]+w[v_i_advice-v_i(t)]}

1.2 基于D3QN算法的信号配时模型

在交通信号控制领域,与依赖预设规则的传统信号控制相比,DRL能够通过深度神经网络提取交通状态中的高维特征,并结合经验回放池和目标网络机制,动态适应复杂的城市交通环境,从而更好地应对交通流量的动态变化。因此,结合D3QN算法,提出智能网联混合交通流交叉口车辆轨迹-信号配时协同控制模型,以优化交通信号配时,减少交通拥堵、车辆等待时间。在实现对交通系统的精准控制的同时,全面优化交通流。协同控制框架如图1所示。

1.2.1 动作空间

定义交通信号控制模型中智能体动作空间为离散集合,动作决策包括智能体对当前相位执行的延长时间,最小绿灯时间为9 s,最大绿灯时间为40 s。包含所有可能的信号灯控制动作表达式为

(11) A={0,1,…,31}

动作0表示不延长当前相位,系统将按照预设相序及相位时长执行。若动作值不为0,则表示智能体对当前相位采取对应的延长操作(以秒为单位)。在每次相位切换前,系统会强制执行预定义的3 s黄灯相位作为过渡。需要说明的是,黄灯相位作为系统内置的约束条件,并不属于智能体的动作空间范畴。

1.2.2 状态空间

定义模型中状态空间为高维空间,表达式为

(12) S_t={s₁,s₂,…,s_m;s_signal}

式(12)中:S_t为t时刻环境状态,其中s_j表示当前车道j的状态,包括车道内车辆排队长度以及车道内排队车辆累计排队时间(l_j,t_j),j取值为1,2,…,m;其中m为所有当前交叉口进道车道数量;S_signal为当前信号灯状态,包括当前信号相位相序及相位时长,s。

1.2.3 奖励函数

定义模型的奖励函数为相邻动作决策之间车辆平均排队时间的差值,表达式为

(13)r_t=-$\frac{1}{\mathit{N}}\stackrel{\mathit{N}}{\sum _{\mathit{i}=1}}$W_it, i=1,2,…,N

式(13)中:r_t为智能体在t时刻的奖励,用负的车均排队时间表示;W_it为t时刻车辆i的累计等待时间;N为t时刻交叉口所有进道车道累计进入车辆总数。

1.2.4 D3QN算法

在D3QN算法中,智能体通过贪婪策略($\epsilon$-greedy policy)在动作空间中选择最佳动作,表达式为

(14)a^*(s)=$\left\{\begin{array}{ll}\underset{\mathit{a}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{\mathit{Q}}_{\mathrm{e}\mathrm{v}\mathrm{a}\mathrm{l}}(\mathit{s},\mathit{a};\mathit{\theta }),& \mathrm{概}\mathrm{率}\mathrm{为}1-\mathit{\epsilon }\\ \mathrm{随}\mathrm{机}\mathrm{动}\mathrm{作},& \mathrm{概}\mathrm{率}\mathrm{为}\mathrm{\epsilon }\end{array}\right.$

式(14)中:Q_eval(s,a;θ)为智能体在状态s、特定动作a、评估网络参数θ下的Q值。

Q值的计算是D3QN算法的核心部分。D3QN的评估网络采取Dueling结构,将Q值分解为状态值函数V(s)和优势函数A(s,a)。在智能体各动作决策间收益差异较小时,状态值函数V(s)可以为模型提供基准参考值,提升智能体决策鲁棒性,帮助模型作出更稳健的决策。优势函数A(s,a)则对各动作决策相比于平均水平的收益优势进行量化,即在给定状态下,反映各个动作相对于平均水平的表现优劣。表达式为

(15)Q_eval(s,a;θ)=V(s;θ)+A(s,a;θ)-$\frac{1}{\left|\mathit{A}\right|}\sum _{\mathit{a}″}$A(s',a″;θ)

式(15)中:θ为评估网络参数;V(s)为状态s下所有可能动作的期望回报;A(s,a)为特定动作a相对于平均价值的差异;$\left|\mathit{A}\right|$为动作空间的大小,即智能体所有动作的数量;a″为动作空间中元素;$\frac{1}{\left|\mathit{A}\right|}\sum _{\mathit{a}″}$A(s,a″)为所有动作优势的平均,以避免出现对某个动作的过估计。在D3QN的训练过程中,目标网络Q值的计算仍然基于贝尔曼方程,但此时是通过目标网络的状态价值与优势函数来进行估算。目标Q值具体计算公式为

(16)Q_target(s,a)=r+γ[V(s')+A(s',a';θ^-)-$\frac{1}{\left|\mathit{A}\right|}\sum _{\mathit{a}″}$A(s',a″;θ^-)]

式(16)中:r为即时奖励;γ 为折扣因子,表示未来回报的现值;s'为下一状态;a'为下一动作;θ^- 为目标网络的参数。评估网络参数θ通过计算目标Q值与当前估计Q值之间的损失L(θ),并结合反向传播算法更新,从而驱使智能体在每次训练迭代中都朝着最优策略逼近。更新策略表达式为

(17)$\mathcal{L}(\theta)=E\left\{\left[Q_{\text {target }}(s, a)-Q_{\text {eval }}(s, a ; \theta)\right]^{2}\right\}$

2 仿真与结果分析

2.1 仿真环境与参数设置

仿真实验采取SUMO v1.6.0平台,通过Traci接口实现模型算法与仿真程序实时交互。硬件平台为NVIDIA P5000 GPU,算法通过深度学习框架Pytorch实现。

2.1.1 交叉口及相位设置

选取兰州市东方红广场西侧金昌路—庆阳路交叉口作为实例,以构建能够准确反映中心城区交通运行特征的仿真场景。该路口地处商业与办公活动高度集中的核心区域,周边道路功能复合,交通需求常年保持在较高水平。该交叉口渠化布局完整,四个进口均设置独立左转车道及直行-右转合流车道,组织形态清晰,具备典型的城市主干道路口特征。现状信号以四相位运行,包括南北直行、南北左转、东西直行及东西左转,相位结构稳定;右转车道采用常绿方式,在建模中亦按无信号控制处理,以保持与实际运行的一致性。各进道口交通流量数据具体如表1所示。

为获取真实交通运行数据,于 2025年3月22日15:07—16:07时段对该路口开展分向交通量采集。该时段处于午后向晚高峰过渡阶段,流量水平相对平稳,能够反映该区域的典型通行特征。采集工作采用路口监控视频与人工辨识相结合的方法,并将结果折算为标准乘用车当量(pcu/h)。仿真环境参数设置如表2所示。

根据表1的统计结果,东西向直行流量明显高于南北向,呈现明显的主次干道结构。四个方向的左转需求均维持在较高水平,对相位时长具有较强约束作用;右转流量相对稳定,与现状常绿放行带来的较高通行效率相符。整体来看,直行车辆占据主要比例,构成路口的基本交通负荷;左转流量的方向性差异对排队长度和相位切换影响较为明显;右转车流则连续性强、波动小。

上述交通特征表明,该交叉口在该时段处于中高负荷运行状态,既具有干道流量占优的典型性,也包含较为突出的转向需求,对信号控制策略具有一定敏感性。利用该数据构建的仿真场景能够较好地呈现城市主干道路口的真实运行规律,为后续信号优化与车辆轨迹协同控制的实验验证提供了可靠依据。

2.1.2 模型参数设置

仿真将进行500个回合训练,每回合仿真时长为3 600 s。文献[9]中D3QN算法与MyD3QN算法超参数相同,相关超参数设置如表3所示。

2.2 对比算法

实验所采取的对比算法分别为:传统固定配时、基准D3QN^[9]及文献中混合交通流车路协同算法^[10](为了便于表述,后文称算法A)。

2.3 实验结果与分析

如图2~图5所示为不同CAV渗透率(0.2、0.4、0.6、0.8)场景下,MyD3QN与D3QN算法在平均排队长度、平均车速、平均等待时间及累计奖励四项指标上的训练迭代曲线,具体分析如下。

2.3.1 低渗透率(0.2)场景

在低渗透率(0.2)场景中,MyD3QN算法的收敛速度优势已初步显现。具体而言,其平均排队长度曲线相较于D3QN算法更早进入稳定区间,且在整个训练过程中波动幅度显著更小,这清晰地表明了该算法对稀疏网联自动驾驶车辆(CAV)信息具有快速适应与泛化能力。进一步分析平均车速曲线对比可知,MyD3QN在训练初期即呈现稳定上升趋势,而D3QN在相同阶段存在明显震荡现象,反映出后者对动态交通环境响应的滞后性与策略不确定性。在累计奖励曲线方面,MyD3QN始终维持于D3QN曲线上方,且随着训练进程推进,二者差距呈现逐渐扩大的趋势,从而有力印证了MyD3QN在优化目标全局性与策略连贯性方面的显著优势。

2.3.2 中渗透率(0.4)场景

随着渗透率提升至0.4的中等水平,两种算法的性能分化进一步加剧。MyD3QN的平均排队长度曲线保持平滑下降态势,而D3QN在训练中期出现显著波动,揭示了后者在中等密度场景下策略收敛的不稳定性与适应性局限。在平均车速曲线表征中,MyD3QN的上升斜率明显更为陡峭,尤其在初始500步训练阶段表现出更高的学习效率与环境响应能力。与此同时,累计奖励曲线的分离幅度随渗透率提升而持续扩大;MyD3QN的奖励增长未出现平台期现象,与D3QN在训练后期增速显著放缓形成鲜明对比,凸显了其基于持续探索与优化机制的结构优越性。

2.3.3 高渗透率(0.6~0.8)场景

进入高渗透率阶段(0.6~0.8),MyD3QN的非线性建模优势得到全面释放。在此类场景下,D3QN的平均排队长度曲线整体表现显著劣于MyD3QN,表明传统算法对高密度车流间复杂交互关系的调控能力存在本质局限。在平均车速曲线分析中,MyD3QN始终占据上包络线位置,且其轨迹平滑度远优于D3QN,体现了该算法在策略决策过程中的高置信度与多场景泛化能力。综合训练图像的系统性分析表明,yD3QN通过其内在的协同机制与网络架构优化,有效克服了传统D3QN在高动态环境中固有的震荡与滞后缺陷,且其性能增益随渗透率提升呈现出显著的系统性放大特征。

测试阶段分别采取固定配时方案、D3QN算法、MyD3QN算法(训练500轮之后的模型参数),以及文献算法进行仿真。仿真结果如表4所示。

表4所示数据结果表明,在0.2 CAV渗透率下,MyD3QN在各项指标上均优于对比算法:平均排队长度较D3QN与算法A分别降低4.2%与3.2%,相较Fix-Time减少18.1%;平均车速提升显著(7.38 m/s),较D3QN与算法A分别提高3.9%与2.8%,而Fix-Time因固定周期控制导致车速最低(6.18 m/s)。当渗透率增至0.4时,MyD3QN在平均排队长度方面继续保持优势,较D3QN、算法A和Fix-Time分别下降5.4%、2.9%和18.6%,累计奖励提升4.4%,体现算法结构的优化能力。在更高渗透率(0.6~0.8)场景下,MyD3QN呈现非线性增强的性能优势。60%渗透率时,其排队长度较D3QN、算法A和Fix-Time分别减少6.8%、2.7%和20.0%,平均车速超过算法A(7.54 m/s>7.39 m/s)。并在0.8渗透率时达到峰值:排队长度较D3QN、算法A和Fix-Time分别降低8.1%、1.7%和20.9%,车速较Fix-Time提升23.5%,验证了协同控制模型的稳定性与高效性。

3 结论

提出了一种面向智能网联混合交通流的交叉口车辆轨迹—信号配时协同控制模型,构建了融合连续控制机制与改进CACC跟驰模型的双模块优化框架。本研究设计的智能体可输出相位完整配时,实现相序与时长的整体协调优化。同时,通过在有限时域内求解车辆最优速度序列,并以SPAT信息为约束生成CAV加速度指令,使车辆纵向行为与信号配时实现时空耦合与动态协同,从而提升控制策略的自适应性、精度与系统稳定性。在信号控制-车辆轨迹优化融合方面构建了新的理论框架,通过结合有限时域优化与连续强化学习策略,为智能网联系统中的时空协同控制提供了可扩展的方法论基础。未来可从三个方向深入研究:进一步完善CAVs加速度控制策略以提升鲁棒性;扩展至全信号周期的协同优化,实现配时与速度引导的整体决策;引入生态驾驶目标,开展能耗与排放的多目标优化,推动构建高效、低碳、智能的城市交通管理体系。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Mikami S, Kakazu Y. Genetic reinforcement learning for cooperative traffic signal control[C]// The First IEEE Conference on Evolutionary Computation. Orlando: IEEE, 1994: 223-228.

[2]	Eltantawy S, Abdulhai B, Abdelgawad H. Design of reinforcement learning parameters for seamless application of adaptive traffic signal control[J]. Journal of Intelligent Transportation Systems, 2014, 18(3): 227-245.

[3]	Li L, Lü Y, Wang F Y. Traffic signal timing via deep reinforcement learning[J]. IEEE/CAA Journal of Automatica Sinica, 2016, 3(3): 247-254.

[4]	任安妮, 周大可, 冯锦浩, 等. 基于注意力机制的深度强化学习交通信号控制[J]. 计算机应用研究, 2023, 40(2): 430-434.

[5]	Ren Anni, Zhou Dake, Feng Jinhao, et al. Attention mechanism based deep reinforcement learning for traffic signal control[J]. Application Research of Computers, 2023, 40(2): 430-434.

[6]	Van Hasselt H. Double Q-learning[C]// Advances in Neural Information Processing Systems 29 (NeurIPS 2016). Barcelona: Neural Information Processing Systems Foundation, 2016: 2613-2621.

[7]	孙浩, 陈春林, 刘琼, 等. 基于深度强化学习的交通信号控制方法[J]. 计算机科学, 2020, 47(2): 169-174.

[8]	Sun Hao, Chen Chunlin, Liu Qiong, et al. Traffic signal control method based on deep reinforcement learning[J]. Computer Science, 2020, 47(2): 169-174.

[9]	Hessel M, Soyer H, Schaul T, et al. Learning to play in a day: faster deep reinforcement learning by optimal transport[C]// Proceedings of the 35th International Conference on Machine Learning (ICML 2018). Stockholm: PMLR, 2018: 1694-1703.

[10]	宋太龙, 贺玉龙, 刘钦. 基于深度强化学习的大型活动关键交叉口信号控制[J]. 科学技术与工程, 2023, 23(22): 9694-9701.

[11]	Song Tailong, He Yulong, Liu Qin. Signal control of key intersections in large-scale events based on deep reinforcement learning[J]. Science Technology and Engineering, 2023, 23(22): 9694-9701.

[12]	赖建辉. 基于D3QN的交通信号控制策略[J]. 计算机科学, 2019, 46(S2): 117-121.

[13]	Lai Jianhui. Traffic signal control based on double deep Q-learning network with dueling architecture[J]. Computer Science, 2019, 46(S2): 117-121.

[14]	孙伟, 张梦雅, 马成元, 等. 新型混合交通交叉口信号与车辆轨迹协同控制方法[J]. 交通运输系统工程与信息, 2023, 23(1): 97-105.

[15]	Sun Wei, Zhang Mengya, Ma Chengyuan, et al. Coordination of signal and vehicle trajectory at intersections for mixed traffic flow[J]. Journal of Transportation Systems Engineering and Information Technology, 2023, 23(1): 97-105.

[16]	乔志敏, 柯良军. 基于深度强化学习的交通信号控制[J]. 控制理论与应用, 2025, 42(1): 76-86.

[17]	Qiao Zhimin, Ke Liangjun. Traffic signal control based on deep reinforcement learning[J]. Control Theory and Applications, 2025, 42(1): 76-86.

[18]	李振龙, 张靖思, 刘钦, 等. 基于改进Q学习的双周期干线信号协调控制方法[J]. 科学技术与工程, 2021, 21(29): 12744-12750.

[19]	Li Zhenlong, Zhang Jingsi, Liu Qin, et al. Coordinated control method of double-cycling arterial based on improved Q-learning[J]. Science Technology and Engineering, 2021, 21(29): 12744-12750.

[20]	刘智敏, 叶宝林, 朱耀东, 等. 基于深度强化学习的交通信号控制方法[J]. 浙江大学学报(工学版), 2022, 56(6): 1249-1256.

[21]	Liu Zhimin, Ye Baolin, Zhu Yaodong, et al. Traffic signal control method based on deep reinforcement learning[J]. Journal of Zhejiang University (Engineering Science), 2022, 56(6): 1249-1256.

[22]	唐慕尧, 周大可, 李涛. 结合状态预测的深度强化学习交通信号控制[J]. 计算机应用研究, 2022, 39(8): 2311-2315.

[23]	Tang Muyao, Zhou Dake, Li Tao. State prediction based on deep reinforcement learning for traffic signal control[J]. Application Research of Computers, 2022, 39(8): 2311-2315.

[24]	Rakha H, Kamalanathsharma R K. Eco-driving at signalized intersections using V2I communication[C] // The 14th International IEEE Conference on Intelligent Transportation Systems. New York: IEEE, 2011: 341-346.

[25]	Asadi B, Vahidi A. Predictive cruise control: utilizing upcoming traffic signal information for improving fuel economy and reducing trip time[J]. IEEE Transactions on Control Systems Technology: A Publication of the IEEE Control Systems Society, 2011, 19(3): 707-714.

[26]	Ngoduy D. Platoon-based macroscopic model for intelligent traffic flow[J]. Transportmetrica B: Transport Dynamics, 2013, 1(2): 153-169.

[27]	Ngoduy D, Jia D. Multi anticipative bidirectional macroscopic traffic model considering cooperative driving strategy[J]. Transportmetrica B: Transport Dynamics, 2017, 5(1): 96-110.

[28]	Li Z, Elefteriadou L, Ranka S. Signal control optimization for automated vehicles at isolated signalized intersections[J]. Transportation Research Part C: Emerging Technologies, 2014, 49: 1-18.

[29]	Yu C, Feng Y, Liu H X, et al. Integrated optimization of traffic signals and vehicle trajectories at isolated urban intersections[J]. Transportation Research Part B: Methodological, 2018, 112: 89-112.

[30]	Guo Y, Ma J Q, Xiong C F, et al. Joint optimization of vehicle trajectories and intersection controllers with connected automated vehicles: combined dynamic programming and shooting heuristic approach[J]. Transportation Research Part C: Emerging Technologies, 2019, 98: 54-72.

[31]	Tajalli M, Hajbabaie A. Traffic signal timing and trajectory optimization in a mixed autonomy traffic stream[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 23(7): 6525-6538.

[32]	Lin P, Liu J, Jin P J, et al. Autonomous vehicle-intersection coordination method in a connected vehicle environment[J]. IEEE Intelligent Transportation Systems Magazine, 2017, 9(4): 37-47.

[33]	Zhao H, Liu S, Liang R, et al. ACC/CACC vehicle car-following model based on a time-varying expected spacing and a stability analysis of mixed traffic flow[J]. Journal of Shanghai Jiaotong University (Science), 2025, 30(2): 1-13.

基金资助

国家自然科学基金(52162041)

甘肃省自然科学基金(24JRRA255)

兰州市青年科技人才创新计划(2023-QN-125)

PDF (8877KB)

访问

被引

详细

导航

Received	Published	Revised
2025-05-23	2026-05-28	2025-12-16
Online Date
2026-08-07

摘要