计及用户异质性与多主体利益的电动汽车充电引导策略

江昌旭 ,  蔡志轩 ,  袁羽娟 ,  林俊杰

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (27) :11786-11803

PDF (13743KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (27) :11786-11803 DOI: 10.12404/j.issn.1671-1815.2506846
电工技术

计及用户异质性与多主体利益的电动汽车充电引导策略

作者信息 +

Electric Vehicle Charging Navigation Strategy Considering User Heterogeneity and Multi-agent Interests

Author information +
文章历史 +

摘要

大规模电动汽车(electric vehicle, EV)的无序充电行为,不仅会导致用户排队时间延长、充电成本上升,还会造成充电站资源分配不均、利用率失衡,同时加剧电网电压波动,威胁电力系统的运行稳定性。为解决上述问题,提出一种分层图强化学习(hierarchical graph reinforcement learning, HGRL)算法,用于优化EV充电引导策略,实现多主体利益的协同优化。从用户里程焦虑、时间与经济偏好以及行驶能耗3个维度出发,构建了考虑用户异质性的EV充电模型,并建立了以最小化用户总时间成本、经济成本、里程焦虑和行驶能耗为目标的多主体EV充电引导优化目标函数。为高效求解该模型,将充电引导问题建模为包含EV充电站目的地决策与路径规划的双层随机优化模型,并提出HGRL方法,应对高维状态空间引发的维度灾难与随机不确定性优化难题。实验结果表明,提出的HGRL算法能够有效优化EV用户、充电站和电网等多方主体的利益,同时可以结合用户异质性特征为EV提供个性化、智能化的充电引导策略,且具备良好的模型适应性。

Abstract

The disorderly charging behavior of large-scale electric vehicles (EVs) is recognized to cause prolonged queuing times, increased charging costs, unbalanced utilization of charging station resources, and aggravated voltage fluctuations in the power grid, thereby undermining system stability. To address these challenges, a hierarchical graph reinforcement learning (HGRL) algorithm was proposed to optimize EV charging navigation strategies for coordinated multi-agent benefits. An EV charging model that accounts for user heterogeneity was developed by incorporating mileage anxiety, temporal and economic preferences, and energy consumption. Based on this model, a multi-agent objective function was formulated to minimize the total time cost, economic cost, mileage anxiety, and driving energy consumption of users. To effectively solve the problem, the charging navigation task was modeled as a two-layer stochastic optimization problem encompassing both charging station destination selection and route planning. The proposed HGRL method is designed to overcome the curse of dimensionality in high-dimensional state spaces and the challenges of stochastic uncertainty in optimization. It is demonstrated through simulation results that the HGRL algorithm effectively optimizes the interests of multiple stakeholders—including EV users, charging stations, and the power grid—while providing personalized and intelligent charging navigation strategies that account for user heterogeneity, and exhibits strong adaptability to varying system conditions.

Graphical abstract

关键词

电动汽车 / 充电引导 / 用户异质性 / 多主体利益 / 分层图强化学习

Key words

electric vehicles / charging navigation / user heterogeneity / multi-agent interests / hierarchical graph reinforcement learning

引用本文

引用格式 ▾
江昌旭, 蔡志轩, 袁羽娟, 林俊杰. 计及用户异质性与多主体利益的电动汽车充电引导策略[J]. 科学技术与工程, 2026, 26(27): 11786-11803 DOI:10.12404/j.issn.1671-1815.2506846
JIANG Chang-xu, CAI Zhi-xuan, YUAN Yu-juan, LIN Jun-jie. Electric Vehicle Charging Navigation Strategy Considering User Heterogeneity and Multi-agent Interests[J]. Science Technology and Engineering, 2026, 26(27): 11786-11803 DOI:10.12404/j.issn.1671-1815.2506846

登录浏览全文

4963

注册一个新账户 忘记密码

由于化石能源紧张和环境危机,新能源发电和电动汽车(electric vehicle,EV)得到了快速发展。以EV为例,截至2023年6月底,中国各类充电桩保有量已经超过660万台,EV保有量达1 259.4万辆[1]。然而,随着电动汽车保有量的快速增长,充电基础设施建设和运营管理滞后的问题日益凸显。当前充电设施布局不均衡、供需匹配效率低、用户充电体验差等现象普遍存在,尤其在高峰时段或核心区域,充电排队时间长、费用高、资源利用率低等问题突出。此外,充电行为与电网运行之间的协调机制尚未健全,大规模无序充电对配电网安全稳定运行构成潜在威胁。因此,推动充电服务系统向智能化、协同化、个性化方向发展,已成为行业可持续发展的迫切需求。
传统的基于Dijkstra静态算法规划电动汽车充电路径缺乏对动态交通状态、电网实时运行状态、用户个性化偏好等多维信息的融合处理能力[2]。现有研究虽已引入路径规划、电价响应等手段,但大多忽略用户行为的异质性,也未能系统协调用户、充电站、电网等多方利益。为了解决上述问题,本文中充分运用车-站-路-网的耦合特性优化EV充电引导策略,实现优化EV用户、充电站和电网多主体利益的目标。
有学者从EV用户利益角度出发,建立了充电引导模型,以优化时间成本和经济成本等关键指标。文献[3]在预测交通流量的基础上,提出了一种能够兼顾用户多需求场景和多导航目标的充电引导模型。文献[4]综合考虑了出行时间、出行距离、电动汽车能耗及出行舒适度等因素,提出了一种基于Dijkstra算法的多目标电动汽车路径规划方法。文献[5]利用混合整数非线性规划算法对充电引导策略进行优化,有效降低了EV用户的时间成本与经济成本。鉴于EV充电引导问题涉及EV、充电站、交通路网和电网等多个主体,有学者进一步从车-站-路-网多方协同的角度展开研究。文献[6]基于层次分析法和改进CRITIC(criteria importance though intercrieria correlation)法优化了EV充电站选址,并结合Topsis方法优化充电路径,从而在电动汽车、交通路网、充电站和配电网四个层面实现了利益均衡。文献[7]通过实时电价引导电动汽车充放电,有效降低了微电网运行经济成本和出力波动。文献[8]综合考虑了充电服务收入、政府补贴、基础设施建设成本及运营维护费用等因素,提出了一种以运营商利润最大化为目标的充电站优化配置策略。文献[9]则针对大规模EV充电可能引发的电网电能质量下降、路网道路拥堵和充电桩利用率不足等问题,基于前景理论提出了一种新的EV充电引导方案。
传统优化算法在不确定性优化和计算效率等方面存在不足,因此有不少学者将强化学习算法引入到EV充电引导研究中。文献[10]基于图强化学习优化充电站的离散动作,并提出利用掩码处理充电站动作值的方法,为EV推荐合适的充电站。在此基础上,文献[11]进一步引入用户里程焦虑因素,并设计了基于用户风险偏好选择总成本最低的充电站为用户提供服务。然而,上述研究主要集中在充电站的角度进行充电策略优化,而前往充电站的路径规划仍依赖于Dijkstra算法或其他传统搜索式算法。考虑到交通堵塞是EV用户在行驶过程中普遍面临的一大痛点,如何结合交通网络的动态性与电力-交通网络的耦合特性进一步优化路径,仍是亟需解决的问题。针对这一局限性,文献[12-13]采用分层强化学习同时优化充电站选择和路径规划,但研究仅聚焦于单辆EV的决策,未能反映整体的充电行为。文献[14]同样采用了分层强化学习优化充电引导策略,但其在充电站选择和路径决策两个层面均基于单智能体模型,忽略了EV之间的协同作用。文献[15]则进一步考虑邻近EV用户的影响,提出基于多智能体图强化学习算法的方法,以降低用户充电的时间成本和经济成本。然而,该方法以车辆为核心建模,导致模型面临严重的维度灾难问题。文献[16]针对EV路径规划提出了三段式表达方法,并将其转化为马尔可夫决策过程,从而证明了强化学习算法在此类问题中能够获得可行解。
综上所述,现有基于图强化学习的EV充电引导研究存在以下不足:①多数方法基于单层图强化学习框架,车辆需同时兼顾短期动作(如实时路径调整)和长期目标(如充电站选择),在两个时间尺度间难以实现有效平衡,容易陷入局部最优;②现有研究普遍假设用户完全理性且车辆属性一致,忽视了用户异质性对充电引导策略的影响;③在充电站选择和路径规划的双层决策问题中,大部分研究采用逐辆处理的方式,构建单智能体强化学习算法进行优化,既忽略了EV之间的协同作用,又导致整体处理效率较低。
为了有效解决以上问题,综合考虑了EV用户、充电站和电网的利益,提出了一种基于分层图强化学习(hierarchical graph reinforcement learning, HGRL)算法的EV充电引导策略,实现多主体利益协同优化的目标。首先,构建了计及用户异质性的EV充电模型;其次,在综合考虑EV用户、充电站和电网三方需求的基础上,建立多目标优化函数,旨在降低用户总时间成本、经济成本、里程焦虑和行驶能耗,改善充电站服务均衡度,以及减小电网电压偏移率;最后,基于分层图强化学习算法构建了EV充电引导框架,并设计分层图强化学习神经网络,其中上层模型以充电站为研究对象,采用逐辆推荐方式输出充电站选择策略,下层模型以道路节点为研究对象,获得EV路径规划方案;最后,在构建的电力-交通耦合网络中进行仿真,验证了所提出算法的有效性。

1 电动汽车用户异质性模型

在EV充电引导过程中,用户个体之间往往表现出显著的异质性。例如,里程焦虑的差异、时间与经济成本的不同偏好,以及车辆能耗特性和充电功率的多样性。这些差异不仅直接影响EV充电行为决策,也决定了充电引导策略能否在实际场景中取得良好的效果。基于这一动因,引入用户异质性建模思路,对EV用户的多维差异特征进行系统刻画。具体而言,模型充分考虑了里程焦虑、时间与经济偏好、车辆能耗特性以及充电功率等关键因素,构建了能够反映用户多样化特征的异质性模型。该模型不仅为后续充电引导优化策略的设计与决策提供了理论支撑和数据基础,也为实现更加个性化、精准化的充电服务奠定了方法基础。

1.1 用户里程焦虑异质性

用户里程焦虑是指EV驾驶员因担心车辆剩余电量不足以支撑到达目的地或充电站而产生的一种心理状态。文献[17-18]表明:①EV用户的里程焦虑值主要受剩余电量(state of charge, SOC)的影响;②当SOC低于某一个阈值时,EV用户才会产生里程焦虑;③里程焦虑的变化呈非线性特征,且随着SOC趋近于零,其增长率显著加快。基于上述研究结论,可以假设电动汽车用户的里程焦虑值随着电量的增加而呈凸性递减,当SOC值达到或高于某阈值时,用户里程焦虑逐渐消失。因此,EV的里程焦虑值斜率与车辆SOC值的关系[19-20]可表示为

R(Si,t)=$\left\{\begin{array}{ll}{\mathit{R}}_{\mathit{m}\mathit{a}\mathit{x}}{\left(\frac{{\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}-{\mathit{S}}_{\mathit{i},\mathit{t}}}{{\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}}\right)}^{{\mathit{t}}_{\mathit{r}}},& 0\le {\mathit{S}}_{\mathit{i},\mathit{t}}\le {\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}\\ 0,& {\mathit{S}}_{\mathit{i},\mathit{t}}{\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}\end{array}\right.$

式(1)中:R(Si,t)为随车辆SOC值变化的里程焦虑值斜率;Rmax为用户的里程焦虑斜率最大值,本文中取值1.0;Scomf为用户开始产生里程焦虑并发出充电请求时的SOC值,称为充电SOC阈值;Si,t为t时刻第i辆EV的SOC值;tr为常数,该常数取值为2.0,在实际应用中可根据经验和相关数据对该常数进行校准[21-22]。

基于此,对式(1)积分可以计算出随车辆SOC变化的用户里程焦虑值函数,即

Rcum(Si,t)=$\left\{\begin{array}{l}\frac{{\mathit{R}}_{\mathit{m}\mathit{a}\mathit{x}}}{3{\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}^{2}}({\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}-{\mathit{S}}_{\mathit{i},\mathit{t}}{)}^{3},\\ \mathit{　}\mathit{　}\mathit{　}0\le {\mathit{S}}_{\mathit{i},\mathit{t}}\le {\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}\\ 0,\mathit{　}\mathit{　}{\mathit{S}}_{\mathit{i},\mathit{t}}{\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}\end{array}\right.$

不同SOC阈值下的EV用户里程焦虑情况如图1所示。采用里程焦虑值来表征用户里程焦虑心理。例如,图1中的阴影部分表示充电SOC阈值为0.2时,用户自发出充电请求起至电量完全消耗的全过程所累积的里程焦虑值。

1.2 用户时间与经济偏好异质性

为刻画用户在时间与经济方面的偏好差异,引入时间偏好系数α与经济偏好系数β。在充电引导过程中,这两个系数能够反映用户的心理预期,从而为不同偏好的驾驶员提供更契合的充电引导策略。在计算用户k充电过程中的时间成本与经济总成本时,时间偏好系数与经济偏好系数的作用机制为

$\left\{\begin{array}{l}{\mathit{g}}_{\mathit{k}}={\mathit{\alpha }}_{\mathit{k}}{\mathit{T}}_{\mathit{k}}+{\mathit{\beta }}_{\mathit{k}}{\mathit{F}}_{\mathit{k}}\\ {\mathit{\alpha }}_{\mathit{k}}+{\mathit{\beta }}_{\mathit{k}}=2\end{array}\right.$

式(3)中:gk为第k个用户的时间与经济总成本;αk、βk分别为第k个用户的时间偏好系数、经济偏好系数;Tk、Fk分别为第k个用户在充电过程中花费的时间成本和经济成本。

1.3 用户能耗异质性

为更真实地模拟EV的实际能耗,从动力学角度对其能量消耗进行分析。在行驶过程中,EV需克服滚动阻力和空气阻力,从而消耗电池能量。车辆从位置i行驶至位置j所需克服的机械功率Pij[23]为

Pij=[mka+mkg(sinαij+Crcosαij)+0.5CdρAvk2]vk

式(4)中:mk为第k辆EV的总质量;a为平均加速度,本文中暂不考虑加速产生的额外阻力;g为重力加速度,本文中取值9.81 m/s2;αij为路段平均坡度;Cr为滚动阻力系数,本文中取值0.01;Cd为空气阻力系数,本文中取值0.7;ρ为空气密度,本文中取值1.29 kg/m3;A为车辆迎风面积,本文中取值2.5 m2;vk为第k辆EV的平均行驶速度。

EV通过动力电池放电做功以克服行驶阻力,综合考虑电池放电效率与电机功率转换效率后,可得EV电池消耗量Eij,计算公式为

Eij=$\left\{\begin{array}{ll}\frac{1}{{\mathit{\eta }}^{\mathit{b}}{\mathit{\eta }}^{\mathit{m}}}{\mathit{P}}_{\mathit{i}\mathit{j}}\mathit{\Delta }{\mathit{t}}_{\mathit{i}\mathit{j}},& {\mathit{P}}_{\mathit{i}\mathit{j}}0\\ \frac{1}{{\mathit{\mu }}^{\mathit{b}}{\mathit{\mu }}^{\mathit{m}}}{\mathit{P}}_{\mathit{i}\mathit{j}}\mathit{\Delta }{\mathit{t}}_{\mathit{i}\mathit{j}},& {\mathit{P}}_{\mathit{i}\mathit{j}}\le 0\end{array}\right.$

式(5)中:ηb为电池放电效率,取值0.9;ηm为电机功率转换效率,取值0.85;μb为电池回收能量的效率;μm为电机作为发电机时的功率转换效率; Δtij为车辆从位置i行驶至位置j所需时间。当机械功率小于0时,则表明电动汽车处于再生制动状态。

此外,还从车辆重量与用户驾驶风格两个方面刻画EV用户能耗的异质性:①不同类型EV及车载人数的差异导致车辆重量存在显著差异;②用户驾驶风格各不相同,导致其在充电引导过程中的行驶速度也有所不同。将驾驶风格划分为激进型、标准型和保守型3种类型,不同驾驶风格对应的最大行驶速度参数如表1所示。

2 考虑多主体利益的目标函数构建

电力-交通耦合系统的核心由车、站、路、网四类主体构成。为综合兼顾多主体利益,依托智能传感设备以及图强化学习算法,为EV用户提供高效、优质的快速充电引导服务。基于此,本节从电动汽车用户、充电站和电网的利益出发,构建了EV充电引导问题的目标函数。

2.1 电动汽车充电优化目标

电动汽车用户在选择不同的充电站充电时,其所承担的各项成本存在差异:一方面,充电站的距离会影响用户的总时间成本、里程焦虑值以及行驶能耗;另一方面,充电站的实时电价则直接关系到用户的经济成本。因此,为提升EV用户的充电满意度,充电引导过程中应尽可能降低用户的总时间成本、经济成本、里程焦虑以及电池能耗。基于此,本文在用户侧构建目标函数为

min fEV(X)=$\frac{{\mathit{T}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{T}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{T}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{T}}_{\mathit{m}\mathit{i}\mathit{n}}}$+$\frac{{\mathit{F}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{F}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{F}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{F}}_{\mathit{m}\mathit{i}\mathit{n}}}$+$\frac{{\mathit{D}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{D}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{D}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{D}}_{\mathit{m}\mathit{i}\mathit{n}}}$+$\frac{{\mathit{B}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{B}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{B}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{B}}_{\mathit{m}\mathit{i}\mathit{n}}}$

式(6)中:Tmin、Fmin、Dmin和Bmin分别为行驶成本、经济成本、里程焦虑值和用户行驶总能耗的最小参考值;Tmax、Fmax、Dmax和Bmax分别为行驶成本、经济成本、里程焦虑值和用户行驶总能耗的最大参考值; fEV为EV用户侧的目标函数;X为EV充电目的地和路径规划决策变量;Tk,c,t为t时刻第k辆电动汽车前往充电站c所产生的总时间成本;Fk,c,t为t时刻第k辆电动汽车前往充电站c进行充电时所产生的充电成本;Dk,c,t为t时刻第k辆电动汽车前往充电站c充电的里程焦虑值;Bk,c,t为t时刻第k辆电动汽车前往充电站c充电的电池总能耗。

总时间成本Tk,c,t由EV行驶时间、充电站内的排队时间和充电时间组成。电动汽车在路段a的通行时间Δta与车流量之间的关系可以表示为

Δta=Δ${\mathit{t}}_{\mathit{a},\mathit{t}}^{0}\left[1+0.15{\left(\frac{{\mathit{n}}_{\mathit{a},\mathit{t}}}{{\mathit{c}}_{\mathit{a}}}\right)}^{4}\right]$, ∀ a∈E

式(7)中:na,t为时刻t路段a上的电动汽车数量;ca为路段a的容量上限;Δ${\mathit{t}}_{\mathit{a},\mathit{t}}^{0}$为时刻t电动汽车自由通行时间;E为交通路段集合。

排队时间${\mathit{T}}_{\mathit{k},\mathit{c},\mathit{t}}^{\mathit{w}\mathit{a}\mathit{i}\mathit{t}}$计算公式为

T${}_{\mathit{k},\mathit{c},\mathit{t}}^{\mathit{w}\mathit{a}\mathit{i}\mathit{t}}$=$\left\{\begin{array}{ll}0,& {\mathit{n}}_{\mathit{c},\mathit{t}}^{\mathit{w}\mathit{a}\mathit{i}\mathit{t}}\le 0\\ {\mathit{T}}_{\mathit{j},\mathit{c},\mathit{t}}^{\mathit{r}\mathit{e}}+{\mathit{T}}_{\mathit{a}\mathit{v}\mathit{g}}\lfloor {\mathit{n}}_{\mathit{c},\mathit{t}}^{\mathit{w}\mathit{a}\mathit{i}\mathit{t}}/{\mathit{C}}_{\mathit{c}}\mathit{」},& {\mathit{n}}_{\mathit{c},\mathit{t}}^{\mathit{w}\mathit{a}\mathit{i}\mathit{t}}0\end{array}\right.$

式(8)中:${\mathit{n}}_{\mathit{c},\mathit{t}}^{\mathit{w}\mathit{a}\mathit{i}\mathit{t}}$为电动汽车到达充电站c时站内排队等待的电动汽车数量;${\mathit{T}}_{\mathit{j},\mathit{c},\mathit{t}}^{\mathit{r}\mathit{e}}$为在第c个充电站内位于第j位的电动汽车剩余充电时间(从小往大排序),其中j=${\mathit{n}}_{\mathit{c},\mathit{t}}^{\mathit{w}\mathit{a}\mathit{i}\mathit{t}}$%Cc+1,%表示取余操作;Tavg为电动汽车平均充电时长;Cc为充电站c中配置的充电桩数量;⌊·」表示向下取整操作,⌊${\mathit{n}}_{\mathit{c},\mathit{t}}^{\mathit{w}\mathit{a}\mathit{i}\mathit{t}}$/Cc」为电动汽车等待充电的轮数。

第k辆电动汽车的充电时间T${}_{\mathit{k},\mathit{c},\mathit{t}}^{\mathit{c}\mathit{h}\mathit{a}\mathit{r}\mathit{g}\mathit{e}}$表示为

T${}_{\mathit{k},\mathit{c},\mathit{t}}^{\mathit{c}\mathit{h}\mathit{a}\mathit{r}\mathit{g}\mathit{e}}$=$\frac{({\mathit{S}}_{\mathit{l}\mathit{e}}-{\mathit{S}}_{\mathit{k},\mathit{c},\mathit{t}}){\mathit{E}}_{\mathit{k}}^{\mathit{c}\mathit{a}\mathit{p}}}{\mathit{\eta }{\mathit{P}}^{\mathit{c}\mathit{h}\mathit{a}\mathit{r}\mathit{g}\mathit{e}}}$

式(9)中:Sle为用户充电离开时的电量;Sk,c,t为t时刻第k辆电动汽车到达充电站c时的剩余电量;${\mathit{E}}_{\mathit{k}}^{\mathit{c}\mathit{a}\mathit{p}}$为第k辆电动汽车电池容量;η为充电效率;Pcharge为电动汽车的充电功率。

EV用户的经济花费Fk,c,t表示为

Fk,c,t=pc,t(Sle-Sk,c,t)${\mathit{E}}_{\mathit{k}}^{\mathit{c}\mathit{a}\mathit{p}}$/η

式(10)中:pc,t为t时刻充电站c的充电电价。

根据式(2)可以计算出EV用户到达充电站时的里程焦虑值Dk,c,t,表达式为

Dk,c,t=$\frac{1}{3{\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}^{2}}({\mathit{S}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}-{\mathit{S}}_{\mathit{k},\mathit{c},\mathit{t}}{)}^{3}$

第k辆电动汽车t时刻前往充电站c充电的电池总能耗Bk,c,t表示为

Bk,c,t=(Scomf-Si,c,k)${\mathit{E}}_{\mathit{k}}^{\mathit{c}\mathit{a}\mathit{p}}$

2.2 充电站优化目标

从公共资源利用的角度来看,充电站的服务均衡度越高越理想。为实现充电桩资源的合理分配并保障运营商收益的均衡性,本节提出充电站主体的优化目标为

min fCS(X)=φt

式(13)中:fCS为充电站主体的目标函数;ϕt为t时刻的服务需求与设施供给比方差。

服务需求与设施供给比λi,t、与设施供给比均值λmean,t和设施供给比方差ϕt 3个指标的计算公式为

$\left\{\begin{array}{l}{\mathit{\lambda }}_{\mathit{i},\mathit{t}}=\frac{{\mathit{x}}_{\mathit{i},\mathit{t}}}{{{\mathit{x}}_{\mathit{p}\mathit{i}\mathit{l}\mathit{e},}}_{\mathit{i},\mathit{t}}}\\ \begin{array}{l}{\mathit{\lambda }}_{\mathit{m}\mathit{e}\mathit{a}\mathit{n},\mathit{t}}=\frac{1}{\mathit{n}}\sum _{\mathit{i}=1}^{\mathit{n}}{\mathit{\lambda }}_{\mathit{i},\mathit{t}}\\ {\mathit{\varphi }}_{\mathit{t}}=\frac{\sum _{\mathit{i}=1}^{\mathit{n}}({\mathit{\lambda }}_{\mathit{i},\mathit{t}}-{\mathit{\lambda }}_{\mathit{m}\mathit{e}\mathit{a}\mathit{n},\mathit{t}}{)}^{2}}{\mathit{n}}\end{array}\end{array}\right.$

式(14)中:λi,t为时间t第i个充电站的服务需求与设施供给比;xi,t、xpile,i,t分别为时间t第i个充电站的充电车辆数量与排队数量总和、充电桩数量;λmean,t为时间t充电站服务需求与设施供给比均值;n为充电站数量。

2.3 电网优化目标

大规模电动汽车的接入将显著增加电网运行的复杂性,并加大电网调控的难度。因此,在优化充电引导策略时,有必要尽量减小电网节点的电压偏移。本节设定电网主体的优化目标为

minfU(X)=σt

式(15)中:fU为电网主体的目标函数;σt为t时刻的电压偏移率均值,其计算公式为

σt=$\frac{1}{\mathit{n}}\sum _{\mathit{i}=1}^{\mathit{n}}$δi,t

式(16)中:δi,t为时间t与第i个充电站连接的电网节点电压偏移率。

2.4 多主体协同优化目标

综上所述,在电力-交通耦合网络背景下,电动汽车充电引导涉及了车、站、路、网等多个主体。为实现多主体间的利益协同优化,针对EV充电引导问题构建了多主体协同优化目标函数,表达式为

min f(X)=$\frac{{\mathit{T}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{T}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{T}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{T}}_{\mathit{m}\mathit{i}\mathit{n}}}$+$\frac{{\mathit{F}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{F}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{F}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{F}}_{\mathit{m}\mathit{i}\mathit{n}}}$+$\frac{{\mathit{D}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{D}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{D}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{D}}_{\mathit{m}\mathit{i}\mathit{n}}}$+$\frac{{\mathit{B}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{B}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{B}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{B}}_{\mathit{m}\mathit{i}\mathit{n}}}$+$\frac{{\mathit{\varphi }}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{\varphi }}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{\varphi }}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{\varphi }}_{\mathit{m}\mathit{i}\mathit{n}}}$+$\frac{{\mathit{\sigma }}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{\sigma }}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{\sigma }}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{\sigma }}_{\mathit{m}\mathit{i}\mathit{n}}}$

式(17)中:ϕmin和σmin分别为服务需求与设施供给比方差和电网节点电压偏移率的最小参考值;ϕmax和σmax分别为服务需求与设施供给比方差和电网节点电压偏移率的最大参考值。多主体交互关系与优化目标如图2所示。

充电引导策略的核心包括EV充电站的目的地选择和路径规划两个方面。基于此,从这两个层面深入分析EV充电行为对多主体协同优化目标的影响,并在此基础上构建了EV充电站目的地选择和EV路径规划的优化目标函数。

当EV进行充电站目的地选择时,应尽可能降低用户充电的总时间成本、经济成本和里程焦虑,同时提高充电站服务均衡度并减小电网电压偏移。结合权重系数、时间偏好系数与经济偏好系数,EV充电站目的地决策优化的目标函数f1(X1)构建为

minf1(X1)=ω1α$\frac{{\mathit{T}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{T}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{T}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{T}}_{\mathit{m}\mathit{i}\mathit{n}}}$+ω2β$\frac{{\mathit{F}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{F}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{F}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{F}}_{\mathit{m}\mathit{i}\mathit{n}}}$+ω3$\frac{{\mathit{D}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{D}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{D}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{D}}_{\mathit{m}\mathit{i}\mathit{n}}}$+ω4$\frac{{\mathit{\varphi }}_{\mathit{t}}-{\mathit{\varphi }}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{\varphi }}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{\varphi }}_{\mathit{m}\mathit{i}\mathit{n}}}$+ω5$\frac{{\mathit{\sigma }}_{\mathit{t}}-{\mathit{\sigma }}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{\sigma }}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{\sigma }}_{\mathit{m}\mathit{i}\mathit{n}}}$

式(18)中:X1为EV充电目的地决策变量;ω1、ω2、ω3、ω4和ω5为权重系数,考虑到要平衡多个主体的利益,本文中取相等的权重0.2,以简化模型并避免主观偏好对结果的影响[11];α、β分别为时间偏好系数和经济偏好系数,并满足α+β=2。

在电动汽车用户确定了充电站目的地后,用户需要进行充电路径规划。解决路径规划问题时,应重点关注行驶过程中的EV充电成本。即用户选择不同的路径,其总时间成本、总能耗成本和里程焦虑值都将受到影响。结合权重系数,构建EV路径规划的目标函数f2(X2)为

minf2(X2)=γ1$\frac{{\mathit{T}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{T}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{T}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{T}}_{\mathit{m}\mathit{i}\mathit{n}}}$+γ2$\frac{{\mathit{D}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{D}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{D}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{D}}_{\mathit{m}\mathit{i}\mathit{n}}}$+γ3$\frac{{\mathit{B}}_{\mathit{k},\mathit{c},\mathit{t}}-{\mathit{B}}_{\mathit{m}\mathit{i}\mathit{n}}}{{\mathit{B}}_{\mathit{m}\mathit{a}\mathit{x}}-{\mathit{B}}_{\mathit{m}\mathit{i}\mathit{n}}}$

式(19)中:X2为EV充电路径规划决策变量;γ1、γ2、γ3为权重系数,本文中取相等值1/3。

3 分层图强化学习电动汽车充电引导方法

为了在复杂动态的多主体电力-交通耦合系统中实现协同优化,提出基于分层图强化学习算法的EV充电引导策略优化方法。具体而言,首先,将充电引导问题分解为充电站目的地选择与路径规划的双层优化问题,并构建了基于分层图强化学习算法的电动汽车充电引导框架;其次,鉴于EV充电引导本质上属于具有时序依赖特性的多阶段决策问题,将其建模为部分可观测马尔可夫决策过程,并在观测值信息中引入用户时间与经济偏好、驾驶风格、EV重量和充电功率等异质性特征;最后,在建模过程中,上层以充电站为节点构建图模型,用于整合EV、充电站和电网信息,并采用逐辆推荐方式输出充电站选择策略;下层则以道路为节点构建图模型,获取EV与道路特征,实现EV路径规划。

3.1 分层图强化学习电动汽车充电引导框架

将充电引导问题构建为由EV充电站目的地决策和路径规划组成的双层随机优化问题。在任意时刻t,分层图强化学习电动汽车充电引导框架如图3所示。当EV用户的SOC值低于其设定的充电SOC阈值时,会向充电引导系统发出充电请求。系统在接收请求后,将提取车、站、路、网等信息,为用户生成充电站选择和下一行驶路径的决策。

具体而言,电网主体每隔固定时间通过最优潮流模型更新节点边际电价,并将其作为充电站的差异化电价。在某一时刻t,可能有多辆EV同时发出充电请求,且各时间段请求数量不一致。若对这些车辆同时进行处理,会导致模型输入维度不统一,难以保证模型训练与推理的稳定性。因此,在上层模型中采用逐辆处理的方式,以确保输出结果在不同请求规模下保持一致性与鲁棒性。若在t时刻共有n辆EV发出充电请求,系统则根据车辆所处道路编号依次排序得到[E1,E2,…,En]。随后,充电引导系统上层模型在获取EV、充电站与电网信息后,逐一优化充电站选择,并为每个用户输出目标充电站。表达式为

$\left\{\begin{array}{l}{{\mathit{q}}^{\mathit{o}}}_{\mathit{t}}=[{\mathit{E}}_{1},{\mathit{E}}_{2},\dots,{\mathit{E}}_{\mathit{n}}]\\ {\mathit{d}}_{\mathit{t},\mathit{k}}=\mathit{g}\left({\mathit{X}}_{1,\mathit{t}}\right)\end{array}\right.$

式(20)中:qot为t时刻发出充电请求的电动汽车集合;g(X1,t)为t时刻上层模型接收信息后,为第k辆电动汽车输出目标充电站dt,k。

上层模型一旦完成充电站推荐后,下层模型随即开始对EV进行路径规划。在这一过程中,对尚未到达道路交叉路口的EV按照当前道路继续行驶,在时刻t第i条道路上需进行路径决策的EV由[Ei,1,Ei,2,…,Ei,q]组成。第p轮推荐的EV主体πt(p)由各条道路上的第p辆EV,即Ei,p,共同组成。系统在时刻t重复多轮推荐,直至所有的EV完成路径推荐。其中[Ei,1,Ei,2,…,Ei,q]的排列顺序依据EV驶向,而对即将进入交叉路口的EV则需由充电引导系统下层模型优化其下一行驶道路的选择。为了实现群体路径优化,下层模型采用逐轮顺序推荐的模式为EV提供最优的路径决策。当第i条道路上的位置确定,最前端EV为第一辆,依次往后排序。表达式为

$\left\{\begin{array}{l}{{\mathit{r}}^{\mathit{o}}}_{\mathit{i},\mathit{t}}=[{\mathit{E}}_{\mathit{i},1},{\mathit{E}}_{\mathit{i},2},\dots,{\mathit{E}}_{\mathit{i},\mathit{q}}]\\ {{\mathit{r}}^{\mathit{o}}}_{\mathit{i},\mathit{t}}\left(\mathit{p}\right)={\mathit{E}}_{\mathit{i},\mathit{p}}\\ {\mathit{\pi }}_{\mathit{t}}\left(\mathit{p}\right)=\left[{{\mathit{r}}^{\mathit{o}}}_{1}\right(\mathit{p}),{{\mathit{r}}^{\mathit{o}}}_{2}(\mathit{p}),\dots,{{\mathit{r}}^{\mathit{o}}}_{\mathit{n}}(\mathit{p}\left)\right]\end{array}\right.$

式(21)中:roi,t为t时刻第i条道路上需决策的车辆集合;roi,t(p)为t时刻第i条道路上的第p辆车;πt(p)为t时刻系统第p轮路径推荐所包含的EV主体。

3.2 部分可观测马尔可夫决策过程

提出的电动汽车充电引导策略优化属于双层随机优化问题。为了更有效地利用分层图强化学习算法求解该问题,并实现多主体利益的协同优化,将EV充电引导模型转化为部分可观测马尔可夫决策过程,其关键要素介绍如下。

3.2.1 部分可观测状态

在上层图强化学习模型中,以充电站为研究对象,并视为输入节点,以此对EV充电站目的地进行决策。充电站的在充车辆数量与排队数量,以及电网侧的电价、电压等环境,都会影响用户的充电站决策,同时,用户的时间与经济偏好,以及EV充电功率异质性,也会对决策过程产生重要的作用。因此,上层观测状态Sup综合考虑了充电站信息、电网状态和用户特征,表达式为

$\left\{\begin{array}{l}{\mathit{S}}_{}^{\mathit{u}\mathit{p}}={\mathit{X}}^{\mathit{u}\mathit{p}}=[{\mathit{x}}_{1}^{\mathit{u}\mathit{p}},{\mathit{x}}_{2}^{\mathit{u}\mathit{p}},\dots,{\mathit{x}}_{\mathit{m}}^{\mathit{u}\mathit{p}}]\\ {\mathit{x}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}=[{\mathit{x}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{c}\mathit{p}},{\mathit{x}}_{\mathit{t},\mathit{k}}^{\mathit{e}\mathit{v}}]\\ {\mathit{x}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{c}\mathit{p}}=[{{\mathit{n}}^{\mathit{c}}}_{\mathit{j},\mathit{t}},{{\mathit{l}}^{\mathit{c}}}_{\mathit{j},\mathit{t}},{{\mathit{p}}^{\mathit{c}}}_{\mathit{j},\mathit{t}},{{\mathit{m}}^{\mathit{c}}}_{\mathit{j},\mathit{t}},{{\mathit{u}}^{\mathit{c}}}_{\mathit{j},\mathit{t}}]\\ {\mathit{x}}_{\mathit{t},\mathit{k}}^{\mathit{e}\mathit{v}}=[{\mathit{\alpha }}_{\mathit{t},\mathit{k}},{\mathit{\beta }}_{\mathit{t},\mathit{k}},{\mathit{p}}_{\mathit{k}}^{\mathit{b}\mathit{a}},{{\mathit{l}}^{\mathit{a}}}_{\mathit{i},\mathit{t},\mathit{p}}]\end{array}\right.$

式(22)中:Xup为上层模型的特征矩阵;${\mathit{x}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$为t时刻第k辆EV参与充电站推荐时,第j个充电站节点的局部观测状态;${\mathit{x}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{c}\mathit{p}}$为t时刻第k辆EV参与充电站推荐时,第j个充电站及其连接的电网节点的特征信息;${\mathit{x}}_{\mathit{t},\mathit{k}}^{\mathit{e}\mathit{v}}$为t时刻参与充电站推荐的第k辆车的信息;ncj,t、lcj,t、pcj,t和mcj,t分别为t时刻第j个充电站的充电车辆数量、排队车辆数量、充电电价和已安排尚未抵达的车辆数量;ucj,t为t时刻与第j个充电站连接的电网节点电压;αt,k、βt,k、${\mathit{P}}_{\mathit{k}}^{\mathit{b}\mathit{a}}$和lai,t,p为t时刻参与充电站推荐的第k辆EV的时间偏好系数、经济偏好系数、充电功率和位置。

在下层图强化学习模型中,以道路为研究对象,并将其视为输入节点,用于优化EV的路径决策,为用户规划合理的路径前往充电站目的地。在路径规划中,一方面,道路的拥堵程度与坡度会直接影响用户的路径决策;另一方面,用户的行驶速度和车辆质量会影响能耗,而用户的充电SOC阈值与剩余SOC值则决定其行驶过程中的里程焦虑水平。能耗和里程焦虑共同作用,最终影响用户的路径决策。因此,下层观测状态综合考虑了道路信息,以及用户速度、充电SOC阈值和EV车辆质量等异质性特征。下层多智能体图强化学习模型的观测值Slower计算公式为

$\left\{\begin{array}{l}{\mathit{S}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}={\mathit{X}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}=[{\mathit{x}}_{1}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}},{\mathit{x}}_{2}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}},\dots,{\mathit{x}}_{\mathit{n}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}]\\ {\mathit{x}}_{\mathit{i},\mathit{t},\mathit{p}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}=[{{\mathit{n}}^{\mathit{r}}}_{\mathit{i},\mathit{t},\mathit{p}},{{\mathit{o}}^{\mathit{r}}}_{\mathit{i},\mathit{t},\mathit{p}}{{\mathit{d}}^{\mathit{c}}}_{\mathit{i},\mathit{t},\mathit{p}},{\mathit{v}}_{\mathit{i},\mathit{t},\mathit{p}},{{\mathit{d}}^{\mathit{r}}}_{\mathit{i},\mathit{t},\mathit{p}},{\mathit{S}}_{\mathit{i},\mathit{t},\mathit{p}}^{\mathit{e}\mathit{v}},\\ \mathit{　}\mathit{　}\mathit{　}{\mathit{S}}_{\mathit{i},\mathit{t},\mathit{p}}^{\mathit{c}\mathit{o}\mathit{m}\mathit{f}},{\mathit{m}}_{\mathit{i},\mathit{t},\mathit{p}}]\end{array}\right.$

式(23)中:Xlower为下层模型的特征矩阵;${\mathit{x}}_{\mathit{i},\mathit{t},\mathit{p}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$为t时刻进行第p轮推荐时,第i条道路的局部观测状态;dci,t,p、${\mathit{v}}_{\mathit{i},\mathit{t},\mathit{p}}^{}$、dri,t,p、${\mathit{S}}_{\mathit{i},\mathit{t},\mathit{p}}^{\mathit{e}\mathit{v}}$、${\mathit{S}}_{\mathit{i},\mathit{t},\mathit{p}}^{\mathit{c}\mathit{o}\mathit{m}\mathit{f}}$和mi,t,p为t时刻第i条道路上参与第p轮推荐的电动汽车充电站目的地(由上层模型优化得到)、速度、驾驶风格、剩余SOC值、充电SOC阈值和质量;nri,t,p、ori,t,p为t时刻进行第p轮推荐时第i条道路上的车辆数量、坡度。

3.2.2 动作行为

在一个时间步长内,若EV的电量低于其充电SOC阈值,将向系统发出充电站推荐请求。上层模型会针对该时间段内所有提出充电请求的EV逐辆输出充电站选择策略,动作空间维度为充电站数量。因此,上层模型的动作表示为

${\mathit{a}}_{\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$∈aup=[0,1,…,m]

式(24)中:${\mathit{a}}_{\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$为t时刻第k辆发出充电请求的EV动作;aup为上层模型智能体的动作空间;m为充电站数量。

当上层模型确定充电站目的地,下层模型将为行驶至路口的EV优化其最优的路径决策。下层多智能体图强化模型的动作空间维度会随着智能体所处路口的可选邻接道路数量而变化,表达式为

$\left\{\begin{array}{l}{\mathit{a}}_{\mathit{t}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}=[{\mathit{a}}_{1,\mathit{t}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}},{\mathit{a}}_{2,\mathit{t}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}},\dots,{\mathit{a}}_{\mathit{n},\mathit{t}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}]\\ {\mathit{a}}_{\mathit{t}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}\in \mathit{A}={\mathit{A}}_{1}\times {\mathit{A}}_{2}\times \dots \times {\mathit{A}}_{\mathit{n}}\\ {\mathit{a}}_{\mathit{i},\mathit{t}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}\in {\mathit{A}}_{\mathit{i}}=[\mathrm{1,2},\dots,{\mathit{N}}_{\mathit{i}}]\end{array}\right.$

式(25)中:${\mathit{a}}_{\mathit{t}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$为t时刻下层模型多智能体的联合动作;${\mathit{a}}_{\mathit{i},\mathit{t}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$为t时刻智能体i的动作;Ai为智能体i的动作空间;A1×A2×…×An为多个集合的笛卡儿积,它代表把这些集合里的元素所有可能的组合全部列出来,形成联合动作的有限集A;Ni为输入图节点i对应的度,即为第i条道路的邻接道路数量。

3.2.3 奖励函数构建

上层模型旨在通过优化EV的充电站目的地,以降低用户的总时间成本、经济支出和里程焦虑值,同时提升充电站服务均衡度并减小电网电压偏移率。根据式(18)EV充电站目的地决策的优化目标函数,构建上层模型智能体的奖励函数为

${\mathit{r}}_{\mathit{c},\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$=-f1(X1)+ε1

式(26)中:${\mathit{r}}_{\mathit{c},\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$为t时刻第k辆EV抵达充电站时所获得的奖励值;ε1为EV未采取动作时的惩罚项。

下层模型旨在通过为每辆EV寻找最优路径,以降低行驶过程中的时间成本、里程焦虑和能耗。根据式(19)EV路径决策目标函数,构建下层模型智能体的奖励函数为

${\mathit{r}}_{\mathit{c},\mathit{t},\mathit{p}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$=$\sum _{\mathit{k}=1}^{{\mathit{n}}_{\mathit{c}}}{\mathit{r}}_{\mathit{c},\mathit{t},\mathit{k}}^{\mathit{p}}$=-$\sum _{\mathit{k}=1}^{{\mathit{n}}_{\mathit{c}}}$f2(X2)+ε2

式(27)中:${\mathit{r}}_{\mathit{c},\mathit{t},\mathit{p}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$为t时刻第p轮推荐中,充电站c所在道路计算的奖励值;nc为到达充电站c的车辆总数;${\mathit{r}}_{\mathit{c},\mathit{t},\mathit{k}}^{\mathit{p}}$为t时刻第p轮推荐中,到达充电站c的车辆k所获得的奖励,由用户所花费的总时间成本、经济成本、里程焦虑值和偏好系数计算可得;ε2为EV未抵达目标充电站的惩罚项。

3.3 分层图强化学习神经网络设计与信息交互过程

3.3.1 神经网络输入图模型构建

分层图强化学习上层模型主要关注充电站、电动汽车和电网三类主体的交互关系。作为连接电动汽车与电网的关键枢纽,充电站能够同时获取多主体的交互信息。为了提取充电站、EV和电网的特征,将充电站视为HGRL上层模型的输入图节点。图的拓扑关系由充电站在路网中的位置所决定,并通过邻接矩阵Aup来表示,其中各元素取值为

${\mathit{A}}_{\mathit{i},\mathit{j}}^{\mathit{u}\mathit{p}}$=$\left\{\begin{array}{l}0,\mathit{　}{\mathit{l}}^{\mathit{d}\mathit{i}\mathit{s}}\ge \mathit{\xi }\\ 1,\mathit{　}{\mathit{l}}^{\mathit{d}\mathit{i}\mathit{s}}\mathit{\xi }\end{array}\right.$

式(28)中:ldis为两个充电站之间的最短距离;ξ为距离阈值。

HGRL下层模型主要为每辆申请充电请求的EV提供最优路径决策。为了有效缓解模型维度过高的问题,并确保图节点能够同时承载电动汽车与道路的相关信息,采用以道路为图节点的输入图模型。具体而言,通过线图转换技术,将原始路网有向图转化为点图,作为下层模型的输入图结构[24]。下层模型的邻接矩阵Alower可由线图中节点的连接关系构建:当道路i与道路j相连接时,对应元素取${\mathit{A}}_{\mathit{i},\mathit{j}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$=1,否则${\mathit{A}}_{\mathit{i},\mathit{j}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$=0。

综上,HGRL上层模型以充电站为节点构建输入图,以提取EV、充电站和电网三方的动态特性,其输入维度为充电站数量;下层模型以道路为节点构建输入图,以获取EV与道路的交互状态,其输入维度为道路数量。由此可见,HGRL上层与下层的输入图模型维度均与充电EV数量无关,从而有效规避了高维状态空间引发的维数灾难问题。

3.3.2 HGRL神经网络结构设计与信息交互过程

为了充分捕捉充电站的运行状态、电网节点信息以及用户的异质性特征,上层模型采用图卷积网络(graph convolutional networks, GCN)来提取车、站、网的交互特征。卷积网络中第l层节点的图卷积运算公式为

${\mathit{h}}_{\mathit{i}}^{(\mathit{l}+1)}$=σ$\left[\sum _{\mathit{j}\in \mathit{N}\left(\mathit{i}\right)}^{}\left(\mathit{c}\right.{\mathit{W}}_{\mathit{i},\mathit{j}}^{\mathit{l}}{\mathit{h}}_{\mathit{j}}^{\left(\mathit{l}\right)})\right]$

式(29)中:${\mathit{h}}_{\mathit{i}}^{(\mathit{l}+1)}$、${\mathit{h}}_{\mathit{j}}^{\left(\mathit{l}\right)}$分别为第l+1层嵌入节点i的特征、第l层嵌入节点j的特征;${\mathit{W}}_{\mathit{i},\mathit{j}}^{\mathit{l}}$为相应的权重;N(i)为节点i的邻居节点集合;σ为激活函数,本文中采用ReLU激活函数;c的取值取决于卷积网络类型。

在GCN网络中,为了平衡有向图中不同节点度的影响,在运用度矩阵归一化的过程中,同时考虑了该节点和其邻居节点的度c,根据自身和邻居节点的度设置为一个归一化常数,表达式为

c=${\left(\left|\mathit{N}\left(\mathit{i}\right)\right|\left|\mathit{N}\left(\mathit{j}\right)\right|\right)}^{-\frac{1}{2}}$

式(30)中:$\left|\mathit{N}\left(\mathit{i}\right)\right|$、$\left|\mathit{N}\left(\mathit{j}\right)\right|$分别为节点i和节点j的邻居节点个数。

下层模型则基于多智能体动作为用户的路径进行实时决策,每个智能体主要关注邻接道路和邻近车辆的信息并输出动作。鉴于图注意机制网络(graph attention networks,GAT)对邻接拓扑关系敏感,因此下层模型采用GAT网络提取用户异质性特征和路网的拥堵情况。在GAT网络中,c设置为一个标准化的注意力分数,注意力机制计算公式为

c=$\frac{\mathit{e}\mathit{x}\mathit{p}\left[\mathit{\sigma }\right({\mathit{a}}^{\mathit{T}}\left[\mathit{W}{\mathit{x}}_{\mathit{i}}‖\mathit{W}{\mathit{x}}_{\mathit{j}}\right]\left)\right]}{{\sum }_{\mathit{k}\mathit{ϵ}\mathit{N}\left(\mathit{i}\right)}^{}\mathit{e}\mathit{x}\mathit{p}\left[\mathit{\sigma }\right({\mathit{a}}^{\mathit{T}}\left[\mathit{W}{\mathit{x}}_{\mathit{i}}‖\mathit{W}{\mathit{x}}_{\mathit{k}}\right]\left)\right]}$

式(31)中:W为在每个智能体上进行线性变换的权重矩阵;a为权重向量,用于改变输入向量维度;‖表示合并操作。分层图强化学习的神经网络结构如图4所示,多主体特征信息处理过程如图5所示。

3.4 分层图强化学习训练过程

分层图强化学习旨在将复杂任务分解为多个子任务,并利用层次结构以及层次间信息交互实现协同优化,从而提升智能体在复杂环境中的学习效率和决策性能。所构建的分层图强化学习上层与下层模型均采用梯度下降的方法对神经网络参数进行优化。上层模型的损失函数为

$\begin{array}{l}{\mathit{L}}_{1}\left({\mathit{\theta }}_{\mathit{t}}^{\mathit{u}\mathit{p}}\right)=\\ \mathit{　}\mathit{　}{\mathit{E}}_{{\mathit{x}}^{\mathit{u}\mathit{p}},{\mathit{a}}^{\mathit{u}\mathit{p}},{\mathit{r}}^{\mathit{u}\mathit{p}},\mathit{x}{\mathit{\text{'}}}^{\mathit{u}\mathit{p}}\sim \mathit{D}}\left\{\right[({\mathit{y}}_{\mathit{t}}^{\mathit{u}\mathit{p}}-\mathit{Q}({\mathit{x}}^{\mathit{u}\mathit{p}},{\mathit{a}}^{\mathit{u}\mathit{p}};{\mathit{\theta }}_{\mathit{t}}^{\mathit{u}\mathit{p}}{\left)\right]}^{2}\}\end{array}$

式(32)中:xup、aup和rup分别为上层模型智能体状态、动作行为和奖励值;x'up为上层模型智能体的下一步状态;${\mathit{y}}_{\mathit{t}}^{\mathit{u}\mathit{p}}$为在上层图强化学习目标网络下的状态-动作值函数;${\mathit{\theta }}_{\mathit{t}}^{\mathit{u}\mathit{p}}$为上层图强化学习模型的神经网络当前参数。

上层强化学习目标网络下的状态-动作值函数计算公式为

${\mathit{y}}_{\mathit{t}}^{\mathit{u}\mathit{p}}$=rup+γup$\underset{\mathit{a}{\mathit{\text{'}}}^{\mathit{u}\mathit{p}}\in \mathit{A}}{\mathit{m}\mathit{a}\mathit{x}}$Q(x'up,a'up;θ${\mathit{\text{'}}}_{\mathit{t}}^{\mathit{u}\mathit{p}}$)

式(33)中:γup为上层模型神经网络的折扣因子;a'up

为上层模型智能体的下一步动作行为;θ' upt 为上层模型目标网络参数,其每经过一定的步数根据当前网络参数${\mathit{\theta }}_{\mathit{t}}^{\mathit{u}\mathit{p}}$进行更新。

下层模型的参数更新方式与上层一致。基于分层图强化学习的电动汽车充电引导流程图如图6所示,EV充电引导流程主要分为以下九个步骤。

(1)将回合次数e设置为0,并初始化神经网络参数。

(2)将时间t设置为0并初始化车、站、路、网的状态。

(3)每隔30 min更新电价,HGRL上层模型识别出当前发出充电请求的EV群体Nre=[e1, e2, …, eu],令k=1即第一辆车开始进入充电站推荐流程进入下一步骤。若Nre为空集合则说明此时刻没有EV发出充电请求,则进入步骤(6)开始电动汽车路径决策优化。

(4)根据充电站、电网、用户ek的异质性信息可以获得HGRL上层观测值Xup。HGRL上层模型智能体根据当前观测值输出动作,为第k辆电动汽车ek推荐充电站目的地。第k辆EV完成动作后,充电站节点上已安排但尚未抵达的EV数量信息更新,电动汽车ek获取目标充电站,转移到下一辆EV充电站推荐状态。

(5)一定数量的EV完成充电站推荐后进行HGRL上层模型神经网络参数训练,每推荐5辆EV训练一次。令k=k+1,如果ek不是Nre集合中的最后一辆EV,则返回步骤(4)继续为EV优化充电站决策;否则本时刻发出充电请求的EV均已完成充电站目的地推荐,则进入路径决策优化过程。

(6)HGRL下层模型识别各条道路中需要决策的EV数量(z1, z2,…,zn)并得出最大值Nmax,获取HGRL下层模型观测值Xdown,并置p=1。

(7)下层模型多智能体根据当前观测值输出动作,各条道路上处于道路决策状态的EV根据智能体动作选择相应的下一条道路。接着,已抵达充电站的EV可计算出用户时间、经济等成本,进而可以得到上层充电站决策模型的奖励值(${\mathit{r}}_{\mathit{c},\mathit{t},1}^{\mathit{u}\mathit{p}}$,${\mathit{r}}_{\mathit{c},\mathit{t},2}^{\mathit{u}\mathit{p}}$,…,${\mathit{r}}_{\mathit{c},\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$),以及下层路径规划模型的奖励值。

(8)第p轮推荐结束,将信息(${\mathit{x}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$,${\mathit{a}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$,${\mathit{r}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{u}\mathit{p}}$,${\mathit{x}}_{\mathit{j},\mathit{t},\mathit{k}}^{\mathit{\text{'}}\mathit{u}\mathit{p}}$)存储于上层模型的经验池中,将信息(${\mathit{x}}_{\mathit{i}.\mathit{t}..\mathit{p}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$,${\mathit{a}}_{\mathit{i}.\mathit{t}.\mathit{p}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$,${\mathit{r}}_{\mathit{i}.\mathit{t}.\mathit{p}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$,${\mathit{x}}_{\mathit{i}.\mathit{t}.\mathit{p}}^{\mathit{l}\mathit{o}\mathit{w}\mathit{e}\mathit{r}}$)存储于下层模型的经验池中。令p=p+1,如果p>Nmax,t时刻的EV决策结束,更新车辆时空分布信息及SOC值,并从经验池选取数据训练HGRL下层图神经网络参数。否则返回步骤(7),开始第(p+1)轮推荐。

(9)令t=t+Δt,本文取Δt=3 min,并判断时刻t是否小于总时间T,若小于T则重复执行步骤(3),开始下一时刻的推荐,否则令回合次数e=e+1,并判断e是否大于总回合数ep,若未完成则重复执行步骤(2),否则仿真结束。

4 仿真算例

本节采用改进的IEEE 33节点配电网和25节点路网构成的电力-交通耦合网络进行仿真,可再生能源出力与配电网基础负荷如图7和图8所示,在配电网中,分别于节点4和22接入发电机,其相关系数为k1=0.037 7 元/(MW·h)、k2=11.776 9 元/(MW·h);节点15和27接入风力发电机。当发电机和新能源出力不足时,配电网以0.61 元/(kW·h)向主网购电。配电网侧每30 min更新一次实时电价,总仿真时长为120 min。为了更符合实际道路坡度对电动汽车能耗的影响,本文路网中设置了部分道路坡度,其平均坡度设置为2%,即tanθ=0.02(θ为道路倾斜角度),如图9所示。假设该区域内汽车保有量为1万辆,EV渗透率为30%;用户发出充电请求时SOC阈值服从正态分布X~N(μ=0.25,σ=0.05),EV充电请求比例约为10%。综合考虑了用户充电功率异质性,仿真车辆类型基于中国汽车工业协会的统计数据[25],采用具有代表性的电动汽车品牌,并区分普通轿车和SUV款式,总共建立6种EV类型,EV参数如表2所示。HGRL算法仿真相关参数设置如表3所示。

如图10、图11所示为分层图强化学习的奖励函数值和损失函数值。从图10中可知,随着训练次数的增加,上/下层模型的奖励值曲线均可以收敛并保持稳定。从图11可知,随着训练次数增加,平均损失值逐渐减小直至收敛,上层模型损失值稳定在0.04左右,下层模型损失值稳定在0.5左右。该仿真结果表明,分层图强化学习模型均能收敛,并且能够输出合理的、奖励值较高的行为策略。

4.1 不同充电引导策略运行结果分析

为了测试所提出的HGRL算法对多利益主体的优化效果,将所提出的策略与传统单层强化学习、基于Dijkstra算法获得的策略进行对比验证。

(1)策略一:上层采用单层图强化学习(single reinforcement learning1, SGRL1)算法优化电动汽车的充电站目的地,下层采用Dijkstra算法规划行驶路径。模型奖励值收敛效果如图12(a)所示。

(2)策略二:上层采用最短距离的方法确定充电站,下层采用单层图强化学习(single reinforcement learning2, SGRL2)算法优化电动汽车行驶路径,模型奖励值收敛效果如图12(b)所示。

(3)策略三:采用传统的Dijkstra静态算法(shortest distance method,SDM),以距离最短为原则确定充电站。

(4)策略四:本文中提出的基于HGRL算法的优化策略。

如表4所示为不同策略下电动汽车、充电站和电网等多类主体的评价指标。可知,本文提出的HGRL算法能够有效实现各主体利益的优化,并且相同时间内完成充电的EV数量比其他策略多8%~18%。

对于电动汽车主体而言,提出的HGRL策略可使总时间成本最高降低约12%,同时通过合理选择充电站可以实现一定的经济成本节约。相比之下,SDM策略不考虑用户异质性,仅选择最近的充电站和最短路径充电,能够在一定程度上降低用户的里程焦虑值,但是其他的指标性能均较差。HGRL算法能够同时优化充电站选择和路径规划,因此,本文所提算法获得的用户里程焦虑与SDM策略较为接近。

对于充电站主体而言,所提出的HGRL算法能够将充电站服务率提高4%~15%,有效避免充电桩资源浪费。相比之下,SGRL2和SDM算法仅根据最短距离静态选择充电站,导致热门充电站的充电桩供不应求,而偏僻充电站的资源未被充分利用。在SGRL2和SDM算法下,充电服务需求与设施供给比的方差分别是HGRL算法的2.8倍和3.7倍。由此可见,HGRL算法能够显著改善充电站的服务均衡度。

对于电网主体而言,HGRL算法能够根据EV的充电功率异质性信息和电网的电压状态合理分配EV负荷,因此本文所提策略能够有效降低电压偏移率,提升电网运行的稳定性。

值得注意的是,由于HGRL上层模型输出的充电站决策与EV实际抵达充电站之间存在一定时间差,而下层模型能够基于电力-交通耦合网络动态信息进行实时决策,因此本文所提策略在引导用户充电时表现出较强的适应能力。具体而言,该策略可将90%左右的用户引导至目标充电站,同时约有10%的用户会通过下层模型实时识别充电站排队、道路拥堵等信息而动态地引导至更为合适的充电站充电。这一机制进一步凸显了本文所提充电引导模型的实时性与智能性。

4.2 电动汽车负荷与电价的交互性

如图13所示为4座充电站的平均电价和完成充电的EV数量。由图13可知,在4个充电站中HGRL策略下完成充电的EV数量最多,因此本文所提策略能够充分利用充电桩资源,同时能够合理分布EV负荷。由第三节可知,EV充电总功率的增加通常会导致节点边际电价提高,但HGRL算法能够充分考虑充电功率异质性信息,在优化EV数量的同时协调总功率分布。相比SGRL2和SDM策略,尽管HGRL策略下CS1与CS2服务的EV数量更多,但电价反而更低,从而进一步提升了电力-交通耦合网络的经济性。与此同时,由CS3服务的EV数量可知,SGRL2和SDM策略未能充分利用其充电桩资源,抵达该站的 EV 数量偏少,导致与 CS3 相连的电网节点负荷较低,因此其平均电价也相对较低。

4.3 用户异质性对EV充电引导的影响

4.3.1 里程焦虑异质性的影响

由图1可知,不同充电SOC阈值的用户其里程焦虑变化也不一样,充电SOC阈值较高的用户在行驶过程中里程焦虑上升较慢,而阈值较低的用户其焦虑值会迅速攀升。为了测试不同充电SOC阈值对输出策略的影响,对标准型驾驶风格的类型五EV用户的行驶数据进行研究。

由表5可知,由于充电SOC阈值高的用户在发出充电请求时剩余电量也较多,所以抵达充电站时剩余SOC值更高,充电经济成本也更低。同时,充电SOC阈值高的用户在行驶过程中里程焦虑上升较慢,所以充电SOC阈值在(0.35, 0.4)区间的用户里程焦虑值比(0.15, 0.2)区间用户低72%。由于充电SOC阈值低的用户在行驶过程中其里程焦虑值上升较快且经济支出较多,本文所提HGRL算法能够融合用户充电SOC阈值的异质性信息,为充电SOC阈值低的用户提供行驶距离较短的充电引导策略,比充电SOC阈值高的用户节约4.5%的总时间成本和10%的电池能耗,从而优化式(17)所提的多主体协同优化目标。

4.3.2 电动汽车重量的影响

电动汽车自身的重量也会影响其充电行驶过程中的能耗,为了测试车辆属性对充电引导策略的影响,选择标准型驾驶风格、充电SOC阈值均为(0.2, 0.3)区间的类型二和类型三EV用户进行研究。

由表6可知,由于类型二的车身质量更大,在同等行驶速度下其电量消耗也更快,因此类型二在充电行驶过程中的平均能耗是类型三的1.3倍,里程焦虑值是类型三的2.6倍。为了对目标函数式(17)进行协同优化,本文所提HGRL算法能够有效提取EV的质量信息,为车身重量更大的类型二优化行驶距离,避免其能耗和里程焦虑过度攀升。相比于类型三,所提HGRL算法为类型二用户节约了9.4%的行驶时间成本。

4.3.3 用户驾驶风格异质性的影响

用户的驾驶风格直接影响到EV的行驶速度,为了测试用户驾驶风格对充电引导策略的影响,选择充电SOC阈值均为(0.2, 0.3)区间的类型三车辆进行研究。

由表7可知,EV的行驶速度越高,行驶时间越少,因此激进型用户的总时间成本最低。由于速度越快EV的能耗也越高,所以激进型用户的里程焦虑值最大,是保守型EV用户的2.7倍。相比于标准型用户,HGRL算法能够为激进型用户节约5.3%的行驶距离,以防止EV电量耗尽无法抵达充电站的情况。另外,由于保守型用户行驶速度较慢,其总时间成本最高,为了协同优化目标函数式(17),HGRL算法为保守型用户对行驶距离进行了优化,以进一步减少保守型用户的经济成本、里程焦虑值和能耗。

4.3.4 电动汽车的充电引导轨迹实例研究

前3节已说明了里程焦虑、电动汽车重量、用户驾驶风格对充电引导策略的影响。为说明本文所提算法的可靠性和科学性,本节以节点25为例研究不同优化策略下电动汽车充电引导路径规划方案,结果如图14所示。其中轨迹3为SGRL1和SDM算法下电动汽车的充电引导路径规划。此外,轨迹1~轨迹4为HGRL算法下电动汽车主要的充电引导路径规划。从图14中可以得知,相比于SGRL1和SDM,本文所提出的基于HGRL算法能综合考虑用户的总时间成本、总能耗成本和里程焦虑值来应对多变的环境,为电动汽车用户提供实时的路径规划。具体来说,SGRL1和SDM算法是根据最短距离进行路径规划,其中轨迹3为节点25到充电站4的最短路径。当轨迹3中某条道路发生交通堵塞时,SGRL1和SDM并不会更改既定的行驶路线,而本文所提出的HGRL算法能够实时识别道路拥堵信息,从而进行更合理的路径规划,如轨迹1和轨迹2。值得注意的是,HGRL算法还能够通过实时识别充电站的充电排队车辆数量信息,从而更改充电站的选择。例如,当充电站4的充电排队车辆数量较多时,所提算法能够给出轨迹4的路径规划。

4.4 分层图强化学习模型的适应性与扩展性

4.4.1 充电请求比例变化的场景测试

通过改变EV充电请求比例来测试HGRL算法的适应性和扩展性。如图15所示为不同充电请求比例下引导至充电站的EV数量总和。对比4种算法可知,所提HGRL算法成功引导至充电站充电的EV数量最多。该结果表明HGRL算法能够适应不同充电请求比例的场景,有效协调和调度大量EV,实现最优充电站与充电路径的优化,从而更快抵达充电站完成充电。

4.4.2 道路容量缩减的场景测试

为验证HGRL算法对道路容量变化的适应性,将道路容量依次设为原值的40%、60%、80%以及保持原道路容量上限Ca,从而构建4个测试场景,仿真结果如图16所示。由图16可知,当道路容量减小至原来的40%时,SDM算法出现了严重的堵塞现象,EV平均行驶速度降低至16 km/h,其服务率也从90%降低至80%。SGRL1与SGRL2算法虽具有一定的适应性,但行驶速度仍受到一定影响。所提HGRL算法受到道路容量缩减的影响很小,服务率基本维持在97%左右,车辆平均行驶速度也维持在54~63 km/h。由此可知,本文所提HGRL算法对道路容量缩减场景具有较强的适应性,模型具有一定的扩展性。

5 结论

计及用户异质性与多主体利益,基于分层图强化学习算法优化电动汽车充电引导策略。通过仿真对比分析,可以得出以下结论。

(1)与SGRL1、SGRL2和SDM算法相比,所提出的HGRL算法最高能够为用户节约12%的总时间成本,同时降低用户经济成本、里程焦虑和电池能耗。在充电站层面,HGRL算法有效改善了充电站服务均衡度,使充电站服务率提升4%~15%。此外,相比于SDM算法,本文所提策略使充电服务需求与设施供给比方差减小约73%,并将电压偏移率从3.4%进一步降低至2.9%,验证了其在电力-交通耦合网络中的综合优化优势。

(2)提出的HGRL算法能够有效提取电动汽车用户的充电功率异质性信息,合理分布EV数量并优化电动汽车总功率分布,从而促进EV负荷与电价的交互性,降低CS1和CS2的充电电价。同时,提出的HGRL算法能够有效融合用户里程焦虑、车辆重量和驾驶风格的异质性信息,为EV构建智能化、个性化的充电引导策略,更好地实现多主体协同优化目标。

(3)提出的HGRL算法具有较强的适应性与扩展性。在不同充电请求比例下,本文所提HGRL算法能有效引导大规模EV完成充电;在道路容量缩减场景下,其优化效果几乎不受影响,充电站服务率维持在97%左右,平均行驶速度也稳定在54~63 km/h。

未来研究将进一步考虑电动汽车充电引导系统的工程建设成本优化问题。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

黄学良, 刘永东, 沈斐, 等. 电动汽车与电网互动: 综述与展望[J]. 电力系统自动化, 2024, 48(7): 3-23.
[2]

Huang Xueliang, Liu Yongdong, Shen Fei, et al. Electric vehicle-grid interaction: a review and outlook[J]. Automation of Electric Power Systems, 2024, 48(7): 3-23.
[3]

蔡俊鹏, 陈彩泊, 陈德旺, 等. 电动汽车充电引导策略研究[J]. 现代电子技术, 2021, 44(1): 137-143.
[4]

Cai Junpeng, Chen Caibo, Chen Dewang, et al. Research on electric vehicle charging guidance strategy[J]. Modern Electronics Technique, 2021, 44(1): 137-143.
[5]

胡俊杰, 潘羿, 徐成明, 等. 基于动态交通推演的电动汽车充电快速引导策略[J]. 电工技术学报, 2025, 40(9): 2880-2896.
[6]

Hu Junjie, Pan Yi, Xu Chengming, et al. Fast guidance strategy for electric vehicle charging based on dynamic traffic inference[J]. Transactions of China Electrotechnical Society, 2025, 40(9): 2880-2896.
[7]

赵军, 李建华, 姚敦敏. 考虑出行舒适度的电动汽车路径优化[J]. 科学技术与工程, 2024, 24(17): 7368-7375.
[8]

Zhao Jun, Li Jianhua, Yao Dunmin. Route optimization of electric vehicles considering travel comfort[J]. Science Technology and Engineering, 2024, 24(17): 7368-7375.
[9]

Huang Y, Liu M, Zhang Y. Electric vehicle entire-trip navigation and charging reservation method based on a high-speed communication network[J]. International Journal of Electrical Power & Energy Systems, 2023, 150: 109070.
[10]

刘丽军, 陈昌, 胡鑫, 等. 基于“车-路-站-网”信息耦合的电动汽车有序充电策略[J]. 高电压技术, 2024, 50(2): 693-703.
[11]

Liu Lijun, Chen Chang, Hu Xin, et al. Ordered charging strategy for electric vehicles based on the information coupling of vehicle-road-station-grid[J]. High Voltage Engineering, 2024, 50(2): 693-703.
[12]

徐嘉启, 郭红霞, 邹桂林. 基于实时电价的含电动汽车微电网两阶段优化调度[J]. 科学技术与工程, 2023, 23(13): 5571-5578.
[13]

Xu Jiaqi, Guo Hongxia, Zou Guilin. Two-stageoptimal scheduling of microgrid with electric vehicles based on real-time electricity price[J]. Science Technology and Engineering, 2023, 23(13): 5571-5578.
[14]

马龙飞, 张宝群, 唐萁, 等. 多约束下电动汽车充电站运营商利益最大化的充电站配置策略[J]. 科学技术与工程, 2025, 25(26): 11202-11209.
[15]

Ma Longfei, Zhang Baoqun, Tang Qi, et al. Charging station configuration strategy for maximizing operator profits under multiple constraints[J]. Science Technology and Engineering, 2025, 25(26): 11202-11209.
[16]

张聪, 彭克, 肖传亮, 等. 基于“车-路-网”协同的电动汽车充电引导策略[J]. 电力自动化设备, 2022, 42(10): 125-133.
[17]

Zhang Cong, Peng Ke, Xiao Chuanliang, et al. EV charging guiding strategy based on coordination of “EVs-road-network”[J]. Electric Power Automation Equipment, 2022, 42(10): 125-133.
[18]

Li Y, Su S, Zhang M, et al. Multi-agent graph reinforcement learning method for electric vehicle on-route charging guidance in coupled transportation electrification[J]. IEEE Transactions on Sustainable Energy, 2023, 15(2): 1180-1193.
[19]

Su S, Li Y, Yamashita K, et al. Electric vehicle charging guidance strategy considering “traffic network-charging station-driver” modeling: a multi-agent deep reinforcement learning based approach[J]. IEEE Transactions on Transportation Electrification, 2024, 10(3): 4653-4666.
[20]

Jiang C, Zhou L, Zheng J H, et al. Electric vehicle charging navigation strategy in coupled smart grid and transportation network: a hierarchical reinforcement learning approach[J]. International Journal of Electrical Power and Energy Systems, 2024, 157: 109823.
[21]

詹华, 江昌旭, 苏庆列. 基于分层强化学习的电动汽车充电引导方法[J]. 电力自动化设备, 2022, 42(10): 264-272.
[22]

Zhan Hua, Jiang Changxu, Su Qinglie. Electric vehicle charging navigation method based on hierarchical reinforcement learning[J]. Electric Power Automation Equipment, 2022, 42(10): 264-272.
[23]

Xing Q, Xu Y, Chen Z. A bilevel graph reinforcement learning method for electric vehicle fleet charging guidance[J]. IEEE Transactions on Smart Grid, 2023, 14(4): 3309-3312.
[24]

江昌旭, 卢玥君, 邵振国, 等. 基于图神经网络多智能体强化学习的电力-交通融合网协同优化运行[J]. 高电压技术, 2023, 49(11): 4622-4631.
[25]

Jiang Changxu, Lu Yuejun, Shao Zhenguo, et al. Collaborative optimization operation of integrated electric power and traffic network based on graph neural network multi-agent reinforcement learning[J]. High Voltage Engineering, 2023, 49(11): 4622-4631.
[26]

宋宇航, 陈宇帆, 魏延岭, 等. 基于强化学习环境设计策略的电动汽车充电路径规划[J]. 电力系统自动化, 2024, 48(11): 184-196.
[27]

Song Yuhang, Chen Yufang, Wei Yanling, et al. Charging path planning for electric vehicles based on reinforcement learning environment design strategy[J]. Automation of Electric Power Systems, 2024, 48(11): 184-196.
[28]

Liu H, Wang D Z W. Locating multiple types of charging facilities for battery electric vehicles[J]. Transportation Research Part B: Methodological, 2017, 103: 30-55.
[29]

Guo F, Yang J, Lu J. The battery charging station location problem: impact of users’ range anxiety and distance convenience[J]. Transportation Research Part E: Logistics and Transportation Review, 2018, 114: 1-18.
[30]

Yang J, Guo F, Zhang M. Optimal planning of swapping/charging station network with customer satisfaction[J]. Transportation Research Part E: Logistics and Transportation Review, 2017, 103: 174-197.
[31]

Xu M, Yang H, Wang S. Mitigate the range anxiety: siting battery charging stations for electric vehicle drivers[J]. Transportation Research Part C: Emerging Technologies, 2020, 114: 164-188.
[32]

江昌旭, 卢玥君, 袁羽娟, 等. 考虑里程焦虑的高速公路充电站及配电网扩展规划[J]. 电网技术, 2025, 49(9): 3881-3890.
[33]

Jiang Changxu, Lu Yuejun, Yuan Yujuan, et al. Highway charging station and distribution network expansion planning considering range anxiety[J]. Power System Technology, 2025, 49(9): 3881-3890.
[34]

胡永仕, 秦晨阳, 吕书浩, 等. 考虑用户满意度和里程焦虑的电动汽车充电站选址研究[J]. 武汉理工大学学报(交通科学与工程版), 2025, 49(4): 706-711, 718.
[35]

Hu Yongshi, Qing Chenyang, Lü Shuhao, et al. Research on the location selection of electric vehicle charging stations considering user satisfaction and range anxiety[J]. Journal of Wuhan University of Technology(Transportation Science & Engineering), 2025, 49(4): 706-711, 718.
[36]

Kucukoglu I, Dewil R, Cattrysse D. The electric vehicle routing problem and its variations: a literature review[J]. Computers & Industrial Engineering, 2021, 161: 107650.
[37]

江昌旭, 袁羽娟, 刘晨曦, 等. 用户综合满意度驱动的多智能体图强化学习电动汽车充电引导策略[J]. 电网技术, 2026, 50(5): 1985-2000.
[38]

Jiang Changxu, Yuan Yujuan, Liu Chenxi, et al. Multi-agent graph reinforcement learning-based electric vehicle charging guidance strategy driven by user comprehensive satisfaction[J]. Power System Technology, 2026, 50(5): 1985-2000.
[39]

郑雪芹. 2024年上半年新能源汽车销量494.4万辆[J]. 汽车纵横, 2024(8): 106-107.
[40]

Zheng Xueqin. Sales of new energy vehicles reached 4.944 million units in the first half of 2024[J]. Auto Review, 2024(8): 106-107.

基金资助

国家自然科学基金(72401069)

福建省自然科学基金(2022J05125)

PDF (13743KB)

33

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录