基于多智能体强化学习的多类型储能综合能源系统优化

王文倬; 郭舒毓; 郭相阳; 李武璟; 张亚刚; 荆逸然; 贺力豪; 邹苏郦

doi:10.12404/j.issn.1671-1815.2507598

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (23) :10013-10020 DOI: 10.12404/j.issn.1671-1815.2507598

电工技术

基于多智能体强化学习的多类型储能综合能源系统优化

王文倬 ¹ ,
郭舒毓 ¹ ,
郭相阳 ¹ ,
李武璟 ¹ ,
张亚刚 ¹ ,
荆逸然 ² ,
贺力豪 ³ ,
邹苏郦 ³^,^*

作者信息 +

Optimization of Multi-type Storage Integrated Energy Systems Based on MADDPG

Author information +

文章历史 +

摘要

为了解决多类型储能的协同调度问题,提出了一种基于多智能体深度确定性策略梯度算法(multi-agent deep deterministic policy gradient,MADDPG)的新型综合能源系统(integrated energy systems,IES)优化调度方法。随着全球能源转型进程加快及“碳达峰、碳中和”目标的提出,大规模可再生能源接入使综合能源系统中多类型储能的协同调度成为提升系统经济性与可再生能源消纳能力的关键问题。系统采用“源-汇-荷”三段式结构:源端整合电网、光伏及风电;汇端通过电能转换设备实现多源并网;荷端部署电化学储能(electrochemical energy storage,EES)、压缩空气储能(compressed air energy storage,CAES)和超级电容(supercapacitors,SC)三类储能设备,结合用户负荷形成多能互补体系。针对传统优化方法难以处理高维非线性约束的局限,设计多智能体合作博弈模型,通过集中训练-分布执行机制实现储能设备的协同控制。各智能体基于Actor-Critic网络独立决策充放电策略,Critic网络共享全局状态信息以优化联合动作奖励(含电能交易成本、弃风弃光惩罚等)。仿真表明,MADDPG在动态电价与可再生能源波动下显著提升系统经济性及可再生能源消纳率,为多类型储能系统的高效调度提供了新思路。

Abstract

A novel optimization scheduling method for integrated energy systems (IES) based on the multi-agent deep deterministic policy gradient (MADDPG) algorithm was proposed to address the cooperative scheduling of multi-type energy storage. With the accelerating global energy transition and large-scale integration of renewable energy, the coordinated dispatch of multi-type energy storage in IES has become a key issue for improving both system economy and renewable energy utilization. The system was configured with a three-segment “source-conversion-load” structure: on the source side, the grid, photovoltaic, and wind power were integrated; on the conversion side, multi-source grid integration was enabled through power conversion devices; on the load side, three types of energy storage devices—electrochemical energy storage (EES), compressed air energy storage (CAES), and supercapacitors (SC) were deployed, forming a multi-energy complementary system in combination with user loads. To overcome the limitations of traditional optimization methods in handling high-dimensional nonlinear constraints, a multi-agent cooperative game model was constructed, through which coordinated control of energy storage devices was achieved by a centralized training and decentralized execution mechanism. Each agent was enabled to determine its charging and discharging strategy independently via an Actor-Critic network, while global state information was shared within the Critic network to optimize the joint action reward, including electricity transaction costs, penalties for wind and solar curtailment, and other relevant terms. Simulation results show that the MADDPG-based method significantly enhances system economic performance and renewable energy consumption under dynamic electricity prices and fluctuating renewable generation, thereby providing a promising approach for the efficient scheduling of multi-type energy storage systems.

Graphical abstract

关键词

综合能源系统 / 多类型储能 / 多智能体深度确定性策略梯度算法 / 优化调度 / 可再生能源消纳

Key words

integrated energy system / multi-type energy storage / MADDPG algorithm / optimization scheduling / renewable consumption

引用本文

引用格式 ▾

王文倬, 郭舒毓, 郭相阳, 李武璟, 张亚刚, 荆逸然, 贺力豪, 邹苏郦. 基于多智能体强化学习的多类型储能综合能源系统优化[J]. 科学技术与工程, 2026, 26(23): 10013-10020 DOI:10.12404/j.issn.1671-1815.2507598

WANG Wen-zhuo, GUO Shu-yu, GUO Xiang-yang, LI Wu-jing, ZHANG Ya-gang, JING Yi-ran, HE Li-hao, ZOU Su-li. Optimization of Multi-type Storage Integrated Energy Systems Based on MADDPG[J]. Science Technology and Engineering, 2026, 26(23): 10013-10020 DOI:10.12404/j.issn.1671-1815.2507598

登录浏览全文

4963

注册一个新账户忘记密码

随着全球能源转型进程的加速推进和“碳中和”目标的提出,综合能源系统(integrated energy system,IES)作为实现能源高效利用和可再生能源大规模消纳的重要载体,正受到学术界和工业界的广泛关注^[1-3]。IES通过有机整合多种能源形式与储能设备,实现能源的梯级利用和优化配置,有效提高了能源利用效率。然而,可再生能源固有的间歇性和波动性,以及多元储能设备的特性差异,给IES的优化调度带来了严峻挑战^[4-5]。特别是在以风能、光伏为代表的可再生能源渗透率不断提高的背景下,如何协调电化学储能、压缩空气储能、超级电容等多类型储能设备的运行,充分发挥各自的技术经济特性,实现系统的经济、稳定、高效运行,已成为当前IES研究领域的关键科学问题^[6-8]。

传统的IES优化调度方法主要基于数学规划理论,如线性规划(linear programming,LP)、动态规划(dynamic programming,DP)、混合整数线性规划(mixed integer linear programming,MILP),随着数据驱动技术的发展,数据-模型混合驱动的方法进一步得到关注^[9-10]。这些方法在特定系统类型中表现出良好的性能,Moser等^[10]采用MILP方法解决了IES的最优调度问题,并评估了所提出方法的实际节能潜力。然而,这类方法对模型的线性化要求较高,难以准确刻画实际系统中复杂的非线性耦合关系与动态不确定性^[11]。当系统规模扩大、设备类型增多时,传统方法易遭遇“维度灾难”,计算复杂度急剧增加,难以满足实时调度需求^[12]。

为克服传统方法的局限性,研究者们采用了遗传算法(genetic algorithm,GA)、粒子群优化(particle swarm optimization,PSO)等启发式算法^[13-14]。Khademi等^[15]将可再生能源或电池存储的过剩电力转化为燃气构成综合能源系统,采用改进的PSO算法求解,提升了能源效率与经济效益。Ibrahim等^[16]提出了一种新型模糊逻辑粒子群优化算法,含高渗透储能设备的IES优化问题,在求解灵活性与多目标处理上展现出优势。然而,这类方法普遍存在收敛速度慢、对初始参数敏感、缺乏良好泛化能力等问题,且难以适应系统运行条件的动态变化。

近年来,随着人工智能技术的发展,强化学习(reinforcement learning,RL)在复杂系统优化中展现出巨大潜力^[17-18]。与传统方法相比,强化学习不依赖精确的系统模型,能够通过与环境的自主交互学习最优策略,特别适合处理状态空间复杂、动态性强的调度问题,其中,多智能体强化学习(multi-agent reinforcement learning,MARL)旨在解决由多个智能体组成的系统中,智能体之间如何通过交互和协作来共同完成任务或达到某种优化目标的问题^[19-21]。与单智能体强化学习不同,多智能体强化学习不仅需要考虑智能体与环境的交互,还需要考虑智能体之间的交互和协作。进一步,Lowe等^[22]提出的多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient,MADDPG)算法,通过“集中训练、分布执行”的框架,有效解决了多智能体环境中的非平稳性问题,可为多储能设备的协同调度提供技术支撑。因此,本文中基于MADDPG算法框架,解决多储能综合能源系统的协同调度问题。Dou等^[23]提出了一种多智能体多目标深度强化学习方法,结合了价值函数分解与策略梯度方法,通过构建多目标马尔可夫决策过程对综合能源系统能源管理进行建模,基于优势关系定义逼近综合能源系统能源管理的帕累托前沿。Harrold等^[24]为最大化利用零碳可再生能源,采用多智能体深度确定性策略梯度算法,并与分布式D3PG (distributed distributional deterministic policy gradient)算法和双延迟DDPG(deep deterministic policy gradient)算法进行了对比,提高了可再生能源利用率和电网收益。然而,基于多智能体深度强化学习方法解决多储能综合调度问题尚存在下列未解决难题。

(1)多数研究侧重于单一类型储能,缺乏对多类型储能协同运行机制的深入分析。

(2)现有强化学习方法在解决高维连续动作空间问题时稳定性不足。

(3)缺乏对系统整体经济性与可再生能源消纳能力的协同优化。

针对上述问题,构建“源-汇-荷”三段式IES架构,整合电网、光伏、风电等多种能源,以及电化学储能、压缩空气储能、超级电容三类特性互补的储能设备,形成完整的多储能综合能源系统。在建模上,建立考虑设备动态特性、运行约束和经济性的统一模型,提出基于多智能体合作博弈的优化调度框架,有效刻画多储能设备的协同运行机制。采用MADDPG算法结合Actor-Critic网络结构,设计适用于IES优化的状态空间、动作空间和奖励函数,通过集中训练-分布执行机制实现多储能的协同控制。在奖励函数中综合考虑电能交易成本、弃风弃光惩罚、负荷调节成本和储能折旧成本,实现系统经济性与可再生能源消纳率的协同优化。未来将进一步研究多时间尺度下多类型储能综合能源系统的协同运行策略优化。

1 IES结构及设备模型

1.1 IES结构

采用“三段式” IES模型结构框架:源(能源生产)、汇(能量转换)和荷(能量存储与负载),如图1所示。在源端,IES并行接入传统电网与多种可再生能源——包括光伏板阵列与风力发电机组——形成多源互补的发电格局;汇端则配备高效的电能转换装置,用于将各类发电单元输出的电能统一调节至同一电压等级和频率,使得间歇性、波动性的清洁能源能够平滑并入主电网;荷端则由多种能量存储与最终负载共同构成,其核心是对电化学储能、压缩空气储能与超级电容储能的复合部署,以及用户和电动汽车等电负荷的集中或分散供能。

源端结构体现了IES在资源利用上的开放性与多样性。光伏发电采用分布式或集中式光伏阵列,通过直流汇流箱并网;风力发电则借助变桨机构与功率调节设备,将风机发出的变频交流先行整流、再逆变成并网电能;而与这两者配合的还有传统输电网,通过智能化的负荷预测与微网切换,可在新能源出力不足时供给备用电源。

汇端中的能量转换设备是连接源端与荷端的枢纽:它既包括直流/交流双向变换器、升/降压变压器,也涵盖功率电子变换单元和智能配电开关。通过这些设备,光伏与风电产生的直流或非标交流先被转换至标准交流电,满足后级储能和负载对电压、电流和频率的严格要求;同时,在储能系统放电时,逆变器又可将直流电平滑注入电网,实现能量回馈。

荷端的结构可进一步细分为能量存储子系统与电力负荷子系统两部分。能量存储子系统由电化学储能(锂离子电池组)、压缩空气储能(高压储气罐+膨胀机)、超级电容储能(电双层电容器)三种技术并行组成:电池适合长时段、大能量的波谷填峰;压缩空气储能以其大容量、低成本优势担纲中时段调节;超级电容则以极高的功率密度保障瞬时大功率需求;三者通过各自的充电机、压缩机或充放电控制器与汇端设备无缝衔接。负载子系统则包括居民、商业与工业各类用电需求,以及电动汽车充电桩等新兴用能形态,所有负荷均在能源管理系统(energy management system, EMS)统一调度下,参与实时需求响应和辅助服务。

“三段式”结构在IES模型中不仅分工明确,而且借助先进的通信与控制平台实现端到端的闭环协同:从源头的气象预测与发电预测,到汇端的功率平衡与电压调节,再到荷端的储能调度与需求响应,整个体系呈现出高度的柔性、可靠性与经济性。通过这一结构化设计,IES能够在保证系统安全稳定运行的同时,最大化可再生能源消纳率,并为未来智能电网、微电网及多能互补系统的发展提供可复制的技术路径。

1.2 能量生产设备模型

1.2.1 电网交互模型

假设电网为双向能量交互模型,即IES既可以从电网购电,满足负荷用电或储能充电需求,又可将多余的电量卖回电网,获取一部分收益。分别用${P}_{g}^{\mathrm{i}\mathrm{n}}$(t)和${P}_{g}^{\mathrm{o}\mathrm{u}\mathrm{t}}$(t)表示向电网购电和向电网售电功率,分别用yⁱⁿ(t)和y^out(t)表示向电网购电和向电网售电的电价,且为了避免IES从电网大量购电后直接卖回电网获得利润的行为,假设yⁱⁿ(t)永远高于y^out(t)。

1.2.2 光伏模型

鉴于能量来源——太阳光具有间歇性的特点,导致光能的接受具有随机性,同时光伏输出功率受此影响来回波动。t时段光伏的输出功率为

(1)$P_{\mathrm{PV}}(t)=P_{\mathrm{PV}}^{\mathrm{N}} \frac{G(t)}{G_{\mathrm{r}}}\left\{1+\tau\left[T(t)-T_{\mathrm{r}}\right]\right\}$

式中:${P}_{\mathrm{P}\mathrm{V}}^{\mathrm{N}}$(t)为光伏额定功率;G(t)、T(t) 分别为t时刻的辐照度和温度;G_r、T_r分别为参考辐照度和参考温度;τ为温度系数。

1.2.3 风机模型

风力发电属于不可控的发电机组,其发电功率受外界环境因素影响较大。风力发电出力最主要的影响因素是风速,所以将主要基于经过风力发电机扇片风速进行建模。

风能的不确定性导致风机输出功率的间歇性和不稳定性。t时段风机的输出功率为

(2)$P_{\mathrm{WT}}(t)=\left\{\begin{array}{ll}0, & v(t) \leqslant v_{\mathrm{ci}} \text { 或 } v(t)>v_{\mathrm{co}} \\P_{\mathrm{WT}}^{\mathrm{N}} \frac{v(t)-v_{\mathrm{ci}}}{v_{\mathrm{co}}-v_{\mathrm{ci}}}, & v_{\mathrm{ci}} \leqslant v(t)<v_{\mathrm{N}} \\P_{\mathrm{WT}}^{\mathrm{N}}, & v_{\mathrm{N}} \leqslant v(t)<v_{\mathrm{co}}\end{array}\right.$

式中:v(t)为t时段的风速;v_ci、v_co和v_N分别为风机的切入速度、切出速度和额定速度;${P}_{\mathrm{W}\mathrm{T}}^{\mathrm{N}}$为风机的额定功率。

根据风速范围将功率输出划分为三个典型工作区间:启动段、额定输出段和停止段,反映了风机实际运行特性。当风速过低以至于低于启动风速,风机无法转动发电,则风力发电输出功率为0。且出于对风力发电机组过载风险,结构疲劳,振动加强的考虑,当风速过高且大于切出风速v_co时,风力发电机将自动停机,此时输出功率设定为0。

1.3 能量存储设备

能量存储设备在IES中起到削峰填谷的作用,是改善系统经济性的关键设备。考虑三种典型的储能设备,包括电化学储能,空气压缩储能和超级电容储能。在优化调度问题中,可将三者的一般模型表示为通用形式,主要由储能设备的荷电状态(state of charge,SOC)关系式表达,即

(3)$S_{\mathrm{oc}}^{x}(t+1)=\left(1-\varepsilon_{x} \Delta t\right) S_{\mathrm{oc}}^{x}(t)-\frac{\eta_{x} P_{x}(t) \Delta t}{V_{x}}$

式(3)中:x为系统中相异的储能装置(x=EES、CAES、SC);$ S_{\mathrm{oc}}^{x}$(t)为t时段各储能设备的状态;ε_x为各储能设备能量自然损耗率;P_x(t)为各储能设备的充放功率,正值为放能,负值为充能;V_x为各储能设备的容量;η_x为各储能设备的充放效率,记为

(4)$ \eta_{x}=\left\{\begin{array}{ll}\eta_{x}^{\text {in }}, & P_{x}(t)<0 \\0, & P_{x}(t)=0 \\\eta_{x}^{\text {out }}, & P_{x}(t)>0\end{array}\right.$

式(4)中:${\eta }_{x}^{\mathrm{i}\mathrm{n}}$和${\eta }_{x}^{\mathrm{o}\mathrm{u}\mathrm{t}}$分别为储能设备充电时和放电时的效率系数。

1.4 约束条件

各设备输出功率应满足输出上下限的约束条件,如风机输出功率,应满足约束

(5)$ P_{\mathrm{WT}}^{\min }<P_{\mathrm{WT}}(t)<P_{\mathrm{WT}}^{\max }$

式(5)中:${P}_{\mathrm{W}\mathrm{T}}^{\mathrm{m}\mathrm{i}\mathrm{n}}$和${P}_{\mathrm{W}\mathrm{T}}^{\mathrm{m}\mathrm{a}\mathrm{x}}$分别为风机的最小输出功率和最大输出功率。其他设备的上下限输出/输入约束类似。

储能设备需要满足每一种储能方式的储存能量和释放能量保持平衡。由于每一种设备需满足不同时充放能,故还需满足如下充放电互斥的约束条件,即

(6)$ \begin{array}{l}P_{\mathrm{g}}^{\text {out }}(t)+P_{\mathrm{PV}}(t)+P_{\mathrm{WT}}(t)+P_{x}^{\text {out }}(t)= \\\quad L_{\mathrm{e}}(t)+P_{x}^{\text {in }}+P_{\mathrm{g}}^{\text {in }}(t), \quad X=\text { EES } 、 \text { CAES } 、 \mathrm{SC}\end{array}$

式(4)中:L_e(t)为储能设备负载。

为延长储能设备的使用寿命,应将荷电状态S_oc控制在合理范围,即

(7)$ \left\{\begin{array}{l}S_{\mathrm{oc}} \leqslant S_{\mathrm{oc}}^{x}(t+1) \leqslant \bar{S}_{\mathrm{oc}} \\S_{\mathrm{oc}}^{x}(T)=S_{\mathrm{oc}}^{x}(0)\end{array}\right.$

式(7)中:储能系统S_oc值应在(0, 1),${\stackrel{-}{S}}_{\mathrm{o}\mathrm{c}}$和S_oc分别为持续安全运行的SOC上下限;${S}_{\mathrm{o}\mathrm{c}}^{x}\left(T\right)$和${S}_{\mathrm{o}\mathrm{c}}^{x}\left(0\right)$分别为调度周期结束时段S_oc值和S_oc设定值,考虑到下一调度周期储能设备的可用调节能力,通常规定在调度周期结束时储能设备S_oc应达到50%。

2 基于MADDPG的优化调度策略

针对实际系统中复杂的非线性耦合关系与动态不确定性,且随机问题过多依赖数学模型的问题,本文基于智能决策的优化方法解决多储能能源系统调度问题。强化学习不依赖精确的系统模型,能够在环境交互中学习最优策略,尤其适合处理状态空间复杂、动态性强的场景。特别是多智能体强化学习框架,为多储能设备之间的协同控制提供了新的解法。进一步的,采用多智能体深度确定性策略梯度算法(MADDPG),基于集中训练、分布执行的策略架构,在实现智能体间信息共享与独立决策的同时,有效提升了系统的调度效率与整体性能。

在既有综合能源系统(IES)优化调度模型的基础上,构建了深度强化学习框架下的多智能体协作模型。用N表示系统中所有决策单元的集合,在本文所研究的多储能IES优化调度问题下,考虑风光等出力的不可控,选择具备独立决策能力的智能体为储能单元,用i表示,即(储能)智能体i ∈ N。用S描述系统所有可能状态的集合,构成系统状态空间,主要包含出力、负荷需求、储能状态等;为平衡即时奖励与长期回报,引入一个因子γ,用于调节当前收益与长期收益之间的权重关系。

此外,依据深度强化学习框架,为每个智能体定义局部观测空间和动作空间,其中,智能体 i 的局部观测空间涵盖其能够观测到的所有局部状态信息,动作空间包含其可执行的全部控制动作。在多智能体联合动作作用下,为本系统定义状态转移函数和全局即时奖励函数,其中,状态转移函数用于描述在给定任意动作的情况下,系统从当前状态转移至下一任意状态的概率分布,全局即时奖励函数用于评估在当前状态下,执行多智能体联合动作后,转移到新状态时所产生的瞬时奖励,这部分的设计是深度强化学习模型能否训练得到期望策略的关键。

在上述框架下,每个储能单元 i 持续监测其所在区域的实时运行状态,并基于其 Actor 策略网络生成对应动作,以此实现对该区域资源的调度管控。在训练初期,各储能单元i采用随机初始化的策略,该部分有助于算法的实际使用。当多储能单元的联合动作作用于环境后,系统状态发生转移。此时,系统将收集每个储能单元的状态、动作、所获全局奖励及下一状态,组成经验样本,并存入经验回放缓冲区。接着,Critic 评价网络会从经验回放缓冲区中提取历史轨迹,对当前的 Actor 策略性能展开评估,并基于优化目标通过梯度更新方式对 Actor 策略进行改进。这一过程持续进行,直至所有智能体的策略行为达到动态平衡。

1)储能单元的局部观测空间

在IES多智能体协作模型中,各储能单元所处的空间位置不同,其可观测空间也呈现出不同特征,观测状态应包含风光出力、负荷需求和自身状态,以及电价信息,以获得当前条件下的优化策略。其中,由强化学习环境向储能单元提供的可观测状态范围仅由调度目标与约束条件共同决定。具体地,每个储能单元的局部观测空间为

(8)$\begin{aligned}O_{\mathrm{g}, t}= & {\left[P_{\mathrm{WT}}(t), P_{\mathrm{PV}}(t), P_{\text {load }}(t), S_{\mathrm{oc}}^{\mathrm{EES}}(t),\right.} \\& \left.S_{\mathrm{oc}}^{\mathrm{CAES}}(t), S_{\mathrm{oc}}^{\mathrm{SC}}(t), \Gamma(t)\right]\end{aligned}$

式(8)中:P_load(t)为t时段的负荷需求;$\Gamma \left(t\right)$为t时段的电价。为反映实际用电成本,本文中采用分时电价,用电高峰期时电价较高,用电低谷期时电价较低。

2)储能单元的动作空间

储能单元的动作选择主要为其充放电的功率,然而,在当前IES多智能体协作框架下,风光出力和负荷需求均为动态变化的,智能体动作选择受其影响大,因此,考虑将部分整体环境信息也作为动作量进行设计,以获得更好的优化策略。具体表达式为

(9)$\begin{aligned}a_{\mathrm{g}}(t)= & {\left[a_{\mathrm{WT}}(t), a_{\mathrm{PV}}(t), a_{\mathrm{load}}(t), a_{\mathrm{oc}}^{\mathrm{EES}}(t),\right.} \\& \left.a_{\mathrm{oc}}^{\mathrm{CAES}}(t), a_{\mathrm{oc}}^{\mathrm{SC}}(t)\right]\end{aligned}$

式(9)中:a_WT(t)为风机输出功率映射值;a_PV(t)为光伏输出功率映射值;a_load(t)为系统电力负荷的映射值。

当储能单元获得其可观测状态信息后,将依据自身策略函数从动作空间中选取相应动作。与各智能体观测空间相互独立的情况类似,不同储能单元的动作空间亦因设备类型的不同而存在差异,具体表现为动作变量在量纲与数量级上各不相同。

3)全局即时奖励函数

在全局即时奖励函数的设计中,为得到更低的IES用电成本,并综合调度需求、提高可再生能源利用率、延长储能设备寿命等目标,将全局即时奖励定义为负的综合成本,用R表示,其中,每个时间段的奖励表示为r_t。即

(10)$\begin{aligned}R: r_{t}= & -\left[F_{\mathrm{e}}(t)+F_{\mathrm{res}}(t)+F_{\mathrm{dr}}(t)+\right. \\& \left.F_{\mathrm{dep}}(t)+F_{\mathrm{p}}(t)\right]\end{aligned}$

(11)$F_{\mathrm{e}}(t)=\sum_{t=1}^{T} \Gamma(t) P_{\mathrm{s}}^{\text {out }}(t)-\sum_{i=1}^{T} \Phi P_{\mathrm{s}}^{\text {in }}(t)$

(12)$F_{\mathrm{res}}(t)=\sum_{i=1}^{r}\left[\alpha \Delta P_{\mathrm{WT}}(t)+\beta \Delta P_{\mathrm{PV}}(t)\right]$

(13)$F_{\mathrm{dr}}(t)=\sum_{t=1}^{T} \delta\left[\left|\Delta P_{\mathrm{L}}(t)\right|+\left|\Delta Q_{\mathrm{L}}(t)\right|\right]$

(14)$F_{\mathrm{dep}}(t)=\sum_{t=1}^{T} \psi\left[P_{x}^{\mathrm{in}}(t)+P_{x}^{\mathrm{out}}(t)\right]$

(15)$F_{\mathrm{p}}(t)=\sum_{t=1}^{T} c_{\mathrm{p}}\left(\left|d_{\mathrm{r}, x}\right|+\left|d_{\mathrm{s}, x}\right|\right)$

式中:F_e(t)为电网电能交易成本,其控制策略为买/卖电策略;F_res(t)为弃光弃风惩罚,其控制策略为可再生能源利用率;F_dr(t)为负荷调节成本,其控制重点为用户侧响应调度;F_dep(t)为储能折旧成本,其控制策略为充放能频率;F_p(t)为惩罚函数,其控制重点为限制违反约束行为;$\Gamma \left(t\right)$为t 时段的购电电价;$ P_{\mathrm{s}}^{\text {out }}(t)$为t时段系统从电网购入的电功率;$\Phi $为售电电价;$ P_{\mathrm{s}}^{\text {in}}(t)$为t时段系统向电网售出的电功率;α和$F_{\mathrm{dep}}(t)=\sum_{t=}^{T} \psi\left[P_{x}^{\mathrm{in}}(t)+P_{x}^{\mathrm{out}}(t)\right]$分别为弃风功率和弃光功率的惩罚系数;ΔP_L(t)和ΔQ_L(t)分别为t时段有功负荷和无功负荷的调节量;$ P_{x}^{\mathrm{in}}(t)$和$P_{x}^{\mathrm{out}}(t)$分别为储能设备x在t时段的充电功率和放电功率;$\psi $为储能设备折旧成本系数;c_p为约束违背惩罚系数;d_r,x和d_s,x为储能设备x在不同运行约束下的违约惩罚变量。

基于上述IES的多智能体协作模型,将多储能综合能源系统的优化调度问题建模为满足强化学习框架的优化模型,为后续的求解奠定基础。

3 基于Actor-Critic网络的MADDPG算法设计

3.1 Actor-Critic网络架构

在强化学习中,Actor-Critic(行为者-评价者)框架是一种结合了策略优化与价值评估优势的方法,广泛应用于处理高维、连续动作空间的复杂控制问题。与仅依赖状态价值(如Q-learning)或纯策略梯度方法不同,Actor-Critic同时引入两个网络结构:一个负责输出策略(Actor),另一个用于评价当前策略的价值(Critic),二者相辅相成,实现对策略的持续改进与评估。

在该框架中,Actor网络以当前状态为输入,输出一个确定的动作或动作分布,用于控制系统的实际行为;Critic网络则评估该状态-动作对的价值函数,通常是Q函数,即“在当前策略下,该状态执行该动作可获得的期望回报”。训练过程中,Critic先使用贝尔曼方程对Q值进行估计与更新,作为策略评估的依据;随后,Actor利用策略梯度方法调整其参数方向,使得在给定状态下选择的动作能获得更高的Q值,从而逐步优化策略。

Actor-Critic框架的优势在于融合了策略方法探索性强与价值方法学习效率高的优点。在连续动作空间中,Actor可直接输出精细化动作而非离散选择,避免了维度灾难;而Critic的引入,又克服了纯策略梯度方法中高方差、不稳定的问题。因此,本文考虑到多类型储能综合能源系统调度这种高维、动态、连续控制任务,基于Actor-Critic架构,改进MADDPG算法,并在实际仿真与部署中展现出良好的性能和鲁棒性。

3.2 训练流程与架构

为了实现多类型储能系统中各智能体的有效策略学习,本研究采用基于Actor-Critic架构的多智能体深度强化学习算法MADDPG (multi-agent deep deterministic policy gradient),构建训练流程与模型架构。该算法遵循“集中训练、分布执行”(centralized training with decentralized execution, CTDE)机制,在训练阶段集中获取所有智能体的状态与动作信息,以学习最优的联合策略;而在执行阶段,各智能体仅根据自身局部可观测信息独立作出决策,符合现实储能系统分布式控制需求。

训练过程中,每个智能体拥有独立的策略网络(Actor)和价值网络(Critic)。Actor网络负责生成当前状态下的充放电动作,Critic网络则利用所有智能体的状态与动作评估当前策略的价值。为保证训练的稳定性和收敛性,算法引入目标网络(target network)与软更新机制,通过缓慢更新目标网络参数,避免训练过程中过拟合或策略震荡。同时使用经验回放(replay buffer)技术,随机抽取过往交互样本以打破时序相关性,提高数据利用效率并降低样本方差。此外,为适应多agent之间策略联动的非平稳性问题,训练中的Critic网络接收所有智能体的联合状态-动作对作为输入,从而提升对协同策略的判别能力。

整体训练流程如下:每轮训练中,系统环境根据当前策略与外部输入(如负荷、电价等)进行模拟运行,记录状态转移、动作与奖励等数据,存入经验池中;随后在每个时间步中,采样一批交互数据,分别用于更新每个智能体的Critic与Actor网络,直到策略稳定或达到训练轮数上限为止。该架构不仅提高了多储能设备间的联合控制精度,也具备良好的迁移性和泛化能力,能够适应不同负荷特性、电价结构或系统配置下的优化调度任务。训练流程示意图如图2所示。

4 仿真设计及结果

为验证本文所提深度强化学习方法在多储能综合能源系统调度中的效果,考虑一个典型的微网系统进行仿真验证。该系统配备三类储能器各一台,含有光伏和风力发电分布式能源,对外连接到大电网,通过向电网购电或售电与电网交互,保证负荷的用能需求。针对多储能的调度优化验证,考虑一天24 h,以0.5 h为调度周期进行优化。

如图3所示为光伏和风机的发电情况。光伏发电呈现明显的间歇性,而风机表现出较大的波动性。这为决策带来困难。

该系统应满足负荷的用能需求,一天内的负荷需求曲线如图4所示。

如图5所示为一天中电网的实时电价。电网采用峰谷分时电价政策,电网售电(向电网购电)电价在用电高峰时段和低谷时段差异较大,由图5可知,白天用电高峰期时,购电成本较高,而凌晨时购电价格较低,激励用户在用电低谷时用电以减少成本。对于向电网售电的价格,相对而言波动较小,且在电网用电高峰期,售电价格低于购电价格,但在凌晨等用电低谷期,售电价格超过了购电价格。因此,为了避免用电低谷期系统从电网大量购电再转卖电网获得利润,在强化学习的训练过程中加入了不能同时买电和卖电的约束。

在上述参数设置下,进行了强化学习训练,并设置强化学习算法训练轮次为500轮,算法调度策略的学习效果如图6所示。可以看出,算法快速收敛。

3个储能单元的SOC值变化曲线如图7所示。由于售电收益与弃电惩罚的存在,采用强化学习算法训练后,迅速将弃电部分降低,并通过在不同时段对三类储能器充放电以及向电网互动的决策来优化总收益,实现系统的优化调度。

5 结论

构建了一种基于MADDPG的多类型储能IES优化调度框架,通过“源-汇-荷”三段式结构与多智能体协同控制,实现了系统经济性与可再生能源消纳率的显著提升。考虑了三种典型的储能设备,包括电化学储能,空气压缩储能和超级电容储能,采用MADDPG方法,重点考虑弃风弃光惩罚、储能折旧和购电消耗成本,对策略进行加强,通过三种储能的协同,满足用户需求,提高可再生能源利用率并降低从电网购电的成本。

未来将进一步研究多时间尺度下多类型储能综合能源系统的调度问题,考虑更多的储能类型,重点解决调度区间不同的情况下,如何实现不同类型储能间的协同运行策略优化。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	骆钊, 刘德文, 沈鑫, 等. 综合能源系统优化运行技术研究综述[J]. 电力建设, 2022, 43(12): 3-14.

[2]	Luo Zhao, Liu Dewen, Shen Xin, et al. Review of research on optimal operation technology of integrated energy system[J]. Electric Power Construction, 2022, 43(12): 3-14.

[3]	Gao M, Han Z, Zhao B, et al. Optimal planning method of multi-energy storage systems based on the power response analysis in the integrated energy system[J]. Journal of Energy Storage, 2023, 73: 109015.

[4]	许鹏辉, 熊军华, 李帅. 基于CLHG-SOFC的综合能源系统低碳经济优化调度[J]. 科学技术与工程, 2025, 25(24): 10285-10293.

[5]	Xu Penghui, Xiong Junhua, Li Shuai. Low-carbon economic optimization scheduling of integrated energy systems based on CLHG-SOFC[J]. Science Technology and Engineering, 2025, 25(24): 10285-10293.

[6]	胡松涛, 孙涛, 贺广文, 等. 综合能源系统建模与运行优化问题研究[J]. 科学技术创新, 2023(26): 21-24.

[7]	Hu Songtao, Sun Tao, He Guangwen, et al. Research on integrated energy system modeling and operation problems[J]. Scientific and Technological Innovation, 2023(26): 21-24.

[8]	王永利, 刘泽强, 陈鑫, 等. 基于梯级利用的工业园区综合能源系统双层优化[J]. 科学技术与工程, 2024, 24(29): 12595-12603.

[9]	Wang Yongli, Liu Zeqiang, Chen Xin, et al. Double-layer optimization model of industrial park-level integrated energy system based on cascade utilization[J]. Science Technology and Engineering, 2024, 24(29): 12595-12603.

[10]	Ye Y, Papadaskalopoulos D, Yuan Q, et al. Multi-agent deep reinforcement learning for coordinated energy trading and flexibility services provision in local electricity markets[J]. IEEE Transactions on Smart Grid, 2022, 14(2): 1541-1554.

[11]	Gabrielli P, Fürer F, Mavromatidis G, et al. Robust and optimal design of multi-energy systems with seasonal storage through uncertainty analysis[J]. Applied Energy, 2019, 238: 1192-1210.

[12]	Bartolini A, Carducci F, Muñoz C B, et al. Energy storage and multi energy systems in local energy communities with high renewable energy penetration[J]. Renewable Energy, 2020, 159: 595-609.

[13]	范宏, 徐涛, 贾庆山. 数据-模型混合驱动的数据中心综合能源系统优化调度综述[J]. 南方电网技术, 2025, 19(3): 174-187.

[14]	Fan Hong, Xu Tao, Jia Qingshan. Review of optimization scheduling for integrated energy systems with data centers based on hybrid data-model driven[J]. Southern Power System Technology, 2025, 19(3): 174-187.

[15]	Moser A, Muschick D, Gölles M, et al. A MILP-based modular energy management system for urban multi-energy systems: performance and sensitivity analysis[J]. Applied Energy, 2020, 261: 114342.

[16]	闻天润, 彭道刚, 赵慧荣, 等. 考虑设备风险和风光不确定性的园区综合能源随机优化运行[J]. 科学技术与工程, 2023, 23(32): 13861-13871.

[17]	Wen Tianrun, Peng Daogang, Zhao Huirong, et al. Stochastic optimal operation of park-level integrated energy considering equipment risk and uncertainty of wind and solar[J]. Science Technology and Engineering, 2023, 23(32): 13861-13871.

[18]	Liu J, Ma L, Wang Q. Energy management method of integrated energy system based on collaborative optimization of distributed flexible resources[J]. Energy, 2023, 264: 125981.

[19]	邢雪亮, 贾利民, 胡俊杰, 等. 面向园区自洽能源系统的综合优化调度研究[J]. 华北电力大学学报(自然科学版), 2026, 53(2): 1-15.

[20]	Xing Xueliang, Jia Limin, Hu Junjie, et al. Study on comprehensive optimization operation for park-level self-contained energy systems[J]. Journal of North China Electric Power University (Natural Science Edition), 2026, 53 (2): 1-15.

[21]	Wu M, Du P, Jiang M, et al. An integrated energy system optimization strategy based on particle swarm optimization algorithm[J]. Energy Reports, 2022, 8: 679-691.

[22]	Khademi V, Soleymani S, Sharifi R, et al. Improving integrated energy systems with improved particle swarm optimization: co-optimizing renewables, electric vehicles, gas systems, and demand management[J]. International Transactions on Electrical Energy Systems, 2025(1): 3382601.

[23]	Ibrahim O, Aziz M J A, Ayop R, et al. Fuzzy logic-based particle swarm optimization for integrated energy management system considering battery storage degradation[J]. Results in Engineering, 2024, 24: 102816.

[24]	张前, 何山, 黄嵩, 等. 基于DDPG算法的风力发电机变桨距控制研究[J]. 科学技术与工程, 2023, 23(18): 7764-7771.

[25]	Zhang Qian, He Shan, Huang Song, et al. Variable pitch control of wind turbine based on DDPG algorithm[J]. Science Technology and Engineering, 2023, 23(18): 7764-7771.

[26]	阮应君, 侯泽群, 钱凡悦, 等. 基于深度强化学习的分布式能源系统运行优化[J]. 科学技术与工程, 2022, 22(17): 7021-7030.

[27]	Ruan Yingjun, Hou Zequn, Qian Fanyue, et al. Optimization of the operation of distributed energy system based on deep reinforcement learning[J]. Science Technology and Engineering, 2022, 22(17): 7021-7030.

[28]	Arulkumaran K, Deisenroth M P, Brundage M, et al. Deep reinforcement learning: a brief survey[J]. IEEE Signal Processing Magazine, 2017, 34(6): 26-38.

[29]	Ding L, Cui Y, Yan G, et al. Distributed energy management of multi-area integrated energy system based on multi-agent deep reinforcement learning[J]. International Journal of Electrical Power & Energy Systems, 2024, 157: 109867.

[30]	彭春华, 张浩旗, 孙惠娟, 等. 基于延迟感知多智能体深度强化学习的多光储直柔系统优化调度[J]. 电工技术学报, 2026, 41(11): 3742-3754.

[31]

Peng Chunhua, Zhang Haoqi, Sun Huijuan, et al. Optimized scheduling of multi photovoltaics and energy storage integrated flexible direct current distribution systems based on delay-aware multi-agent deep reinforcement learning[J]. Transactions of China Electrotechnical Society, 2026, 41(11): 3742-3754.

[32]	Lowe R, Wu Y I, Tamar A, et al. Multi-agent Actor-Critic for mixed cooperative-competitive environments[J]. arXiv Preprint, arXiv: 1706. 02275, 2017.

[33]	Dou J, Wang X, Liu Z, et al. Towards Pareto-optimal energy management in integrated energy systems: a multi-agent and multi-objective deep reinforcement learning approach[J]. International Journal of Electrical Power & Energy Systems, 2024, 159: 110022.

[34]	Harrold D J B, Cao J, Fan Z. Renewable energy integration and microgrid energy trading using multi-agent deep reinforcement learning[J]. Applied Energy, 2022, 318: 119151.