基于深度强化学习的边缘协同配电网任务卸载博弈优化策略

谭传玉; 王鹏; 林佳颖; 秦四军; 雷杨; 尹靖元

doi:10.12404/j.issn.1671-1815.2501649

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (1) :181-190 DOI: 10.12404/j.issn.1671-1815.2501649

电工技术

基于深度强化学习的边缘协同配电网任务卸载博弈优化策略

谭传玉 ¹ ,
王鹏 ¹ ,
林佳颖 ¹ ,
秦四军 ¹ ,
雷杨 ² ,
尹靖元 ³^,^*

作者信息 +

Edge Collaborative Task Offloading Game Optimization Strategy for Distribution Networks Based on Deep Reinforcement Learning

Author information +

文章历史 +

摘要

近年来,人工智能、分布式计算等技术极大推动了配电网运行性能的提升,但在任务计算、数据处理效率等方面仍面临巨大挑战。为此,提出一种基于深度强化学习(deep reinforcement learning, DRL)的边缘协同任务卸载博弈优化策略,以提升配电网任务执行效率和系统整体计算性能。首先,建立了考虑任务优先级的配电网边-边协同任务计算模型。进一步,将任务卸载问题建模为Stackelberg博弈。其中,本地服务器作为领导者,以优化任务执行时延和计算成本的综合性能为目标;目标卸载服务器作为跟随者,以提供计算服务获取最大收益为目标。然后,证明了博弈模型纳什均衡的存在性。最后,提出了基于多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)的博弈模型求解方法。算例结果表明,与随机卸载和贪心卸载算法相比,所提方法下本地服务器效用值分别提高了66.7%和52.4%。任务的平均执行时间比随机卸载减少14.4%。同时,配电网各服务器的计算负荷分配更加均衡,平均负荷系数较随机卸载方法降低了11.9%。

Abstract

In recent years, technologies such as artificial intelligence and distributed computing have significantly enhanced the operational performance of power distribution grids. However, significant challenges remain in areas such as computational task execution and data processing efficiency. An edge collaborative task offloading game optimization strategy based on deep reinforcement learning (DRL) was proposed to enhance task execution efficiency and overall computational performance for distribution networks. Firstly, a distribution network edge to edge collaborative task calculation model considering task priority was established. Furthermore, the task offloading problem was modeled as a Stackelberg game. Where the local server, as the leader, aims to optimize the comprehensive performance of task execution delay and computing cost. As a follower, the target uninstall server aims to provide computing services to maximize revenue. Then, the existence of Nash equilibrium in game model was proved. Finally, a game model solving method based on multi-agent deep deterministic policy gradient (MADDPG) was proposed. The case study results show that the local server utility value under the proposed method is increased by 66.7% and 52.4% respectively compared with the random offloading and greedy offloading algorithms. The average execution time of tasks is 14.4% less than that of random offloading. Furthermore, the load distribution of servers in the distribution network is more balanced, and the average load coefficient is reduced by 11.9% compared with the random unloading method.

Graphical abstract

关键词

任务卸载 / 深度强化学习 / 边-边协同 / Stackelberg博弈 / 纳什均衡

Key words

task unloading / deep reinforcement learning / edge-edge collaboration / Stackelberg game / Nash equilibrium

引用本文

引用格式 ▾

谭传玉, 王鹏, 林佳颖, 秦四军, 雷杨, 尹靖元. 基于深度强化学习的边缘协同配电网任务卸载博弈优化策略[J]. 科学技术与工程, 2026, 26(1): 181-190 DOI:10.12404/j.issn.1671-1815.2501649

TAN Chuan-yu, WANG Peng, LIN Jia-ying, QIN Si-jun, LEI Yang, YIN Jing-yuan. Edge Collaborative Task Offloading Game Optimization Strategy for Distribution Networks Based on Deep Reinforcement Learning[J]. Science Technology and Engineering, 2026, 26(1): 181-190 DOI:10.12404/j.issn.1671-1815.2501649

登录浏览全文

4963

注册一个新账户忘记密码

近年来,人工智能(artificial intelligence, AI)、分布式计算及电力物联网(Internet of Things, IoT)等前沿技术迅猛发展,为能源消费的高质量发展提供了强有力支撑^[1]。然而,受限于当前配电网计算、通信能力以及数据处理效率等因素,配电网在任务实时响应和处理效率等方面仍面临严峻挑战^[2-3]。边缘协同计算通过优化配电网的计算资源分配,能够显著降低任务计算延迟,增强配电网的实时响应能力,提高主动配电网(active distribution network, ADN)的整体运行效率^[4]。此外,基于数据驱动的策略无需依赖精确的数学模型,能够灵活应对配电网的复杂变化,并动态调整计算资源分配,以优化系统的整体运行^[5]。为此,研究基于数据驱动的配电网边缘协同计算策略是解决配电网计算能力不足问题,提供低时延、高效计算服务的有效技术手段之一。

目前,为了提高电力系统的任务计算性能,国内外学者围绕边缘协同任务卸载中的关键问题,如协同框架^[6]、协同机制^[7]等方面,进行了多维度、多层次的研究。在边缘协同框架研究方面,文献[8]提出了一种分布式边-云协同结构,通过一主多边实现虚拟发电厂云控制中心和各需求侧响应端的计算任务卸载。文献[9]提出了一种针对微电网能源交易的边-边协同计算任务处理框架,通过本地计算、用户协作和边缘节点协作实现了计算任务的高效执行。文献[10]基于云-雾计算框架提出了一种智能电网任务协同计算策略,在保证隐私安全的基础上降低了计算和通信开销。基于计算能力、通信网络和计算需求,研究配电网边缘协同架构,是保障配电网计算资源高效协同运行的前提和基础。

在边缘协同机制研究方面,由于边、云计算在技术特性上相互补充,边-云协同已成为一种相对成熟的模式,并受到广泛关注。文献[11]提出了一种卫星-低空-地面协同的动态任务卸载模型,以满足集中式新能源发电场景下的计算需求。文献[12]提出了一种综合考虑用户、边缘节点和云中心三者协同计算的博弈模型,以解决电力系统不同类型的计算任务。随着电力物联网和AI技术的发展,任务卸载优化策略从传统基于优化的策略逐步转向基于数据驱动的智能决策模式^[13]。文献[14]为了降低配电网通信时延和云服务器的负担,提出了一种基于深度Q网络的云-边-端协同任务卸载策略。文献[15]提出了一种基于深度强化学习(deep reinforcement learning, DRL)的计算任务卸载与资源配置优化算法,解决了传统模型在云端资源利用上的局限性。尽管边-云协同能够有效整合系统计算资源,但云端计算也面临高时延、大带宽需求、数据安全以及较高建设运营成本等挑战。这些局限性难以支撑配电网中高动态响应任务的计算需求。

作为一种分布式协同计算框架,边-边协同通过边缘节点之间的协同计算,减少了对云端的依赖,显著降低了通信延迟和带宽需求,能够更灵活地应对计算负荷的动态变化,逐步受到了研究人员的重视。文献[16]综述了边缘智能的概念、特征、框架和关键技术,并深入探讨了其在智能电网中的应用潜力,特别是在实时任务处理、智能感知和协调以及资源利用等方面的优势。文献[17]针对当前配电网任务分配效率低的问题,提出了一种考虑任务耦合关系的双层边缘服务器(edge server, ES)部署与任务分配方法,降低了任务计算成本。文献[18]通过引入移动边缘计算并提出了一种基于DRL的边-边协同任务卸载策略,以满足智能电网对计算能力的需求。文献[19]针对智能电网中计算卸载和服务缓存的联合优化问题,提出了一个基于博弈论的混合整数非线性规划方法,以最小化任务计算成本。边-边协同计算在降低计算延迟、保障隐私安全和减少带宽占用等方面表现出显著优势。然而,目前针对配电网边-边协同任务计算的研究仍较为有限,综合考虑配电网的计算能力和通信约束,构建鲁棒且高效的边-边协同任务卸载策略,对于提升配电网的任务计算能力、优化计算资源分配具有重要意义。

为了提高配电网任务计算效率和多边缘服务器的协同计算能力,现提出一种基于深度强化学习的边缘协同任务卸载博弈优化策略。Stackelberg博弈能够根据不同服务器自身信息和利益,制定最优任务卸载策略,实现系统的分布式决策。在计算资源不平衡的情况下,能够协调智能体的协同计算,提高任务的分配与执行效率。进一步,通过多智能体深度强化学习策略求解Stackelberg博弈模型,能够实现主、从智能体间的动态协调与策略优化,有效应对配电网复杂环境下的计算任务分配问题。

1 所提配电网边-边协同架构及方法概述

当配电网产生计算任务后,本地边缘服务器既可以选择在本地计算,也可以将任务卸载到其他边缘服务器计算。配电网边缘协同计算架构及方法如图1所示。以改进的IEEE 33节点为例,网络配置多台边缘服务器,分别服务各自区域内的计算任务。各边缘服务器通过网络实现互联互通。

在配电网任务执行过程中,合理利用计算资源既能减轻服务器压力,同时能提升任务执行质量,是确保系统高效运行的关键。在研究场景中,配电网任务卸载的关键是选择合适的目标服务器并确定任务卸载比例,以实现高效的边缘协同计算。为此,首先建立了考虑任务优先级的配电网边-边协同任务计算模型。在此基础上,将边-边协同任务卸载建模为一个Stackelberg博弈模型。其中,任务产生的本地服务器作为领导者,以优化任务执行时延和计算成本的综合性能为目标;而卸载目标服务器作为跟随者,旨在通过提供计算服务最大化自身收益。进一步,证明了主从博弈模型纳什均衡的存在性。最后,提出了基于多智能体深度确定性策略梯度(multi-agent deep deterministic policy gradient, MADDPG)的Stackelberg博弈模型求解方法,具体包括多智能体的状态、动作、奖励值设计,以及基于MADDPG的边-边协同任务卸载策略。

2 考虑任务优先级的边缘协同任务计算模型

设配电网中的边缘服务器集为S={S₁,S₂,S₃,…,S_n,…}。S中每台边缘服务器S_n属性包括S_n={p_n,f_n,A_n,p^d_n},其中,p_n为S_n提供任务卸载服务的单价,元/(cycle·s),cycle表示周期数量;f_n为S_n的计算能力,cycle/s;A_n为S_n当前排队的任务参数,包括任务量Q_n及其优先级;p^d_n为服务器S_n为任务数据提供缓存的单价,元/(bit·s)。设配电网产生的任务集合为J={J₁,J₂,J₃,…,J_i,…}。J中每个任务J_i的属性包括J_i={D_i,G_i,${T}_{i}^{\mathrm{m}\mathrm{a}\mathrm{x}}$},其中,D_i为任务J_i的数据量大小,bit;G_i为完成任务所需的CPU周期数,cycle;${T}_{i}^{\mathrm{m}\mathrm{a}\mathrm{x}}$为任务允许的最大时延,s。

2.1 任务优先级模型

考虑任务的优先级有助于在任务卸载时优化计算资源分配,提高任务处理效率和系统整体响应能力。综合不同任务J_i的特征,如任务的数据量大小D_i、计算量G_i、最大允许时延${T}_{i}^{\mathrm{m}\mathrm{a}\mathrm{x}}$,以及当前服务器状态建立其优先级如下。

(1)${{p}^{\mathrm{s}}}_{i}={\mathrm{e}}^{1+{w}_{1}{D}_{i}}+{\mathrm{e}}^{1+{w}_{2}{G}_{i}}+{\mathrm{e}}^{1+{w}_{3}{T}_{i}^{\mathrm{m}\mathrm{a}\mathrm{x}}}+{\mathrm{e}}^{1+{w}_{4}{Q}_{n}}$

式(1)中:w₁、w₂、w₃、w₄分别为各特征量的权重系数。

式(1)通过引入指数函数的平滑项使得任务优先级模型能够反映任务差异同时,具备一定的可调性和稳定性。

2.2 任务计算模型

在边-边协同计算方式下,任务J_i在本地、远程ES的计算时延t^l_cal,i、t^r_cal,i分别为

(2)${{t}^{\text{l}}}_{\text{cal},i}=(1-\lambda ){{G}_{i}}/{{f}^{\text{l}}}_{n},\forall {{J}_{i}}\in J,{{S}_{n}}\in S$

(3)${{t}^{\text{r}}}_{\text{cal},i}=\lambda {{G}_{i}}/{{f}^{\text{r}}}_{n},\forall {{J}_{i}}\in J,{{S}_{n}}\in S$

式中:λ为任务J_i在远程ES的卸载比例;f^l_n和f^r_n分别为本地和远程ES的计算能力。

任务J_i在本地和远程ES等待计算的排队时延t^l_que,i、t^r_que,i分别为

(4)${{t}^{\mathrm{l}}}_{\mathrm{q}\mathrm{u}\mathrm{e},i}={{Q}^{\mathrm{l}}}_{n}/{{f}^{\mathrm{l}}}_{n},\forall {S}_{n}\in S\mathrm{ }$

(5)${{t}^{\mathrm{r}}}_{\mathrm{q}\mathrm{u}\mathrm{e},i}={{Q}^{\mathrm{r}}}_{n}/{{f}^{\mathrm{r}}}_{n},\forall {S}_{n}\in S$

式中:Q^l_n和Q^r_n分别为当前考虑任务优先级后的本地、远程ES任务计算量。

2.3 通信模型

根据香农定理,任务J_i卸载到其他边缘服务器S_n的传输速率^[20]为

(6)R_n=wlog₂[1+P_nh_n/(N₀w)]

式(6)中:w为信号传输带宽;P_n为边-边信号传输功率;h_n为信道增益;N₀为高斯白噪声谱密度。

因此,任务J_i卸载到其他ES的传输时间为

(7)${{\text{t}}_{\text{comm},i}}=\lambda {{D}_{i}}/{{R}_{n}},\forall {{J}_{i}}\in J,{{S}_{n}}\in S$

由于任务执行后返回的结果数据量一般很小,通常均忽略其传输时间^[19-20]。

综上,任务J_i在本地和远程ES的执行时间t^l_total,i和t^r_total,i分别为

(8)${{t}^{\mathrm{l}}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l},i}={{t}^{\mathrm{l}}}_{\mathrm{c}\mathrm{a}\mathrm{l},i}+{{t}^{\mathrm{l}}}_{\mathrm{q}\mathrm{u}\mathrm{e},i},\forall {J}_{i}\in J$

(9)${{t}^{\mathrm{r}}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l},i}={{t}^{\mathrm{r}}}_{\mathrm{c}\mathrm{a}\mathrm{l},i}+{{t}^{\mathrm{r}}}_{\mathrm{q}\mathrm{u}\mathrm{e},i}+{{t}^{\mathrm{r}}}_{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{m},i},\forall {J}_{i}\in J$

任务J_i在边-边协同计算下的最终执行时间为

(10)${{t}_{final}}=\max \{{{t}^{\text{l}}}_{\text{total},i},{{t}^{\text{r}}}_{\text{total},i}\},\forall {{J}_{i}}\in J$

2.4 任务卸载经济模型

由于待计算的任务需占用宝贵的服务器缓存资源,因此需考虑数据缓存成本。任务J_i在本地和远程ES排队期间占用的缓存成本C^l_buf,i、C^r_buf,i分别为

(11)${{C}^{\mathrm{l}}}_{\mathrm{b}\mathrm{u}\mathrm{f},i}={\mathrm{e}}^{{{p}^{\mathrm{d}}}_{n}(1-\lambda ){D}_{i}{{Q}^{\mathrm{l}}}_{n}/{{f}^{\mathrm{l}}}_{n}},\forall {J}_{i}\in J,{S}_{n}\in S$

(12)${{C}^{\mathrm{r}}}_{\mathrm{b}\mathrm{u}\mathrm{f},i}={\mathrm{e}}^{{{p}^{\mathrm{d}}}_{n}\lambda {D}_{i}{{Q}^{\mathrm{r}}}_{n}/{{f}^{\mathrm{r}}}_{n}},\forall {J}_{i}\in J,{S}_{n}\in S$

在边-边协同计算下,本地ES的目标是将产生的任务J_i部分卸载到其他边缘服务器以降低任务执行时间,同时支付相应的计算服务成本。即,本地ES的收益C^l_i为降低任务执行时间取得的收益与本地计算成本和支付边-边协同计算成本之差。为此,可建立本地ES成本模型如下。

(13)${{C}^{\mathrm{l}}}_{i}(\lambda,x)=\gamma \mathrm{ }{{p}^{\mathrm{s}}}_{i}({\mathrm{e}}^{{t}_{\mathrm{l}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{l},i}}-{\mathrm{e}}^{\mathrm{m}\mathrm{a}\mathrm{x}\{{{t}^{\mathrm{l}}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l},i},{t}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l},i}^{\mathrm{r},x}\}-{t}_{\mathrm{l}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{l},i}})-{{C}^{\mathrm{l}}}_{\mathrm{b}\mathrm{u}\mathrm{f},i}-p\mathrm{ }{{p}^{\mathrm{s}}}_{i}\lambda {G}_{i}$

式(13)中:γ为任务计算时延转换为经济收益的转换系数;p为远程ES提供计算服务的单价,元/cycle;x为目标服务器序号;t_lotal,_i为本地ES无边-边协同下的执行时间,表达式为

(14)${t}_{\mathrm{l}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l},i}={G}_{i}/{{f}^{\mathrm{l}}}_{n}+{{t}^{\mathrm{l}}}_{\mathrm{q}\mathrm{u}\mathrm{e},i},\forall {S}_{n}\in S$

同理,远程ES执行任务卸载的目标是提供计算服务并获得收益。即,远程ES的收益C^r_i包括提供计算服务获得的收益与数据存储成本之差。建立的远程ES成本模型为

(15)${{C}^{\mathrm{r}}}_{i}=p\mathrm{ }{{p}^{\mathrm{s}}}_{i}\lambda {G}_{i}-\mathrm{ }{{C}^{\mathrm{r}}}_{\mathrm{b}\mathrm{u}\mathrm{f},i}$

3 基于Stackelberg博弈的任务卸载模型

在配电网任务卸载中,本地和远程服务器均希望按照式(13)、式(15)实现自身利益最大化,二者存在合作与竞争关系,从而造成相互博弈的局面。

3.1 任务卸载的Stackelberg博弈模型

为此,将配电网系统边-边协同任务卸载建模为Stackelberg博弈模型G=[M,N,(λ,x),C^l_i(λ,x),C^r_i(λ)]。其中M为领导者,即本地ES方;N为跟随者,即远程ES方;(λ,x)为本地服务器的策略集,即本地ES的卸载比例和目标服务器;C^l_i(λ,x)、C^r_i(λ)分别为领导者和跟随者的效用函数。

在Stackelberg博弈模型中,领导者(本地ES)的目标是通过将任务卸载到远程ES降低任务执行时间从而获得最优收益,即

(16)$\mathrm{m}\mathrm{a}\mathrm{x}\left[{{C}^{\mathrm{l}}}_{i}\right(\lambda,x\left)\right]$

$\mathrm{s}.\mathrm{t}.\left\{\begin{array}{l}0\le \lambda \le 1\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\left(17\right)\\ 0\le x\le {\mathrm{X}}_{\mathrm{m}\mathrm{a}\mathrm{x}}\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\left(18\right)\\ \mathrm{m}\mathrm{a}\mathrm{x}\left\{{{t}^{\mathrm{l}}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l},i},{t}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l},i}^{\mathrm{r},x}\right\}\le {T}_{i}^{\mathrm{m}\mathrm{a}\mathrm{x}}\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\left(19\right)\\ \left(1-\lambda \right){D}_{i}+{D}_{\mathrm{l}}\le {D}_{\mathrm{l}}^{\mathrm{m}\mathrm{a}\mathrm{x}}\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\left(20\right)\end{array}\right.$

式中:D_l为本地服务器当前缓存;${D}_{\mathrm{l}}^{\mathrm{m}\mathrm{a}\mathrm{x}}$为本地服务器最大缓存。

跟随者(远程ES)目标是通过提供计算服务最大化自身收益,即

(21)$\mathrm{m}\mathrm{a}\mathrm{x}\left[{{C}^{\mathrm{r}}}_{i}\right(\lambda \left)\right]$

式中:D_r,x为远程服务器x当前缓存;${D}_{\mathrm{r},x}^{\mathrm{m}\mathrm{a}\mathrm{x}}$为远程服务器最大缓存。

式(17)为卸载比例的约束条件;式(18)表示卸载目标服务器不超过最大远程服务器数量;式(19)和式(23)表示本地和远程的执行时间不超过任务最大允许时间;式(20)和式(24)表示本地和远程服务器任务大小和当前缓存之和不超过其缓存容量限制。

3.2 博弈模型的纳什均衡存在性证明

当博弈双方达到纳什均衡后,每个参与者都达到其最大值,且单方面改变参与者的策略不会增加其收益。

引理1 非合作博弈至少一个纳什均衡。

(1) 策略空间X(λ)是非空有界闭凸集。

(2) 效用函数C^r_i(λ)在X中是连续拟凹的。

显然,对于所有的远程服务器,任务卸载的策略空间X都是欧氏空间的有界非空闭凸集。已知欧氏空间的有界闭集是紧致的,且效用函数C^r_i(λ)在其策略空间是连续的。下面证明效用函数满足凹函数的特征。

对C^r_i(λ)分别求λ的一阶和二阶偏导数,即

(25)$\frac{\partial {{C}^{\mathrm{r}}}_{i}}{\partial \lambda }=p{p}_{\mathrm{s}}{G}_{i}-{\mathrm{e}}^{\lambda {D}_{i}{{p}^{\mathrm{d}}}_{n}{{Q}^{\mathrm{r}}}_{n}/{{f}^{\mathrm{r}}}_{n}}{D}_{i}\mathrm{ }{{p}^{\mathrm{d}}}_{n}{{Q}^{\mathrm{r}}}_{n}/{{f}^{\mathrm{r}}}_{n}$

(26)$\frac{{\partial }^{2}{{C}^{\mathrm{r}}}_{i}}{\partial {\lambda }^{2}}=-{\mathrm{e}}^{\lambda {D}_{i}{{p}^{\mathrm{d}}}_{n}{{Q}^{\mathrm{r}}}_{n}/{{f}^{\mathrm{r}}}_{n}}({D}_{i}{{p}^{\mathrm{d}}}_{n}{{Q}^{\mathrm{r}}}_{n}/{{f}^{\mathrm{r}}}_{n}{)}^{2}$

由式(26)可知∂²C^r_i/∂λ²<0。因此,效用函数C^r_i(λ)是严格凹的,所建立的博弈模型存在纳什均衡解。

4 基于MADDPG的博弈模型求解方法

多智能体深度确定性策略梯度算法是一种多智能体深度强化学习算法,特别适用于处理多个智能体间的协同控制问题。因此,可以通过MADDPG框架求解所建立的博弈模型。其中,主智能体通过最大化自身奖励进行决策。从智能体通过评估任务执行效果,间接影响主智能体的策略,从而促使博弈达到平衡。

4.1 MADDPG的状态、动作、奖励设计

在多智能体环境中,状态、动作、奖励直接影响MADDPG的训练和控制性能。由于主、从智能体在任务卸载目标等方面的差异,需分别设计其状态空间、动作空间和奖励函数,以保证任务卸载过程中的合理协同与优化。

(1) 主、从智能体的状态空间。主智能体的状态空间${s}_{t}^{\mathrm{m}\mathrm{a}}$包括当前任务状态以及主、从智能体的状态;从智能体的状态空间sⁿ_t,i包括从智能体的状态。主、从智能体的状态空间分别设计如下。

(27)$\left\{\begin{array}{l}{s}_{t}^{\mathrm{m}\mathrm{a}}=\{{A}_{\mathrm{m}\mathrm{a}},{D}_{i},{G}_{i},{T}_{i}^{\mathrm{m}\mathrm{a}\mathrm{x}},{A}_{\mathrm{s}\mathrm{l},1},\dots,{A}_{\mathrm{s}\mathrm{l},n},\dots \}\\ {s}_{t,n}^{\mathrm{s}\mathrm{l}}=\left\{{A}_{\mathrm{s}\mathrm{l},n}\right\}\end{array}\right.$

式(27)中:A_ma为当前任务状态;A_sl,n为各从智能体状态。

(2) 动作空间。主智能体的动作空间包括其决策变量:目标卸载服务器和卸载比例,从智能体仅执行主智能体的任务而无需决策,即

(28)${a}_{t}^{\mathrm{m}\mathrm{a}}=\{x,\lambda \}$

式(28)中:目标卸载服务器x为整型变量;λ为连续型变量,取值范围为[0,1]。

(3) 奖励。主、从智能体的奖励函数分别对应其各自目标函数,如式(13)和式(15)所示。由于主从智能体的目标均是最大化自身收益,因此奖励函数设计如下。

(29)$\left\{\begin{array}{l}{r}_{\mathrm{m}\mathrm{a}}={{C}^{\mathrm{l}}}_{i}(\lambda,x)\\ {r}_{\mathrm{s}\mathrm{l}}={{C}^{\mathrm{r}}}_{i}\left(\lambda \right)\end{array}\right.$

4.2 基于MADDPG的边-边协同任务卸载方法

MADDPG算法通过引入中心化的训练框架和分布式执行策略实现多智能体协同控制。基于MADDPG的边-边协同任务卸载方法如下。

4.2.1 初始化阶段

在配电网中,产生计算任务的边缘服务器作为主智能体。每个主智能体均设置actor网络和critic网络,其中actor网络负责根据最大化自身奖励来做出任务卸载决策,而critic网络则用于评估actor网络所选动作的Q值,从而指导actor网络优化决策。由于所设计的博弈结构中从智能体不直接参与决策过程,因此只需设置一个critic网络来评估任务协同计算的奖励,指导其接受主智能体分配的计算任务,并根据评估结果进行相应的奖励更新。

由于主智能体的决策变量是混合离散、连续动作,通过在actor网络中引入softmax层,输出离散动作的概率分布以处理混合动作空间,从而避免了额外增加复杂的网络架构。进一步,为了实现配电网计算任务的边缘协同计算,将每个任务视为一个回合(episode)。每当新任务产生时,需初始化相关系统状态。

4.2.2 采样阶段

各智能体分别计算各自的当前状态s、动作a、奖励r和下一个状态s',构成序列(s, a, r, s')作为样本存储在经验回放缓冲区(replay buffer)。当replay buffer中样本数量大于阈值时网络开始学习。

为了提高训练模型对随机任务变化的适应性,在actor网络的输出叠加噪声来增加随机性,促使模型学习到更具鲁棒性的策略,即

(30)$\left\{\begin{array}{l}f\left[\mathrm{\Delta }{\lambda }^{\left(n\right)}\right]=\frac{1}{\sqrt{2\mathrm{\pi }}\sigma }\mathrm{e}\mathrm{x}\mathrm{p}\left\{\frac{-[\mathrm{\Delta }{\lambda }^{\left(n\right)}{]}^{2}}{2{\sigma }^{2}}\right\}\\ \sigma =\epsilon {\lambda }^{\left(n\right)}\end{array}\right.$

式(30)中:λ⁽ⁿ⁾、Δλ⁽ⁿ⁾分别为t时刻各智能体计算负荷及其噪声;ε和σ分别为期望和标准差。

4.2.3 训练阶段

在每轮训练中,主智能体不断更新自己的策略,并通过critic网络评估其任务卸载决策的价值。从智能体通过critic网络评估任务卸载的收益。其中各智能体的critic网络更新如下。

(31)$\left\{\begin{array}{l}a\text{'}=\mu \text{'}\left(s\text{'}\left|{\theta }^{\mu \text{'}}\right.\right)\\ y=r+\gamma (1-\mathrm{d}\mathrm{o}\mathrm{n}\mathrm{e})Q\text{'}(s\text{'},a\text{'}\left|{\theta }^{Q\text{'}}\right.)\\ a=\mu (s,a\left|{\theta }^{Q}\right.)\\ {L}_{\mathrm{c}}={(y-q)}^{2}\end{array}\right.$

式(31)中:a'为下一时刻的目标动作;μ'(·)为目标策略网络;s'为下一时刻的状态;θ^μ'为目标actor网络的参数;y为目标状态-动作价值函数值(Q值);γ为折扣因子;done为当前状态是否为终止状态;Q'(·)为目标Q值网络;μ(·)为策略网络;θ^μ为actor网络参数;L_c为critic网络的损失函数;q为当前critic网络输出的Q值;θ^Q'为目标critic网络的参数。

主智能体的actor网络的更新如下。

(32)$\left\{\begin{array}{l}{q}_{\mathrm{n}\mathrm{e}\mathrm{w}}=\mu \left(s\left|{\theta }^{\mu }\right.\right)\\ y=Q(s,{a}_{\mathrm{n}\mathrm{e}\mathrm{w}}\left|{\theta }^{Q}\right.)\\ {L}_{\mathrm{c}}=(y-{q}_{\mathrm{n}\mathrm{e}\mathrm{w}}{)}^{2}\end{array}\right.$

式(32)中:q_new为用于更新critic网络的目标Q值;Q(·)为当前critic网络;a_new为新计算的动作。

进一步,各智能体的目标网络采用软更新方式缓慢调整。其中软更新策略如下。

(33)$\left\{\begin{array}{l}{\theta }_{i}^{Q\text{'}}\leftarrow \tau {\theta }_{i}^{Q}+(1-\tau ){\theta }_{i}^{Q\text{'}}\\ {\theta }_{i}^{\pi \text{'}}\leftarrow \tau {\theta }_{i}^{\pi }+(1-\tau ){\theta }_{i}^{\pi \text{'}}\end{array}\right.$

由于主、从智能体的奖励函数均以最大化自身利益为目标,且在网络更新过程中,各智能体致力于最大化自身奖励,进而形成主从博弈关系。经过若干训练轮次后,主智能体与从智能体的策略相互作用,逐渐趋向于合作平衡点,最终实现最优的任务卸载方案。基于前文建立的基于深度强化学习的边缘协同任务卸载博弈优化策略,配电网边-边协同任务卸载流程如图2所示。

在模型训练阶段,基于任务卸载的主从博弈模型,利用MADDPG算法分别训练不同边缘服务器作为主、从智能体的网络模型。在任务卸载执行阶段,当主智能体(本地边缘服务器)生成计算任务后,首先获取本地和远程服务器的系统状态信息,然后基于MADDPG模型计算并得到最优的任务卸载博弈策略,完成任务卸载并得到主从边缘服务器的相应收益。

5 算例分析

为了验证所提基于深度强化学习的边缘协同配电网任务卸载博弈优化策略的有效性,基于改进的IEEE 33节点配网系统为测试系统进行验证。假设配电网系统内产生的计算任务由3台边缘服务器ES₀~ES₂完成,如图1所示。仿真通过Pycharm/ MATLAB实现,其中边缘服务器参数如表1所示^[20-21]。

配电网的计算任务按照实时性要求一般可分为3类。第1类任务为实时性要求高任务,如配网拓扑分析、电网动态稳定计算、故障监测等。该类型任务其数据和计算量也相对较小。第2类任务为常规状态监测任务,如台区电气数据采集、数据处理、状态监测等。该类任务虽然单点的计算量小但规模较大。该类型任务的数据及计算量中等,对实时性要求也一般。第3类任务为一些调度业务,如日内调度、负荷预测、新能源并网调度等。该类型任务对实时性的要求最低,然而其计算负荷也最大。配电网计算任务类型及参数设置如表2所示^[20-21]。

5.1 单一边缘服务器下不同策略结果及分析

首先,以单一边缘服务器(ES₀)进行任务卸载,即假设所有计算任务均由其产生。根据表2随机生成了100个配电网计算任务,任务类型包括40个高实时性任务、40个中等实时性任务和20个低实时性任务。MADDPG训练过程的主智能体奖励如图3所示,任务计算结果如图4所示。

进一步,为了对比不同方法下任务卸载的性能,分别采用另外两种常见任务卸载策略进行对比。不同方法下最优任务卸载结果如图5、表3所示。

(1) 随机卸载策略(random task offloading,RTO):随机的选择目标ES并随机设置卸载比例进行任务卸载。

(2) 贪心卸载策略(greedy task offloading,GTO):通过递减序列设置卸载比例,并以最低任务执行时间为目标选择目标ES。

(3) 不进行任务卸载,完全靠本地执行任务(without task offloading,WTO)。

(4) 本文方法(game-based DRL,G-DRL)。

由图3~图5及表3可知,任务执行更多的选择服务器ES₁,这是由于远程服务器ES₁的算力更高,能够更好地提升任务执行性能。所提方法(G-DRL)下的主智能体效用函数值最高,说明其决策对本地服务器的综合性能提升最大。相比于常用的随机卸载算法(RTO),所提方法下的本地ES效用值提高了66.7%,任务的平均执行时间降低了14.4%。相比于仅本地计算(WTO)方法,性能提升更显著。贪心算法(GTO)以最小化任务执行时间为目标,但其付出的经济成本最高,导致整体效用函数值降低。将配电网的计算任务卸载建模为Stackelberg博弈模型,同时以任务执行的综合性能最优作为主、从服务器的目标,从而得到的最优结果兼顾了计算时间和成本。在优化目标求解阶段,分别将主从博弈方建模为主、从智能体,并通过MADDPG框架实现主从博弈。主、从智能体分别通过目标服务器和任务卸载比例两个参数进行协同,从而优化任务卸载。

进一步,为了对比所提方法在不同服务器计算负载均衡方面的性能,首先,定义当前排队任务的计算量与服务器算力之比作为服务器的计算负荷系数,即

(34)φ=Q_n/f_n

式(34)中:Q_n为服务器当前排队任务的计算量。所提方法在进行任务卸载前后,不同服务器计算负荷系数的变化如图6所示。其中卸载前各服务器的计算负荷随机生成。

由图6及表4可知,与本地卸载和随机卸载相比,所提方法在不同服务器之间实现了更好的计算负荷均衡,提高了配电网的整体计算性能。在所提方法下,平均计算负荷系数较WTO和RTO方法分别降低了7.1%和11.9%。在计算负荷波动率方面,所提方法使得任务产生的ES₀服务器负荷波动最小。相比于其他方法,负荷波动分别降低了19.4%和38.3%。结果表明,所提方法在不同服务器间降低了配电网整体计算负荷波动,并显著减少了任务生成服务器的负荷波动。

此外,还对比了考虑优先级和不考虑优先级两种情况下的任务卸载结果,具体对比结果如图7所示。

考虑优先级的卸载策略在效用函数和任务执行时间方面相较于无优先级的卸载策略有明显改善。在效用函数和任务执行时间上分别提高了8.5%和12.2%。特别是在任务量较大时,性能提升更为显著,如图7中的任务81~100。考虑了配电网计算任务的不同特征以及当前服务器的状态,建立了任务的优先级模型,并将其引入任务卸载博弈中。通过优先保障高优先级任务的计算资源,使得这些任务的执行效率得到提升。同时,系统整体的效用函数值也得到了优化,从而提高了系统计算资源的利用效率。

5.2 不同本地服务器下的结果及分析

前述假设中,配电网所有计算任务均来源于同一边缘服务器ES₀请求任务卸载。基于上述100项任务,随机选择任务生成服务器,并通过所提方法实现边-边协同任务计算。计算结果如图8及表5所示。

由图8及表5可知,在多台边缘服务器的协同下,能够更有效地执行整个配电网产生的计算任务。在任务计算时间方面,所提方法相比常用的随机卸载算法的平均时延降低了19.1%,同时计算负荷的平均波动也减少了10.7%。由于各边缘服务器以主从博弈方式协同执行计算任务,任务卸载的平均支付成本得以大大降低。同时,由于边缘服务器2的算力更强,其所执行任务的累计收益也最大。

6 结论

为了提高配电网任务计算效率,提升配网系统边缘服务器的协同计算能力,提出了一种基于深度强化学习的边缘协同任务卸载博弈优化策略。

首先,建立了考虑任务优先级的配电网边-边协同任务计算模型。在此基础上,将配电网边-边协同任务卸载建模为Stackelberg博弈模型,其中任务产生的本地服务器作为领导者,以任务执行时延和计算成本综合性能最优为目标。卸载目标服务器作为跟随者,目标是通过提供计算服务最大化自身收益。进一步,给出了主从博弈模型纳什均衡的存在性证明。最后,提出了基于MADDPG的主从博弈模型求解方法。包括多智能体的状态、动作、奖励值设计以及基于MADDPG的边-边协同任务卸载方法。

算例结果表明,相比于常用的随机卸载算法(RTO)和贪心卸载算法(GTO),所提方法下本地服务器效用值分别提高了66.7%和52.4%。任务的平均执行时间较RTO降低了14.4%。在所提方法下,平均计算负荷系数较WTO和RTO方法分别降低了7.1%和11.9%。所提方法在不同服务器之间实现了更好的计算负荷均衡。在多台边缘服务器的协同下,所提方法相比RTO平均时延降低了19.1%,同时计算负荷的平均波动也减少了10.7%。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	陈维江, 靳晓凌, 吴鸣, 等. 双碳目标下我国配电网形态快速演进的思考[J]. 中国电机工程学报, 2024, 44(17): 6811-6817.

[2]	Chen Weijiang, Jin Xiaoling, Wu Ming, et al. Thinking on the rapid evolution of distribution network form under the carbon peaking and carbon neutrality goals[J]. Proceedings of the CSEE, 2024, 44(17): 6811-6817.

[3]	刘科研, 贾东梨, 李昭, 等. 基于改进目标级联法的主动配电网协调优化[J]. 科学技术与工程, 2025, 25(2): 621-629.

[4]	Liu Keyan, Jia Dongli, Li Zhao, et al. Coordinated optimization of active distribution network based on improved analytical target cascading method[J]. Science Technology and Engineering, 2025, 25(2): 621-629.

[5]	仝杰, 齐子豪, 蒲天骄, 等. 电力物联网边缘智能: 概念、架构、技术及应用[J]. 中国电机工程学报, 2024, 44(14): 5473-5495.

[6]	Tong Jie, Qi Zihao, Pu Tianjiao, et al. Edge intelligence to power internet of things: concept, architecture, technology and application[J]. Proceedings of the CSEE, 2024, 44(14): 5473-5495.

[7]	周振宇, 王曌, 廖海君, 等. 电力物联网5G云-边-端协同框架与资源调度方法[J]. 电网技术, 2022, 46(5): 1641-1651.

[8]	Zhou Zhenyu, Wang Zhao, Liao Haijun, et al. 5G cloud-edge-end collaboration framework and resource scheduling method in power Internet of Things[J]. Power System Technology, 2022, 46(5): 1641-1651.

[9]	雷傲宇, 蒋友津, 刘承锡, 等. 基于数据驱动型多项式混沌逼近的概率潮流计算[J]. 科学技术与工程, 2025, 25(2): 598-609.

[10]	Lei Aoyu, Jiang Youjin, Liu Chengxi, et al. Probabilistic power flow calculation based on the data-driven polynomial chaos approximation[J]. Science Technology and Engineering, 2025, 25(2): 598-609.

[11]	汪婷, 邵鹏, 李光泉, 等. 改进的粒子群优化算法在云计算任务调度中的应用[J]. 科学技术与工程, 2023, 23(29): 12594-12603.

[12]	Wang Ting, Shao Peng, Li Guangquan, et al. Improved particle swarm optimization algorithm for cloud computing task scheduling[J]. Science Technology and Engineering, 2023, 23(29): 12594-12603.

[13]	Zhong J, Huang Q, Li L, et al. Enhancing voltage compliance in distribution network under cloud and edge computing framework[J]. IEEE Transactions on Cloud Computing, 2023, 11(2): 1217-1229.

[14]	Lin C, Hu B, Shao C, et al. Computation offloading for cloud-edge collaborative virtual power plant frequency regulation service[J]. IEEE Transactions on Smart Grid, 2024, 15(5): 5232-5244.

[15]	Xu S, Liao B, Yang C, et al. Deep reinforcement learning assisted edge-terminal collaborative offloading algorithm of blockchain computing tasks for energy Internet[J]. International Journal of Electrical Power & Energy Systems, 2021, 131: 107022.

[16]	Liu C, Weng J, Yang A, et al. Enabling efficient and privacy-preserving aggregation communication and function query for fog computing-based smart grid[J]. IEEE Transactions on Smart Grid, 2020, 11(1): 247-257.

[17]	Qin P, Wu X, Liu M, et al. Energy-efficient resource allocation for space-air-ground integrated industrial power Internet of Things network[J]. IEEE Transactions on Industrial Informatics, 2024, 20(4): 5274-5284.

[18]	Sun Y, Zhang Y, Li L, et al. Collaborative dynamic task allocation with demand response in cloud-assisted multiedge system for smart grids[J]. IEEE Internet of Things Journal, 2022, 9(4): 3112-3124.

[19]	王志福, 杨忠义, 罗崴, 等. 基于数据驱动的锂离子动力电池剩余使用寿命预测方法综述[J]. 科学技术与工程, 2023, 23(15): 6279-6289.

[20]	Wang Zhifu, Yang Zhongyi, Luo Wei, et al. A review of remaining useful prediction for lithium-ion battery based on data-driven[J]. Science Technology and Engineering, 2023, 23(15): 6279-6289.

[21]	吴润泽, 霍金鑫, 郭昊博. 基于DQN的电力协同计算与缓存的任务卸载策略[J]. 电力建设, 2024, 45(8): 149-158.

[22]	Wu Runze, Huo Jinxin, Guo Haobo. DQN-based task offloading strategy for power co-computing and caching[J]. Electric Power Construction, 2024, 45(8): 149-158.

[23]	姚楠, 刘子全, 秦剑华, 等. 基于电力物联网的边缘计算任务卸载优化[J]. 科学技术与工程, 2022, 22(16): 6577-6584.

[24]	Yao Nan, Liu Ziquan, Qin Jianhua, et al. Offloading optimization of the edge computing task based on the power Internet of Things[J]. Science Technology and Engineering, 2022, 22(16): 6577-6584.

[25]	Gooi H, Wang T, Tang Y. Edge intelligence for smart grid: a survey on application potentials[J]. CSEE Journal of Power and Energy Systems, 2023, 9(5): 1623-1640.

[26]	陈元榉, 蔡泽祥, 岑伯维, 等. 考虑任务耦合的配电网边缘计算终端部署与任务分配方法[J]. 电力系统自动化, 2022, 46(22): 32-40.

[27]	Chen Yuanju, Cai Zexiang, Cen Boxiong, et al. Deployment and task allocation method of edge computing terminals in distribution network considering task coupling[J]. Automation of Electric Power Systems, 2022, 46(22): 32-40.

[28]	Liu C, Chen L, Gao W. DRL-based online task offloading and energy resource aggregation for edge-computing-empowered smart grid networks[J]. IEEE Internet of Things Journal, 2024, 11(24): 41008-41020.

[29]	赵婵婵, 郭晓敏, 海晓伟, 等. 缓存辅助移动边缘计算的任务卸载与资源分配联合优化策略[J]. 科学技术与工程, 2023, 23(9): 3812-3819.

[30]	Zhao Chanchan, Guo Xiaomin, Hai Xiaowei, et al. Joint optimization strategy of task offloading and resource allocation for cache-assisted mobile edge computing[J]. Science Technology and Engineering, 2023, 23(9): 3812-3819.

[31]	康逸群, 蔡泽祥, 曾兴, 等. 考虑卸载成本的配电网能量管理业务云边协同调度方法[J]. 南方电网技术, 2021, 15(9): 61-68.

[32]	Kang Yiqun, Cai Zexiang, Zeng Xing, et al. An offloading cost based cloud-edge collaborative scheduling method for power distribution network energy management applications[J]. Southern Power System Technology, 2021, 15(9): 61-68.

[33]	Shao S, Su L, Zhang Q, et al. Multi task dynamic edge-end computing collaboration for urban Internet of Vehicles[J]. Computer Networks, 2023, 227: 109690.

基金资助

国家电网公司科技项目(5400-202322566A-3-2-ZN)

PDF (8912KB)

访问

被引

详细

导航

Received	Published
2025-03-12	2026-01-08
Online Date
2026-05-27

摘要