面向车联网的多目标任务卸载与资源分配

刘秋明; 郭星星; 程智康; 周信逞; 肖贺

doi:10.12404/j.issn.1671-1815.2506464

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (25) :10909-10920 DOI: 10.12404/j.issn.1671-1815.2506464

电子技术、通信技术

面向车联网的多目标任务卸载与资源分配

作者信息 +

Multi-task Offloading and Resource Allocation for Internet of Vehicles

Author information +

文章历史 +

摘要

为应对车联网环境下任务卸载与资源分配面临的多目标任务卸载、混合动作空间决策及训练效率低下等具有挑战性的问题,通过融合混合动作表示学习(hybrid action representation,HyAR)框架与改进的异步训练机制,提出混合异步优势行动者-评论者算法(hybrid asynchronous advantage actor-critic,H-A3C)强化学习算法,研究了车联网中多目标任务卸载与资源分配优化问题。该方法通过构建参数化动作马尔可夫决策过程(parameterized action Markov decision process,PAMDP)统一建模离散卸载目标选择与连续资源分配的耦合关系,设计条件变分自编码器(conditional variational autoencoder,CVAE)实现混合动作的潜空间表示,并引入时间衰减梯度聚合机制以提升异步训练稳定性。结果表明:H-A3C在收敛速度与稳定性方面显著优于相关传统算法,H-A3C算法在约3 500轮训练后即达到稳定,比标准A3C算法快约40%;在系统回报上,其最终累计回报较PADDPG算法提升25%,较标准A3C提升35%。在车辆高密度(>110辆)场景下,H-A3C通过精准适配卸载比例,将边缘资源利用率提升了约18%,云端依赖降低了30%,实现更优系统回报。在计算密集型任务场景下,其任务成功率相比PADDPG和标准A3C分别高出15%和22%,并能动态调整优化权重,总处理时延降低约20%,租赁成本减少约15%,实现更佳的时延-成本权衡,有效降低处理总耗时与租赁开销。

Abstract

To address the challenging issues in task offloading and resource allocation within the Internet of Vehicles (IoV) environments, such as multi-objective task offloading, hybrid action space decision-making, and low training efficiency, a hybrid asynchronous advantage actor-critic (H-A3C) reinforcement learning algorithm was proposed by integrating the hybrid action representation (HyAR) framework with an improved asynchronous training mechanism. The optimization problem of multi-objective task offloading and resource allocation in IoV was investigated. In this approach, a parameterized action Markov decision process (PAMDP) was constructed to uniformly model the coupling relationship between discrete offloading target selection and continuous resource allocation. A conditional variational autoencoder (CVAE) was designed to achieve a latent space representation of hybrid actions, and a time-decaying gradient aggregation mechanism was introduced to enhance the stability of asynchronous training. The results demonstrate that H-A3C significantly outperforms relevant baseline algorithms in terms of convergence speed and stability. The H-A3C algorithm stabilizes after approximately 3 500 training episodes, which is about 40% faster than the standard A3C algorithm. In terms of cumulative system reward, its final return is improved by 25% compared to the PADDPG algorithm and by 35% compared to the standard A3C. Under high vehicle density conditions (more than 110 vehicles), by precisely adapting the offloading ratio, H-A3C increases edge resource utilization by about 18% and reduces reliance on cloud resources by 30%, leading to superior system returns. In computationally intensive task scenarios, its task success rate is 15% and 22% higher than that of PADDPG and standard A3C, respectively. Moreover, it can dynamically adjust optimization weights, reducing the total processing latency by approximately 20% and leasing costs by about 15%. thereby achieving a better latency-cost trade-off and effectively lowering the overall processing time and rental expenses.

Graphical abstract

关键词

车联网 / 边缘计算卸载 / 混合动作表示 / 混合异步优势行动者-评论者算法

Key words

Internet of Vehicles / edge computing offloading / hybrid action representation / hybrid asynchronous advantage actor-critic

引用本文

引用格式 ▾

刘秋明, 郭星星, 程智康, 周信逞, 肖贺. 面向车联网的多目标任务卸载与资源分配[J]. 科学技术与工程, 2026, 26(25): 10909-10920 DOI:10.12404/j.issn.1671-1815.2506464

LIU Qiu-ming, GUO Xing-xing, CHENG Zhi-kang, ZHOU Xin-cheng, XIAO He. Multi-task Offloading and Resource Allocation for Internet of Vehicles[J]. Science Technology and Engineering, 2026, 26(25): 10909-10920 DOI:10.12404/j.issn.1671-1815.2506464

登录浏览全文

4963

注册一个新账户忘记密码

随着智能交通系统的持续发展,车联网(Internet of Vehicles,IoV)应用正呈现出多样化的演进趋势,包括自动驾驶、智能导航及增强现实等数据密集型服务^[1]。此类应用通常依赖于处理海量车载传感器生成的时序数据,具有计算密集与时延敏感的特性,其资源需求常超出单车计算能力。传统云计算架构中车辆与远程云服务器间存在显著传输时延,难以满足高时敏任务需求。为此,移动边缘计算(mobile edge computing,MEC)技术被引入车联网体系。它可将计算、存储及通信能力下沉至网络边缘,支持车辆与周围环境(vehicle-to-everything,V2X)进行实时信息交换,为IoV任务提供低延迟、高响应的卸载服务。

近年来,随着深度强化学习(deep reinforcement learning,DRL)在复杂决策问题中的突破性进展,学术界对MEC任务卸载的研究范式正经历从传统优化方法(如博弈论、凸优化)逐渐向DRL方法转变的过程。强化学习算法将计算任务卸载的决策优化问题形式化为马尔可夫决策过程(Markov decision process,MDP),以边缘服务器或车辆设备作为智能体(Agent),通过与环境的交互学习最优任务卸载与资源分配策略而不需要提供标记数据来训练模型^[2-4]。针对车联网任务卸载中的决策问题,研究者已提出了多种DRL算法^[5-6]。其中,深度Q网络(deep Q-network,DQN)算法多用于离散决策空间,典型场景为确定性调度、卸载服务器选择^[7];深度确定性策略梯度(deep deterministic policy gradient, DDPG)算法适配连续决策问题,可用于计算资源分配与任务卸载比例的联合优化^[8-9]。具体而言,文献[10]开发了一种基于Actor-Critic架构的DRL算法,该方案在模型训练效率与任务处理性能方面展现出显著提升;文献[11]提出了一种基于分布式近端策略优化(distributed proximal policy optimization,DPPO)的深度强化学习算法,用于解决冷热电联供系统的连续控制与经济调度问题,该算法通过多线程并行训练提升学习效率,并在奖励函数中引入设备约束惩罚项,有效提高了调度策略的稳定性与泛化能力;文献[12]则针对自动驾驶中的行为决策问题,提出一种基于DDPG的改进模型,通过将上一时刻的控制变量作为反馈输入,有效抑制了奖励值与控制量的突变,提升了车辆在动态环境中的决策稳定性和横向控制精度。

但现有研究在应对混合动作空间决策复杂性、多目标权衡困境以及异步协同效率低下等方面依旧存在许多局限。一方面,任务卸载需联合优化离散决策(如卸载目标选择:本地车辆、MEC服务器、云端)和连续决策(如卸载比例、带宽分配),传统DRL算法只擅长处理离散或连续动作空间中的一种,当两类动作存在耦合关系时(如车联网中卸载目标选择与资源分配的对应),其决策机制与现实环境的适配性受限。研究者提出了参数化动作深度确定性策略梯度(parameterized action DDPG,PADDPG)等算法^[13],其通过在动作输出层同时设计离散动作分支与对应的连续参数分支,实现对混合动作的直接建模。该方法虽在一定程度上缓解了动作耦合问题,但在高维、动态车联网环境中仍面临训练不稳定、对异构动作约束表达能力有限等挑战。此外,一些工作试图通过动作空间的近似或松弛来解决混合动作空间^[14],Xiong等^[15]和Fu等^[16]使用分层结构^[17]来处理离散动作,并基于离散动作生成连续动作。然而此类方法都不能较好地处理边缘计算中的混合约束动作空间,而连续动作离散化处理将导致动作信息丢失并使动作空间复杂性维数快速增加。另一方面,随着接入车联网的车辆数量规模的扩大,设备的异构性问题愈发突出,导致决策模型的复杂程度提高,其智能体训练效率降低^[18]。

针对以上问题,现研究一个多目标接入的移动边缘车联网环境下任务卸载和资源优化问题,提出一种融合混合动作表示学习(HyAR)框架与改进异步训练机制的H-A3C算法^[13]。首先,根据车联网的网络结构,构建系统架构和基于时延和成本的系统模型,确立算法的优化目标。针对任务卸载中离散目标选择与连续资源分配的耦合决策问题,构建参数化动作马尔可夫决策过程。其次,将HyAR^[19]的H-A3C算法框架用于该系统环境中进行训练。为提升多车辆异步训练的稳定性,引入时间衰减系数动态调节滞后智能体的梯度贡献,抑制过时模型对全局参数的负面影响。最终,通过仿真实验将H-A3C算法在同一系统模型与相关基线算法(如标准A3C、PADDPG、全本地执行)进行对比。以期为高动态、多目标接入的车联网环境下耦合决策问题提供了一种新的求解方法,对提升边缘计算系统的任务成功率与时延性能具有实际工程参考价值。

1 系统模型及问题描述

1.1 系统模型

探讨一种面向移动边缘计算的车联网的任务卸载服务架构。该架构采用分层设计,如图1所示,包含应用层、车际层、边缘层与云端层。任务的顺利完成高度依赖于跨MEC服务器协同及对车际、边缘、云端三层异构资源(带宽、算力)的有效整合。系统建模在离散化的时隙框架下运行,划分连续时间为T个等长的时隙,每个时隙长度为Δt,时隙序列集合记为T={Δt,2Δt,3Δt,…,TΔt}。系统包含4类异构节点:感知车辆负责环境数据采集,计算车辆提供邻近协作算力,MEC服务器构成固定边缘基础设施,云端作为远程后备节点。在任意时隙内,感知车辆集合记为V_percep^(t)={v_p^1(t),v_p^2(t),v_p^h(t),…,v_p^PE(t)},计算车辆集合记为V_comp^(t)={v_c^1(t),v_c^2(t),v_c^j(t),…,v_c^CO(t)}。其中计算车辆v_c^j的特征由其可用无线通信带宽B_c^j(t)和本地计算能力f_c^j(t)定义,表示为二元组v_c^j(t)[B_c^j(t), f_c^j(t)]。系统同时部署M个MEC服务器,其集合记为$\mathit{M}=\{{\mathrm{m}}_{1},{\mathrm{m}}_{2},{\mathit{m}}_{\mathit{i}}$,…,m_M },每个MEC服务器m_i的特征由其可用无线通信带宽B_m^i(t)和当前可用计算能力f_m^i(t)共同定义,即双元组m_i[B_m^i(t), f_m^i(t)]。

由于车辆身份具有双重性,未拥有身份的车辆暂记为v,同一车辆在特定时隙内可作为感知车辆发起任务卸载请求或作为计算车辆响应并处理来自其他车辆的任务。具体切换规则如下:若车辆v在时隙t满足车辆本地剩余算力f_v^local不低于阈值f_th,即(f_v^local≥f_th)且存在至少一辆感知车辆v_p在其通信半径R_V2C内,即∃v_p∈V_percep^(t),d(v,v_p)≤R_V2C,则v可被激活为计算车辆,加入集合V_comp^(t)。若车辆v在时隙t生成新任务,或其剩余算力f_v^local<f_th,则v自动归属为感知车辆,从V_comp^(t)中移除(若此前属于),并加入V_percep^(t)。其中,f_th为计算能力激活阈值,根据车辆平均计算能力动态设定(实验中取f_th=0.2f_v^max)。该规则确保车辆仅在其具备足够空闲资源且位于通信范围内时才承担计算任务。

主要定义的系统模型核心参数如表1所示。

1.2 任务模型

感知车辆会随机生成具有不同计算资源需求的任务,并向邻近节点[计算车辆或路侧单元(road side unit,RSU)]广播卸载请求。响应节点需满足最大通信半径约束:计算车辆的响应范围为车车通信半径R_V2C,MEC服务器的响应范围为通信半径R_V2M。在最大通信半径内的RSU及拥有空闲资源的计算车辆会响应其ID、位置距离d和可用计算资源信息(包括可用的带宽与计算能力)。假设生成的任务的数据具有细粒度特性,可被动态拆分为任意大小的并行子任务集。将在时隙t的计算总任务定义为三元组Tsk⁽^t⁾(S,ρ,T_max),其中S为总任务的待处理数据量(单位:bit),ρ为任务计算密度(GFLOPS/bit),T_max表示最大容忍时延(满足条件|Δt|>>T_max)。系统的任务决策机制支持多目标并行卸载,定义卸载目标类型集合Κ∈{L,C_sel,M_sel,N}。任务的离散卸载决策(卸载目标选择)定义为a_d=K_active,其中K_active⊆Κ,K_active≠∅:存储激活的目标类型的子集;C_sel⊆V_comp:存储选定的计算车辆ID子集;M_sel⊆Μ:存储选定的MEC服务器ID子集。

(1)$\begin{array}{l}{\mathit{C}}_{\mathit{s}\mathit{e}\mathit{l}}=\{{\mathrm{v}}_{\mathit{c}}^{\mathrm{j}}\in {\mathit{V}}_{\mathit{c}\mathit{o}\mathit{m}\mathit{p}}|{\mathrm{d}}_{{\mathrm{v}}_{\mathit{c}}^{\mathrm{j}}}\le {\mathrm{R}}_{\mathit{V}2\mathit{C}}\}\\ {\mathit{M}}_{\mathit{s}\mathit{e}\mathit{l}}=\{{\mathrm{m}}_{\mathrm{i}}\in \mathit{M}|{\mathrm{d}}_{{\mathrm{m}}_{\mathrm{i}}}\le {\mathrm{R}}_{\mathit{V}2\mathit{M}}\}\end{array}$

任务的连续卸载决策(资源分配比例)定义为复合结构a_c={(ω_k,∪P_k)|k∈Κ_active},其中ω_k表示分配给目标类型k的数据量占总数据量S的比例。P_k为目标类型k分配的具体资源参数集,表示为

(2)${\mathit{P}}_{\mathit{k}}=\left\{\begin{array}{ll}\mathrm{\varnothing },& \mathit{k}=\mathrm{L}\\ \{{\mathrm{\alpha }}_{\mathrm{k}},{\mathrm{\varphi }}_{\mathrm{k}}\},& \mathit{k}\in \{{\mathit{C}}_{\mathit{s}\mathit{e}\mathit{l}},{\mathit{M}}_{\mathit{s}\mathit{e}\mathit{l}}\}\\ {\mathrm{\alpha }}_{\mathrm{k}},& \mathit{k}=\mathrm{N}\end{array}\right.$

式(2)中:α_k为分配给该子任务的目标k的带宽占比,云端的计算资源可以看作无限的,所以ϕ_k仅当k∈{C_sel,M_sel}时存在,表示分配给该子任务的计算车辆和边缘服务器的计算资源占比。

1.3 时延模型

任务卸载的总时延T_k由数据传输时延T_k^trans与计算处理时延T_k^comp两部分构成。由于任务支持多目标并行卸载,需分别计算各卸载目标子任务的时延,并考虑其并行执行特性。为精确刻画车联网动态无线环境对卸载性能的影响,引入了包含视距(line of sight,LOS)传播状态、多普勒频移及动态覆盖范围的复合信道模型。

数据传输时延取决于目标类型k与分配的带宽资源以及瞬时信道状态,即

(3)${\mathit{T}}_{\mathit{i},\mathit{k}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}}\left(\mathit{t}\right)=\frac{{\mathit{\omega }}_{\mathit{k}}\left(\mathit{t}\right){\mathit{S}}_{\mathit{i}}\left(\mathit{t}\right)}{{\mathit{R}}_{\mathit{i},\mathit{k}}\left(\mathit{t}\right)}+{\mathit{T}}_{\mathrm{b}\mathrm{a}\mathrm{c}\mathrm{k}\mathrm{h}\mathrm{u}\mathrm{a}\mathrm{l}}$

式(3)中:R_i_,_k(t)为感知车辆i与目标节点k间的瞬时可达传输速率,公式为

(4)${\mathit{R}}_{\mathit{i},\mathit{k}}\left(\mathit{t}\right)={\mathit{B}}_{\mathit{i},\mathit{k}}\left(\mathit{t}\right){\mathrm{l}\mathrm{o}\mathrm{g}}_{2}\left[1+\frac{{\mathit{P}}_{\mathrm{t}}{\mathit{G}}_{\mathrm{t}}{\mathit{G}}_{\mathrm{r}}{\left|{\mathit{h}}_{\mathit{i},\mathit{k}}\left(\mathit{t}\right)\right|}^{2}}{{\mathit{N}}_{0}{\mathit{B}}_{\mathit{i},\mathit{k}}\left(\mathit{t}\right)+{\mathit{I}}_{\mathit{i},\mathit{k}}\left(\mathit{t}\right)}\right]$

式(4)中:P_t为目标的发射功率;G_t和G_r分别为发射与接收天线增益。

复合信道增益h_i_,_k(t)考虑了以下因素。

(1)路径损耗:采用双斜率模型,路径损耗指数在LOS与NLOS状态下分别取n_LOS与n_NLOS(n_LOS>n_NLOS)。

(2)LOS/NLOS状态视距概率P_LoS(d)随距离d=d_i_,_k(t)增大而衰减,d_i_,_k为当前时刻两节点间的直线距离,符合经典的城市街道信道模型。

(3)多普勒频移:由相对速度v_i,k^rel引起,f_d=v_i,k^rel(t)f_i_,_kcosθ_i_,_k/c,其中f_i_,_k为载波频率,θ_i_,_k为感知车辆运动方向与节点连线的夹角,v_i,k^rel为相对速度矢量,c为光速。由于每个任务返回结果的数据相对较小,因此当目标k∈{L,C_sel,M_sel}时,忽略将任务结果返回到车辆的时间消耗,仅考虑云端的固定回程时延T_backhaul。

由于车联网边缘环境固有的动态性,需要着重考虑节点算力与通信条件的时空动态性。计算车辆与MEC服务器的可用算力在不同时隙间呈现不可预测的随机波动,为便于建模分析,假设在单个时隙Δt内其值保持恒定,跨时隙的随机性通过泊松分布描述如下。

服务器m_i在时隙t的可用算力为

(5)${\mathit{f}}_{\mathit{m}}^{\mathit{i}\left(\mathit{t}\right)}\sim \mathrm{P}\mathrm{o}\mathrm{i}\mathrm{s}\left({\mathit{\lambda }}_{\mathrm{m}}\right)$

计算车辆v_c^j在时隙t的可用算力为

(6)${\mathit{f}}_{\mathit{c}}^{\mathit{j}\left(\mathit{t}\right)}\sim \mathrm{P}\mathrm{o}\mathrm{i}\mathrm{s}\left({\mathit{\lambda }}_{\mathrm{c}}\right)$

式中:λ_m和λ_c分别为其算力期望值。

计算处理时延由目标类型的计算能力与分配资源决定,即

(7)${\mathit{T}}_{\mathit{k}}^{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{p}}=\frac{{\mathit{\omega }}_{\mathit{k}}\mathit{\rho }\mathit{S}}{{\mathit{\varphi }}_{\mathit{k}}{\mathit{f}}_{\mathit{k}}}$

式(7)中:ϕ_k为目标k为感知车辆分配的算力占比,当k∈{L,C,N}时,ϕ_k=1;f_k为目标本身算力。

同时,受车辆移动性影响,无线通信链路状态不断变化,可引入时变的有效通信窗W_k(d_k)以确保子任务可行性(即节点间可维持可靠连接的时间段)。对于依赖无线传输的目标(C,M),由于其通信范围半径R_v2k较小,W_k(d_k)可近似为

(8)${\mathit{W}}_{\mathit{k}}\left({\mathit{d}}_{\mathit{k}}\right)\approx \frac{\sqrt{({\mathit{R}}_{\mathit{v}2\mathit{k}}{)}^{2}-({\mathit{d}}_{\mathit{i},\mathit{k}}{)}^{2}\mathit{s}\mathit{i}{\mathit{n}}^{2}{\mathit{\theta }}_{\mathit{i},\mathit{k}}}-{\mathit{d}}_{\mathit{i},\mathit{k}}\mathit{c}\mathit{o}\mathit{s}{\mathit{\theta }}_{\mathit{i},\mathit{k}}}{‖{\mathit{v}}_{\mathit{i},\mathit{k}}^{\mathit{r}\mathit{e}\mathit{l}}‖},\mathit{k}\in \{{\mathit{C}}_{\mathrm{s}\mathrm{e}\mathrm{l}},{\mathit{M}}_{\mathrm{s}\mathrm{e}\mathrm{l}}\}$

有效通信窗W_k(d_k)用于刻画车辆移动性对无线通信链路可用时间的影响,其物理意义为:在车辆与目标节(计算车辆或MEC服务器)保持可靠连接的有限时间窗口内,必须完成数据传输,否则将因车辆驶出通信范围而导致任务中断。该窗口的计算基于两节点间的几何运动关系:R_v2k为目标节点的通信半径,当车辆朝远离目标方向运动时(cosθ_i_,_k<0),有效窗口缩短;反之则延长。此机制确保了卸载决策仅在通信窗口足以支持数据传输时才被执行,从而避免因链路中断导致的子任务失败。

任务总时延由并行执行的子任务中最慢者决定,即

(9)${\mathit{T}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}^{\left(\mathit{t}\right)}=\underset{\mathit{k}\in {\mathit{K}}_{\mathit{a}\mathit{c}\mathit{t}\mathit{i}\mathit{v}\mathit{e}}}{\mathrm{m}\mathrm{a}\mathrm{x}}\left[{\mathit{T}}_{\mathit{i},\mathit{k}}^{\left(\mathit{t}\right)}\right]$

1.4 成本模型

任务卸载过程将消耗异构计算节点的传输带宽与计算资源,需综合考量传输成本、计算租赁成本。传输成本由感知车辆向目标节点传输任务数据时占用的无线带宽资源产生,计算租赁成本源于目标节点执行计算任务时消耗的处理资源。总成本模型定义为

(10)${\mathit{C}}^{\left(\mathit{t}\right)}=\stackrel{{\mathit{K}}_{\mathrm{a}\mathrm{c}\mathrm{t}\mathrm{i}\mathrm{v}\mathrm{e}}}{\sum _{\mathit{k}}}[{\mathit{\lambda }}_{\mathit{k}}^{\left(\mathit{t}\right)}{\mathit{\alpha }}_{\mathit{k}}\mathrm{ }{\mathit{B}}_{\mathrm{p}}^{\mathit{h}}{\mathit{T}}_{\mathit{k}}^{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}}+{\mathit{\beta }}_{\mathit{k}}^{\left(\mathit{t}\right)}{\mathit{\varphi }}_{\mathit{k}}{\mathit{f}}_{\mathit{k}}{\mathit{T}}_{\mathit{k}}^{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{p}}]$

为反映边缘资源价格随负载动态波动的特性,采用定价函数如下。

(11)$\left\{\begin{array}{l}{\mathit{\lambda }}_{\mathit{k}}^{\left(\mathit{t}\right)}={\mathit{\lambda }}_{\mathrm{b}\mathrm{a}\mathrm{s}\mathrm{e},\mathit{k}}\left[1+\frac{{\mathit{B}}_{\mathit{k}}^{\left(\mathit{t}\right)}}{{\mathit{B}}_{\mathrm{m}\mathrm{a}\mathrm{x}}^{\mathit{k}}}\right]\\ {\mathit{\beta }}_{\mathit{k}}^{\left(\mathit{t}\right)}={\mathit{\beta }}_{\mathrm{b}\mathrm{a}\mathrm{s}\mathrm{e},\mathit{k}}\left[1+\frac{{\mathit{f}}_{\mathit{k}}^{\left(\mathit{t}\right)}}{{\mathit{f}}_{\mathrm{m}\mathrm{a}\mathrm{x}}^{\mathit{k}}}\right]\\ \mathit{k}\in \{\mathit{C},\mathit{M}\}\end{array}\right.$

该定价机制模拟了实际边缘市场中资源价格随供需关系波动的现象:当目标节点负载升高时,其资源价格相应上涨,从而引导任务向负载较低的节点卸载,实现系统负载均衡与资源高效利用。其中,λ_base,_k和β_base,_k分别表示目标类型k的单位带宽租赁单价[元/(MHz·s)]与单位算力租赁单价基数[元/(GFLOPS·s)],则λ_k^(t)和β_k^(t)分别表示目标类型k在时间间隙t的动态单价。

1.5 问题描述

根据以上建立的系统模型可将计算卸载问题归纳为最小化连续时间T内感知车辆执行时间和成本的加权和。为了实现减少任务延迟并尽可能降低任务卸载成本的多目标联合优化,可基于上述任务卸载延时和成本模型建立一个优化函数F,其中,${\hat{\mathrm{T}}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}$和$\hat{\mathrm{C}}$分别为任务卸载总延时和卸载成本的标准化,解决二者量纲不同不能相加的问题。

(12)$\begin{array}{l}\underset{\begin{array}{l}{\mathrm{C}}_{\mathit{s}\mathit{e}\mathit{l}},{\mathit{M}}_{\mathit{s}\mathit{e}\mathit{l}}\\ \mathit{\omega },\mathit{\alpha },\mathit{\varphi }\end{array}}{\mathrm{m}\mathrm{i}\mathrm{n}}\mathrm{F}=\frac{1}{\mathit{T}}\stackrel{\mathit{T}}{\sum _{\mathit{t}=1}}\sum _{\mathrm{T}\mathrm{s}{\mathrm{k}}^{\left(\mathit{t}\right)}}[\mathrm{\mu }{\hat{\mathrm{T}}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}^{\left(\mathit{t}\right)}+(1-\mathrm{\mu }){\hat{\mathrm{C}}}^{(\mathit{t})}]\\ \left\{\begin{array}{l}\mathrm{s}.\mathrm{t}{\mathrm{C}}_{1}:\mathit{\mu }\in \left[\mathrm{0,1}\right]\\ \mathit{　}{\mathrm{C}}_{2}:\sum _{{\mathrm{v}}_{\mathit{p}}^{\mathrm{h}}}{\mathrm{\alpha }}_{\mathrm{k}}\le 1,\forall \mathit{k}\in {\mathit{K}}_{\mathit{a}\mathit{c}\mathit{t}\mathit{i}\mathit{v}\mathit{e}}\\ \mathit{　}{\mathrm{C}}_{3}:\sum _{{\mathrm{v}}_{\mathit{p}}^{\mathrm{h}}}{\mathrm{\varphi }}_{\mathrm{m}\mathrm{i}}\le 1,\forall {\mathrm{m}}_{\mathrm{i}}\in {\mathit{M}}_{\mathit{s}\mathit{e}\mathit{l}}\\ \mathit{　}{\mathrm{C}}_{4}:\sum _{\mathrm{k}\in {\mathrm{K}}_{\mathit{a}\mathit{c}\mathit{t}\mathit{i}\mathit{v}\mathit{e}}}{\mathrm{\omega }}_{\mathrm{k}}=1,{\mathrm{\omega }}_{\mathrm{k}}\ge 0\\ \mathit{　}{\mathrm{C}}_{5}:{\mathrm{\alpha }}_{\mathrm{k}}{\mathrm{B}}_{\mathit{p}}^{\mathrm{h}}\le {\mathrm{B}}_{\mathrm{k}},{\mathrm{B}}_{\mathit{p}}^{\mathrm{h}},{\mathrm{B}}_{\mathrm{k}}\le {\mathrm{B}}_{\mathrm{m}\mathrm{a}\mathrm{x}},\\ \mathit{　}{\mathrm{C}}_{6}:{\mathrm{d}}_{\mathrm{k}}\le {\mathrm{R}}_{\mathit{v}2\mathit{k}}({\mathrm{V}}_{\mathit{s}\mathit{e}\mathit{l}},{\mathit{M}}_{\mathit{s}\mathit{e}\mathit{l}}),\forall \mathit{k}\in \{{\mathrm{C}}_{\mathit{s}\mathit{e}\mathit{l}},{\mathit{M}}_{\mathit{s}\mathit{e}\mathit{l}}\}\\ \mathit{　}{\mathrm{C}}_{7}:{\mathrm{T}}_{\mathrm{k}}\le {\mathrm{W}}_{\mathrm{k}}\left({\mathrm{d}}_{\mathrm{k}}\right)\bigcap {\mathrm{T}}_{\mathit{t}\mathit{o}\mathit{t}\mathit{a}\mathit{l}}\le {\mathrm{T}}_{\mathrm{m}\mathrm{a}\mathrm{x}}\end{array}\right.\end{array}$

上述约束条件中,C₁(权重范围)表示权重因子μ用于调节任务总时延T_total与卸载成本C在优化目标函数F中的相对重要性。C₂(带宽资源分配)表示对于每种被选中的卸载目标类型k∈K_active,所有感知车辆(v_p^h)分配到的该类型带宽资源占比α_k之和不能超过该类型资源池的总容量(即总和≤1),保证带宽资源不被超额分配。C₃(算力资源分配)表示对于每个选定的MEC服务器m_i∈M_sel,所有感知车辆v_p^h在该服务器上分配的计算资源占比ϕ_M之和不得超过1。C₄(数据分配)表示对于一个任务的所有数据,必须全部分配给其选定的卸载目标类型(K_active),即分配给各目标类型k的数据量占比之和必须等于1。C₅(接口带宽限制)表示感知车辆v_p^h分配给目标k的带宽不能超过其自身可用带宽,且通信接口的可用带宽受到其物理硬件的限制,不能超过各自最大带宽B_max。C₆(通信范围)表示只有当感知车辆与目标节点(计算车辆v_c^j或MEC服务器m_i)之间的直线距离d_k小于或等于该类型目标的通信半径R_v2k时,该节点才能被选入C_sel和M_sel。C₇(时延与窗口约束)表示任务的成功卸载须满足:对于卸载到计算车辆或MEC服务器上的子任务,其完成时间必须在车辆处于目标有效通信范围内且整个任务的完成时间需小于任务的最大容忍时延。在优化问题中,通过约束条件C₇确保任务执行的可行性。若子任务无法满足C₇中的窗口或时延约束,则该任务视为失败,并在目标函数中通过惩罚项体现。系统目标不仅是最小化时延与成本,也包括通过可行决策最大化任务成功率。

2 基于改进A3C强化学习算法

2.1 参数化动作马尔可夫决策过程

构建参数化动作马尔可夫决策过程(parameterized action Markov decision process,PAMDP)需基于标准MDP框架进行扩展。基于上述提供的车联网任务卸载系统模型,构建参数化动作马尔可夫决策过程需要将时空动态、异构资源约束和多层决策机制整合为严格的数学框架。以下是完整的PAMDP建立过程。

状态空间s_n:状态需捕捉时变环境的核心动态特征。定义时间间隙t时的状态为

(13)$\begin{aligned} s_{n}^{(t)}= & \left\{t, S_{n}^{(t)}, T_{\max }^{(t)},\left[B_{\mathrm{c}}^{j(t)}, f_{\mathrm{c}}^{j(t)}\right]_{\boldsymbol{C}_{\mathrm{sel}}},\right. \\ & {\left.\left[B_{\mathrm{m}}^{i(t)}, f_{\mathrm{m}}^{(t)}\right]_{\boldsymbol{M}_{\mathrm{sel}}}, d_{k}^{(t)}, \theta_{k}^{(t)}, \boldsymbol{v}_{\mathrm{rel}}^{(t)}, \lambda_{k}^{(t)}, \beta_{k}^{(t)}\right\} } \end{aligned}$

动作空间$\mathcal{H}$:由高层离散决策和底层连续参数构成,高层离散动作集为$\mathcal{K}$⊆{L,C_sel,M_sel,N},底层连续参数$\mathcal{X}$⊆{ω,α,ϕ},其中每个离散动作k∈$\mathcal{K}$关联一个连续参数空间$\mathcal{X}$_k⊆R^l_k,l_k表示参数维度,取决于离散动作的选择。整体混合动作空间可表述为

(14)$\mathcal{H}=\cup_{k \in \mathcal{K}}\left(\{k\} \mathcal{X}_{k}\right)$

奖励函数:本文目标是设计一个连续时间段内最小化延迟和成本的算法,根据上述的优化函数定义奖励项,其表示为

(15)$r^{(t)}=-\left[\mu \hat{T}_{\text {total }}^{(t)}+(1-\mu) \hat{C}^{(t)}\right]-\kappa \sum_{i=r_{1}}^{C 7} I_{\text {violate }}^{(t)}\left(C_{i}\right)$

(16)$R=\sum_{t=1}^{T} \gamma^{(t)} r^{(t)}, \gamma \in(0,1]$

式中:r⁽^t⁾为在时间步t获得的即时奖励;κ为约束惩罚强度系数,用于调节违反约束的惩罚力度;I_violate(·)为一个关键的违约检测机制的示性函数,当非法动作触发时为1,否则为0,目的是软约束处理非法动作,为不良行为设置负值奖励,通过奖励惩罚机制让智能体在训练过程中自主学会避免非法动作;R为从任务开始(t=0)到任务结束(t=T-1,共T步)所获得的累计折扣奖励,这是智能体在整个决策过程中追求最大化的核心目标;γ为奖励折扣因子,决定了智能体进行决策时的有效规划步长。

2.2 H-A3C算法

H-A3C的核心思想是融合HyAR框架的混合动作表示学习与A3C的高效异步训练机制,具体算法框架如图2所示。

2.3 混合动作表示

在表示学习阶段:算法首先构建可学习的离散动作嵌入表E_ζ(k),k∈$\mathcal{K}$,其中参数ζ为嵌入表网络参数;嵌入表中每一行e_ζ_,_k=E_ζ(k)(k为行索引)对应离散动作k,是一个d₁维的连续向量。其次,设计条件变分自编码器(CVAE)为连续参数构建潜在表示空间,建模连续参数与离散动作的隐式依赖关系:编码器q_ϕ(z|x_k,s,e_k),参数为ϕ,以状态s和离散动作嵌入e_k为条件,将连续参数x_k编码为潜变量,表达式为

(17)μ_x,σ_x=f_φ(x_k,s,e_ζ_,_k),z~N(μ_x,σ_x)

式(17)中:f_ϕ为一个的神经网络,它接收输入为连续参数x_k、状态s和离散动作的嵌入表示e_ζ_,_k,并输出潜变量z的分布的参数(均值和方差)。解码器p_ψ(${\stackrel{\sim }{\mathit{x}}}_{\mathit{k}}$|z,s,e_k),参数为ψ,从潜变量z重构连续参数,即

(18)${\stackrel{\sim }{\mathit{x}}}_{\mathit{k}}={\mathit{g}}_{\mathit{\psi }}(\mathit{z},\mathit{s},{\mathit{e}}_{\mathit{\zeta },\mathit{k}})$

式(18)中:g_ψ为一个对称的神经网络,它接收潜变量z、状态s和离散动作的嵌入表示e_ζ_,_k,并输出重构的连续参数${\stackrel{\sim }{\mathit{x}}}_{\mathit{k}}$。其优化目标为最小化变分下界损失,即

(19)$\begin{aligned} \mathcal{L}_{\mathrm{HYAR}}(\varphi, \psi, \zeta)= & E\left[\left\|\boldsymbol{x}_{k}-\tilde{\boldsymbol{x}}_{k}\right\|_{2}^{2}\right]+ \\ & D_{\mathrm{KL}}\left[q_{\varphi}(\cdot) \| N(0, I)\right] \end{aligned}$

该损失函数确保潜空间Z⊆R^d¹⁺^d²的紧凑性与可解码性。其中,第一项中E(·)是数学期望算子,表示对潜变量z多次采样后,重构输出${\stackrel{\sim }{\mathit{x}}}_{\mathit{k}}$与原始输入x_k之间L2距离平方的期望值,其本质上衡量的是CVAE对连续参数的平均重构精度。第二项中D_KL(·‖·)为KL散度,是约束编码器输出的分布q_ϕ(z)逼近标准高斯先验N(0,I)。

2.4 AC网络模型

在完成混合动作表示学习阶段获得稳定的离散动作嵌入表E_ζ(k)和条件变分自编码器q_ϕ/p_ψ后,H-A3C算法进入策略学习阶段。该阶段的核心在于构建一个基于连续潜动作空间Z的异步优势演员-评论员(A3C)框架,实现高效策略优化。

Actor网络π_ω(s)输出潜动作向量a_t^latent=(e_k',z_x),取代原始混合动作,通过嵌入表最近邻搜索解码离散动作。

(20)k=argmin_k'||e_k'-e||₂

并利用CVAE解码器生成连续参数。

(21)x_k=p_ψ(z_x,s,e_k)

Critic网络V_θ(s)提供估计状态价值,其更新目标为最小化n步时序差分误差。

(22)$\mathcal{L}_{\text {Critic }}(\theta)=E\left\{\left[\sum_{i=0}^{n-1} \gamma^{i} r_{t+i}+\gamma^{n} V\left(s_{t+n}\right) V_{\theta}{ }^{\prime}\left(s_{t}\right)\right]^{2}\right\}$

策略梯度更新由优势函数A(s_t,a_t^latent)加权,其表达式为

(23)$\begin{aligned} \nabla_{\omega} J(\omega)= & E\left[\nabla_{\omega} \ln \pi_{\omega}\left(\boldsymbol{a}_{t}^{\text {latent }} \mid s_{t}\right) \times\right. \\ & A\left(s_{t}, \boldsymbol{a}_{t}^{\text {latent }} \mid s_{t}\right)+t \nabla_{\omega} H\left(\pi_{\omega}\left(\cdot \mid s_{t}\right)\right] \end{aligned}$

其中优势函数一般用K步的TD误差代替进行计算,可表示为

(24)$A\left(S_{t}, \boldsymbol{a}_{t}^{\text {latent }}\right)=\sum_{i=0}^{K-1} \gamma^{i} r_{t+i}+\gamma^{K} V_{\theta}\left(s_{t+K}\right)-V_{\theta}\left(s_{t}\right)$

2.5 异步训练

为实现高效训练,算法采用异步并行机制。多个工作线程在各自的环境中并行探索,依据本地维护的全局嵌入表E_ζ和条件变分自编码器CVAE的副本,将策略网络输出的隐空间动作向量(e_k',z_x)解码为原始混合动作(k,x_k)以驱动环境交互,同时Critic网络基于隐空间动作评估状态价值。各线程采集的环境转移数据(s,k,x_k,e,z_x,r,s')存储至全局经验池,且仅异步更新全局Actor/Critic网络参数{ω,θ},定期下载全局嵌入表ζ和条件变分自编码器参数{φ,ψ}至本地。全局模型更新采用异步加权聚合机制,各线程独立上传梯度至全局网络,其按如下表达式更新全局参数。

全局Actor网络更新表达式为

(25)$\omega \leftarrow \omega+\eta_{\omega} \frac{1}{N} \sum_{n=1}^{N} g^{(t)} \nabla_{\omega_{n}^{\prime}} J\left(\omega_{n}^{\prime}\right)$

全局Critic网络更新表达式为

(26)$\theta \leftarrow \theta+\eta_{\theta} \frac{1}{N} \sum_{n=1}^{N} g^{(t)} \nabla_{\theta_{n}^{\prime}} J\left(\theta_{n}^{\prime}\right)$

式中:g⁽^t⁾=(t-τ_n)^-1为时间衰减系数;t为当前全局模型的异步更新时间戳;τ_n为第n个智能体上次下载全局模型的时间戳,时间差t-τ_n越大,g⁽^t⁾越小,对应智能体的参数贡献越低从而抑制滞后梯度的影响,提升全局模型收敛稳定性。

最后,表2给出了H-A3C算法的完整伪代码。算法流程主要分为3个阶段:首先进行全局参数初始化与多线程并行探索;随后各工作线程基于本地CVAE副本生成潜动作并解码为原始混合动作以驱动环境交互,采集经验数据并计算策略梯度与价值损失,异步提交至全局网络;最后全局网络按时间衰减权重聚合各线程梯度,更新Actor/Critic参数,并定期执行动作表示漂移校正以维持混合动作表示的一致性。

3 仿真实验及结果分析

3.1 仿真实验参数

为了验证所提算法的性能,基于Python建立了仿真实验算法模型。实验假设边缘服务器的通信范围内存在50~150台随机分布的车辆,根据车联网典型应用的时延敏感性与计算需求,4种常见类型的任务类型及参数设置如表3所示。图2中的Actor和Critic网络结构设计以及环境等参数的设置如表4所示。

3.2 H-A3C消融模块对比实验分析

为验证H-A3C算法中各核心模块的有效性,设计了消融实验,从H-A3C(full)分别移除以下两个关键模块进行对比分析。H-A3C(w/o TDGA)移除时间衰减梯度聚合机制;H-A3C(w/o HyAR)移除混合动作表示模块(HyAR),直接拼接离散动作的one-hot编码与连续参数作为动作输入。

图3消融对比回报曲线展示了各消融变体在训练过程中的系统回报变化趋势。完整H-A3C在约3 500轮后迅速收敛至稳定高回报区域,最终系统回报较H-A3C(w/o HyAR)提升约16%,较H-A3C(w/o TDGA)提升约30%。图4策略网络损失曲线进一步揭示了策略优化的效率差异。完整H-A3C的策略损失随训练轮数快速下降并在约6 000轮后趋于平稳,表明其策略网络能高效学习混合动作空间的最优分布。相比之下,H-A3C(w/o HyAR)的策略损失曲线下降缓慢且波动较大,反映其在连续参数优化与离散动作选择之间存在耦合冲突;H-A3C(w/o TDGA)虽然前期损失下降较快,但在训练中出现震荡,说明异步训练滞后梯度对策略更新产生了负面影响。

消融实验结果表明,通过离散动作嵌入表与条件变分自编码器,显式建模了离散卸载目标选择与连续资源分配之间的依赖关系,避免动作拼接导致的高维灾难与语义失真,提升策略的决策精度;通过动态衰减滞后智能体的梯度贡献,提升异步训练的稳定性与收敛效率。HyAR框架与时间衰减梯度聚合机制均为H-A3C算法性能提升的关键模块,二者协同作用显著增强了算法在混合动作空间中的表示学习能力与训练稳定性。

3.3 基线算法对比实验分析

为进一步分析H-A3C的性能优势,引入3类对比方案。

(1)全本地执行策略(FL):强制任务在本地车载单元处理,忽略边缘资源协作。此方案虽避免通信和计算开销,但本地处理导致任务完成时间显著增加,作为无边缘协同的极端方案, 可定量分析边缘计算卸载的收益边界。

(2)PADDPG算法:将离散的动作类型选择(如卸载目标:本地、MEC、云端)与每个离散动作类型所关联的连续动作参数(如分配的计算资源或带宽)进行统一建模并结合深度确定性策略梯度(DDPG)算法进行学习。

(3)A3C算法:该算法采用Actor-Critic结构,是一种高效的深度强化学习框架。其核心通过多线程异步机制实现并行训练,每个线程独立与环境交互并计算梯度,通过全局模型聚合更新,与融合HyAR表示的H-A3C形成核心对比。

将H-A3C算法和其他基线算法进行比较,主要从策略模型训练时的收敛效果、执行任务时所产生的延迟及成本这些方面来评估算法性能。

3.3.1 收敛性分析

实验中对智能体进行了16 000轮训练,在训练过程中,通过智能体的平均奖励值评估模型收敛性。图5展示了各算法的系统回报随训练轮数的变化关系。具体而言,H-A3C较快上升并在3 500轮后达到稳定期,其最终系统回报较PADDPG提升约25%,较标准A3C提升约35%。而PADDPG因将离散动作强制连续化导致动作语义失真,早期上升速度缓慢且后期稳定后震荡较大;而标准A3C回报曲线虽在后期也趋于稳定,但因无法有效建模离散-连续动作的依赖关系,其回报值显著低于H-A3C和PADDPG。

图6揭示了策略网络的收敛性差异。相比其他算法,H-A3C的策略损失函数值随训练轮数快速下降并更快趋于稳定,表明其策略网络能高效学习混合动作的最优分布。这表明HyAR框架的混合动作表示学习通过嵌入表和条件VAE显式建模了离散-连续动作的依赖关系,避免了因动作拼接导致的维度灾难;时间衰减梯度聚合机制有效抑制了异步训练中滞后梯度的干扰,使全局策略更新更平稳;表示漂移校正定期重编码经验样本,缓解了因表示空间持续优化导致的策略评估偏差问题。相比之下,PADDPG的策略网络因输出层需同时拟合离散选择和连续参数,策略损失值呈现较大波动,会导致动作决策的次优性。当离散动作概率分布与连续参数优化方向不一致时,智能体频繁执行矛盾动作,使得系统回报曲线长期停滞于低位。标准A3C虽然也能较快收敛,回报值却偏低,是因为缺乏对连续参数的显式建模,表明其策略网络未能充分逼近最优解。总体来说,H-A3C算法在系统回报和收敛速度上有良好的表现效果。

3.3.2 任务执行表现分析

如图7、图8所示,在较低密度区间,即车辆数量处于[50,110],各算法卸载比例的整体倾向基本一致,均以本地计算(L)与边缘目标(计算车辆C、MEC服务器M)的计算方式为主。可以观察到车辆密度较低,系统内感知车辆产生的任务量相对有限,计算车辆(具备可用无线通信带宽与本地计算能力)与MEC服务器(拥有恒定带宽与动态计算能力)的资源处于低负载状态。各算法在决策时,均倾向于优先利用本地计算资源减少通信开销,或选择邻近的计算车辆、MEC服务器进行卸载以平衡传输与计算时延。同时,该区间内各算法的平均回报均呈现较快下降趋势,随着车辆密度从50增加到110,任务总量逐步上升,延迟与成本的加权和随负载增加而增长,导致系统回报下降。

随着车辆密度进一步增加(超过110)时,资源竞争加剧,各算法的性能差异逐渐凸显。其中,在卸载比例方面,H-A3C的边缘卸载(C/M)效率仍保持较高水平。这是由于通过HyAR框架的混合动作表示学习,将离散的卸载目标选择(C/M)与连续的资源参数配置(带宽占比α_k、算力占比ϕ_k)进行建模,可以较好地匹配计算车辆与MEC服务器的动态资源状态,H-A3C可引导任务向低负载的边缘节点分流,有效缓解高密场景下的资源冲突。在系统平均回报方面,H-A3C平均回报优于对比算法,且下降趋势平缓并维持在较高水平。反观PADDPG/A3C,前者因动作语义失真导致策略震荡,后者因未建模离散-连续动作依赖,难以在边缘卸载目标选择与资源分配间形成有效协同,导致边缘卸载决策的适配性随密度增加而下降。云端卸载的高成本拖累系统回报,二者的平均回报不仅整体低于H-A3C,且随车辆密度增加下降速率更快,进一步印证了H-A3C在高动态车联网环境中多目标任务卸载的优越性。

如图9所示,在任务密度较低的区间,各算法的任务失败率均处于较低水平且差异不明显。此时任务计算需求较低(计算密度ρ较小),即使是全本地执行策略(FL),其感知车辆的本地计算能力也能满足基本处理需求,任务完成时间较容易控制在最大容忍时延(Tmax)范围内;而H-A3C、PADDPG、标准A3C等算法通过本地计算(L)与边缘目标(C/M)的协同调度,能更好地满足有效通信窗口与时延约束(C₈),因此失败率普遍维持在低水平。随着任务密度的增大(计算密集程度提升),各算法的任务失败率开始呈现分化。H-A3C的失败率上升趋势最为平缓,始终显著低于对比算法。相比之下,PADDPG算法在高任务密度下,带宽与算力分配容易超出实际资源容量(如违反C₂、C₃约束),任务失败率上升较快;标准A3C难以在计算密集场景下协同优化传输时延与处理时延,失败率显著高于H-A3C;而FL策略受限于感知车辆的本地计算能力(无边缘资源协作),在任务密度大幅增加时,处理时延急剧攀升,大量任务因超出最大容忍时延而失败,失败率始终处于较高水平。

图10进一步展示了随着权重因子μ在[0,1]区间内动态变化,系统的任务总时延与卸载成本呈现出的权衡关系。可以看出,PADDPG/A3C算法在处理混合动作空间时效率较低,难以实现细粒度的资源分配与参数优化。而H-A3C算法能够有效权衡任务的时延和租赁成本,在本地、车辆间和边缘服务器间分配任务,并且优化带宽分配比例和计算资源占比等连续参数,实现细粒度的资源适配,使得H-A3C在面对较高并发、资源竞争紧张的环境时,能协同整合车辆层、MEC层和云层的资源,最小化服务时间与服务成本的加权和。

4 实例验证与分析

为克服纯随机仿真在环境真实性上的局限,搭建了基于SUMO+ OMNeT++/Vein的仿真平台。该平台能够模拟真实车辆移动行为、无线信道动态及边缘计算环境,为算法验证提供高保真度的测试环境。将已经训练好的H-A3C与PADDPG、标准A3C模型及全本地执行(FL)策略数据集成至仿真平台环境中,驱动车辆与环境交互,执行任务卸载与资源分配。表5统计了各算法的任务执行性能指标。H-A3C在平均时延、任务成功率及边缘资源利用率方面均优于对比算法。在该具体场景中,H-A3C通过卸载比例控制,将任务成功率维持在92.4%,而PADDPG和A3C分别下降至84.8%和77.9%。

5 结论

针对多目标接入的移动边缘车联网环境,以车辆最小化任务卸载延迟和成本为目标,研究了车辆任务卸载和资源优化问题,提出了一种异步混合动作空间强化学习算法(H-A3C)。该算法通过融合混合动作表示框架,建模离散-连续动作间的复杂依赖关系以应对动作异构性带来的探索-利用困境,使智能体能够解码异构依赖动作。而且改进的异步训练框架通过时间加权梯度聚合和周期性动作表示校正,提升了动态环境下的训练稳定性和收敛效率。仿真实验以及运行半实物仿真平台表明,H-A3C在收敛性、时延控制、成本优化以及系统规模扩展性方面均优于对比算法。在车辆密度和任务负载变化的不同场景下,尤其在资源竞争加剧的高密度场景中,H-A3C能有效地协调本地、邻近车辆、MEC服务器及云端资源,实现任务卸载比例与资源分配的高效适配,从而在保证较高任务成功率的同时,显著降低任务处理的总时延与资源租赁成本。未来工作将进一步探索H-A3C在更复杂的动态网络拓扑中的应用潜力,例如引入车辆移动性预测机制以增强算法的前瞻性,或者结合联邦学习框架提升多车辆协作的安全性和隐私保护水平,持续推动车辆网络计算资源管理技术的发展与创新。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	马忠贵, 李卓, 梁彦鹏. 自动驾驶车联网中通感算融合研究综述与展望[J]. 工程科学学报, 2023, 45(1): 137-149.

[2]	Ma Zhonggui, Li Zhuo, Liang Yanpeng. A survey on integrated sensing, communication, and computing in internet of autonomous vehicles: review and prospects[J]. Chinese Journal of Engineering, 2023, 45(1): 137-149.

[3]	Cheng Z, Min M, Liwang M, et al. Multiagent DDPG-based joint task partitioning and power control in fog computing networks[J]. IEEE Internet of Things Journal, 2021, 9(1): 104-116.

[4]	Xiao L, Lu X, Xu T, et al. Reinforcement learning-based mobile offloading for edge computing against jamming and interference[J]. IEEE Transactions on Communications, 2020, 68(10): 6114-6126.

[5]	李强, 仪晋辉, 杜婷婷, 等. 移动边缘计算中基于A3C的依赖任务卸载与资源分配[J]. 计算机工程, 2023, 49(6): 42-52.

[6]	Li Qiang, Yi Jinhui, Du Tingting, et al. Dependent task offloading and resource allocation based on A3C in mobile edge computing[J]. Computer Engineering, 2023, 49(6): 42-52.

[7]	Guo H, Liu J, Ren J, et al. Intelligent task offloading in vehicular edge computing networks[J]. IEEE Wireless Communications, 2020, 27(4): 126-132.

[8]	赵海涛, 张唐伟, 陈跃, 等. 基于DQN的车载边缘网络任务分发卸载算法[J]. 通信学报, 2020, 41(10): 172-178.

[9]	Zhao Haitao, Zhang Tangwei, Chen Yue, et al. DQN-based task offloading algorithm for vehicular edge networks[J]. Journal on Communications, 2020, 41(10): 172-178.

[10]	Li M, Yu F R, Si P, et al. Resource optimization for delay-tolerant data in blockchain-enabled IoT with edge computing: a deep reinforcement learning approach[J]. IEEE Internet of Things Journal, 2020, 7(10): 9399-9412.

[11]	赵婵婵, 郭晓敏, 海晓伟, 等. 缓存辅助移动边缘计算的任务卸载与资源分配联合优化策略[J]. 科学技术与工程, 2023, 23(9): 3812-3819.

[12]	Zhao Chanchan, Guo Xiaomin, Hai Xiaowei, et al. Joint optimization strategy for task offloading and resource allocation in cache-assisted mobile edge computing[J]. Science Technology and Engineering, 2023, 23(9): 3812-3819.

[13]	Chen J, Xing H, Xiao Z, et al. A DRL agent for jointly optimizing computation offloading and resource allocation in MEC[J]. IEEE Internet of Things Journal, 2021, 8(24): 17508-17524.

[14]	Liu Y, Cui Q, Zhang J, et al. An actor-critic deep reinforcement learning based computation offloading for three-tier mobile computing networks[C]// 2019 11th International Conference on Wireless Communications and Signal Processing (WCSP). Xi’an: IEEE, 2019: 1-6.

[15]	阮应君, 侯泽群, 钱凡悦, 等. 基于深度强化学习的分布式能源系统运行优化[J]. 科学技术与工程, 2022, 22(17): 7021-7030.

[16]	Ruan Yingjun, Hou Zequn, Qian Fanyue, et al. Optimization of the operation of distributed energy system based on deep reinforcement learning[J]. Science Technology and Engineering, 2022, 22(17): 7021-7030.

[17]	周恒恒, 高松, 王鹏伟, 等. 基于深度强化学习的智能车辆行为决策研究[J]. 科学技术与工程, 2024, 24(12): 5194-5203.

[18]	Zhou Hengheng, Gao Song, Wang Pengwei, et al. Intelligent vehicles behavior decision-making based on deep reinforcement learning[J]. Science Technology and Engineering, 2024, 24(12): 5194-5203.

[19]	Hausknecht M, Stone P. Deep reinforcement learning in parameterized action space[J]. arXiv prePrint, arXiv: 1511. 04143, 2015.

[20]	Ale L, Zhang N, Fang X, et al. Delay-aware and energy-efficient computation offloading in mobile-edge computing using deep reinforcement learning[J]. IEEE Transactions on Cognitive Communications and Networking, 2021, 7(3): 881-892.

[21]	Xiong J, Wang Q, Yang Z, et al. Parametrized deep Q-networks learning: reinforcement learning with discrete-continuous hybrid action space[J]. arXiv prePrint, arXiv: 1810. 06394, 2018.

[22]	Fu H, Tang H, Hao J, et al. Deep multi-agent reinforcement learning with discrete-continuous hybrid action spaces[J]. arXiv prePrint, arXiv: 1903. 04959, 2019.

[23]	Raza S J A, Lin M. Constructive policy: reinforcement learning approach for connected multi-agent systems[C]// 2019 IEEE 15th International Conference on Automation Science and Engineering (CASE). Vancouver, BC: IEEE, 2019: 257-262.

[24]	Cheng Z, Min M, Gao Z, et al. Joint task offloading and resource allocation for mobile edge computing in ultra-dense network[C]// GLOBECOM 2020-2020 IEEE Global Communications Conference. Taipei, China: IEEE, 2020: 1-6.

[25]	Li B, Tang H, Zheng Y, et al. HYAR: addressing discrete-continuous action reinforcement learning via hybrid action representation[J]. arXiv prePrint, arXiv: 2109. 05490, 2021.

基金资助

江西省自然科学基金(20242BAB25073)

PDF (4572KB)

访问

被引

详细

导航

Received	Published	Revised
2025-09-07	2026-09-08	2026-02-06
Online Date
2026-09-18

摘要