基于课程学习和反事实多智能体策略梯度的多无人车协同围捕方法

李智; 王鸿鹏; 余雪玮

doi:10.12404/j.issn.1671-1815.2505395

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (25) :10932-10943 DOI: 10.12404/j.issn.1671-1815.2505395

自动化技术、计算机技术

基于课程学习和反事实多智能体策略梯度的多无人车协同围捕方法

李智 ¹^,² ,
王鸿鹏 ¹^,³^,^* ,
余雪玮 ¹^,⁴^,⁵

作者信息 +

Multi-unmanned Vehicle Cooperative Pursuit Method Based on Curriculum Learning and Counterfactual Multi-agent Policy Gradient

LI Zhi ¹^,² ,
WANG Hong-peng ¹^,³^,^* ,
YU Xue-wei ¹^,⁴^,⁵

Author information +

文章历史 +

摘要

针对在连续且动态环境中多无人车协同围捕机动目标任务复杂性高、效率低的问题,提出了一种基于课程式经验学习的反事实多智能体策略梯度算法,以提升无人车在非平稳性、部分可观测性环境下的协同围捕效率。首先,构建了目标动态运动的围捕环境和无人车动力学模型,并给出了成功围捕目标的判定标准。随后,将无人车编队的协同围捕问题建模为一个去中心化的部分观测马尔可夫决策过程,并提出了一种基于课程学习框架的反事实多智能体策略梯度算法控制无人车逐步完成围捕任务。将复杂的协同围捕任务分解为由易到难的目标接近、目标捕获和目标包围3个阶段,并设计了每个阶段相对应的单步奖励和终局奖励,逐步引导智能体学习。仿真实验验证了基于课程学习和反事实多智能体策略梯度的无人车围捕方法能够适应复杂场景变化,自主调整队形和路径规划。在应对不同机动能力的动态目标场景下,多智能体协同围捕策略具有良好的鲁棒性和泛化能力。

Abstract

To address the problems of high complexity and low efficiency in the cooperative pursuit of maneuvering targets by multiple unmanned vehicles in continuous and dynamic environments, a counterfactual multi-agent policy gradient algorithm based on curriculum experiential learning was proposed. The cooperative pursuit efficiency of unmanned vehicles under non-stationary and partially observable conditions was thereby improved. First, a pursuit environment with dynamically moving targets and a dynamic model of unmanned vehicles was constructed, along with the criteria for successful target capture. Then, the cooperative pursuit problem of unmanned vehicle formations was modeled as a decentralized partially observable Markov decision process (Dec-POMDP). A counterfactual policy gradient algorithm within a curriculum learning framework was proposed to guide unmanned vehicles to complete the pursuit task step by step. The complex cooperative pursuit task was decomposed into three progressively difficult stages: target approaching, target capturing, and target encircling. For each stage, corresponding step-wise and terminal rewards were designed to progressively guide the agents’ learning process. Simulation results demonstrate that the proposed method, based on curriculum learning and counterfactual policy gradients, can adapt to complex environmental changes and autonomously adjust formations and path planning. In scenarios involving dynamic targets with varying maneuverability, the multi-agent cooperative pursuit strategy exhibits strong robustness and generalization ability.

Graphical abstract

关键词

多无人车 / 协同围捕 / 课程学习 / 反事实多智能体策略梯度

Key words

multi-unmanned vehicles / cooperative pursuit / curriculum learning / counterfactual multi-agent policy gradient

引用本文

引用格式 ▾

李智, 王鸿鹏, 余雪玮. 基于课程学习和反事实多智能体策略梯度的多无人车协同围捕方法[J]. 科学技术与工程, 2026, 26(25): 10932-10943 DOI:10.12404/j.issn.1671-1815.2505395

LI Zhi, WANG Hong-peng, YU Xue-wei. Multi-unmanned Vehicle Cooperative Pursuit Method Based on Curriculum Learning and Counterfactual Multi-agent Policy Gradient[J]. Science Technology and Engineering, 2026, 26(25): 10932-10943 DOI:10.12404/j.issn.1671-1815.2505395

登录浏览全文

4963

注册一个新账户忘记密码

在面对高强度、高风险和高动态环境时,无人地面车辆^[1]在恶劣环境下更具适应性,能够代替人类在狭小空间、高危环境及极端天气中执行任务^[2]。单一无人车辆的作业能力较弱,提升其协同决策和协同控制能力已成为无人车控制研究的重要方向之一^[3-5]。多无人车协同围捕任务^[6-7],是指通过多车之间的协作、感知共享和自主策略优化实现对目标的有效捕获与控制^[8-9]。这类任务作为多无人车任务协同的基础性问题,是当前该领域的研究热点之一。

为了解决无人车集群的围捕问题,传统方法主要包括确定性方法和启发式方法^[10-11]。前者采用传统数学工具来求解问题,通常通过构建追捕者-逃避者的微分对策模型,计算最优的时间轨迹和围捕策略^[12]。受自然界捕猎行为的启发,也有人提出了模拟狼群围猎、捕食者-猎物系统^[13]等启发式算法。传统确定性方法通常依赖于对逃避者运动模型和控制策略的强先验假设,在目标策略未知或快速变化时性能显著下降;启发式算法虽然具有一定生物学启发意义,但在高维连续状态空间中容易陷入局部最优,且难以保证策略的稳定性与泛化能力。此外,这类方法对环境模型参数高度敏感,在真实动态环境中难以实现在线自适应调整。

随着深度强化学习的迅速发展,人工智能在解决复杂决策和博弈问题中展现出了卓越的性能,甚至在部分领域已实现对人类水平的超越^[14-16]。多智能体强化学习作为多智能体系统与深度强化学习融合的产物,使得多个智能体在既定规则和环境约束下,通过大规模训练,逐渐学习并形成高效的协同策略,表现出压倒性的协调行为和环境适应能力^[17-19]。多智能体强化学习方法通过集中训练、分布式执行框架,使多个智能体在交互环境中通过大量经验数据进行学习,自主形成高效协同策略,显示出优秀的协调能力和环境适应性优化性能。通过引入注意力机制、记忆网络等结构,可以增强智能体之间的信息融合和长期序列依赖建模,从而提升围捕策略的稳定性与训练效率。

在多无人车协同围捕任务中,多智能体强化学习面临环境的非平稳性、部分可观测性、奖励稀疏性和信用分配问题^[20-22]。针对上述问题,现创新性地提出一种基于课程学习(curriculum learning)和反事实多智能体策略梯度(counterfactual multi-agent policy gradient, COMA)的多无人车协同围捕决策算法CEL-COMA,提升决策模型的训练效率和泛化能力。CEL-COMA构建一个基于反事实多智能体策略梯度算法的框架,通过神经网络实现对每辆无人车的独立控制,并完成多无人车的协同决策。引入课程经验学习机制,将多无人车围捕任务划分为3个具有不同奖励函数的子任务:目标接近、目标捕获以及目标包围。这样的任务分解有助于多辆无人车在围捕过程中逐步掌握各阶段所需的关键技能。设计由稀疏奖励与密集奖励相结合的混合奖励函数,克服多智能体决策环境的非平稳性,引导围捕智能体进行探索,使其在连续且复杂的环境中能够更高效地逼近最终目标,从而提升整体模型的学习效率和任务完成能力。

1 理论基础

1.1 无人车运动学模型

为了实现对地面无人车运动行为的有效建模与控制,采用经典的非完整差速运动模型对无人车进行建模。设无人车在二维平面上的状态为(x,y,θ),其中(x,y)表示坐标,θ表示航向角,控制输入包括线速度v和角速度ω。则其在连续时间下的运动学模型可描述为

(1)$\left\{\begin{array}{l}\stackrel{·}{\mathit{x}}\left(\mathit{t}\right)=\mathit{v}\left(\mathit{t}\right)\mathrm{c}\mathrm{o}\mathrm{s}\left[\mathit{\theta }\right(\mathit{t}\left)\right]\\ \stackrel{·}{\mathit{y}}\left(\mathit{t}\right)=\mathit{v}\left(\mathit{t}\right)\mathrm{s}\mathrm{i}\mathrm{n}\left[\mathit{\theta }\right(\mathit{t}\left)\right]\\ \stackrel{·}{\mathit{\theta }}\left(\mathit{t}\right)=\mathit{\omega }\left(\mathit{t}\right)\end{array}\right.$

在离散时间控制框架中,考虑固定采样间隔Δt,上述模型可以进一步离散化为

(2)$\left\{\begin{array}{l}{\mathit{x}}_{\mathit{k}+1}={\mathit{x}}_{\mathit{k}}+{\mathit{v}}_{\mathit{k}}\mathrm{\Delta }\mathit{t}\mathrm{c}\mathrm{o}\mathrm{s}{\mathit{\theta }}_{\mathit{k}}\\ {\mathit{y}}_{\mathit{k}+1}={\mathit{y}}_{\mathit{k}}+{\mathit{v}}_{\mathit{k}}\mathrm{\Delta }\mathit{t}\mathrm{s}\mathrm{i}\mathrm{n}{\mathit{\theta }}_{\mathit{k}}\\ {\mathit{\theta }}_{\mathit{k}+1}={\mathit{\theta }}_{\mathit{k}}+{\mathit{\omega }}_{\mathit{k}}\mathrm{\Delta }\mathit{t}\end{array}\right.$

式(2)中:k为当前时刻的时间步索引;(v_k,w_k)为时刻k的控制输入。为了简化策略学习、提高训练稳定性和样本利用效率,便于实现和部署,采用离散化策略将原本连续的控制动作映射为有限的离散动作集合。构建有限动作集A={a₁,a₂,…,a₉},其中每个离散动作a_i对应一组固定的速度参数(v_i,w_i),选择无人车的平均线速度v₀和角速度w₀组合来构建动作空间,A={(v,w)|v∈{-v₀,0,v₀},w∈{-ω₀,0,ω₀}}。上述离散化动作集合包含9种动作,不仅保留了无人车基本机动能力,还显著简化了策略网络的输出维度。无人车的运动学模型如图1所示。

1.2 无人车探测模型

为实现无人车在未知或动态环境中的自主导航与避障功能,引入基于射线检测的感知机制。该方法模拟激光雷达或超声传感器,通过从无人车当前位置沿多个方向发出虚拟射线,检测其与环境障碍物的交点,以估算与障碍物之间的相对距离。具体而言,在车体前方以9°间隔发射40条射线,构成一组观测向量r={d₁,d₂,…,d₄₀},其中d_i表示第i条射线的最小检测距离,如图1中的红色箭头所示。该感知信息将作为局部观测的一部分传递给强化学习策略网络,辅助智能体感知周围环境,实现对障碍物的规避。

1.3 反事实多智能体策略梯度算法

深度强化学习通过智能体与环境的交互试错,能够学习生成具有适应性的策略^[23]。智能体首先根据对环境的观测选择执行相应的动作,环境在接收到智能体的动作后返回一个奖惩信号,以此衡量当前动作的优劣,并更新状态。该过程不断循环,直至达到终止条件^[14]。

在现实世界的复杂任务和环境本质上具有多参与者、分布式、协作或竞争性的特点,例如本文研究的多无人车协同围捕任务,单一智能体无法有效解决协作任务。协作的多智能体强化学习旨在研究如何引导多个智能体在共享环境中通过相互协作完成共同的任务目标^[24-25]。与单智能体强化学习不同,在协作场景中,各智能体通常面临部分可观测的局部信息,但其组合行为将共同影响整个系统的状态演化和全局奖励函数^[26]。为实现系统整体最优,智能体通过策略学习建立协同机制,在保持自主决策能力的同时,协调其行为以最大化整体的长期累积奖励^[27]。该类问题可以被形式化建模为具有共享机制的分布式部分可观测马尔可夫决策过程。该过程构建一个七元组<S,A,O,R,P,n,γ>,其中S表示环境的状态空间,A表示所有智能体组合的动作空间,O表示观测函数,每个智能体i在全局状态s下获得局部观测o_i=O(s,i)。环境在联合动作A=<a₁,a₂,…,a_n>的作用下,从状态s转移到下一个状态s'的概率由状态转移函数P(s'|s,A)定义。所有协作智能体共享同一个奖励函数R(s,A),γ为未来奖励的折扣因子。在此框架下,每个智能体基于局部观测o_i通过局部策略π_θ(a_i|o_i)选择对应的动作a_i。所有智能体协同优化整体的累计折扣奖励函数J(θ)=E_A^t,s^t[∑_tγ^tR(s^t,A^t)],其中A^t=(a₁^t,a₂^t,…,a_n^t)表示时刻t的联合动作。

为了解决多智能体强化学习中环境的非平稳性和信用分配问题,反事实多智能体策略梯度方法COMA被提出^[28]。COMA基于演员-评论家架构,其中演员网络在训练阶段通过集中式评论家提供的梯度信息进行更新。每个智能体在执行阶段依赖演员网络映射的策略进行决策。集中式训练和分散式执行架构使评论家可以基于联合动作和全局状态进行价值估计,而演员网络仍依赖每个智能体的局部观测和历史轨迹,从而实现信息共享式训练。

受差异奖励机制的启发,COMA提出了一种反事实基线的机制,通过评估个体行为对全局奖励的边际贡献来解决多智能体信用分配问题。该塑性奖励形式定义为

(3)D^a=r(s,u)-r[s,(u^-^a,c^a)]

式(3)中:r(s,u)为当前状态s下,所有智能体执行联合动作u所获得的全局奖励;u^-^a为去除了智能体a的所有其他智能体的动作;c^a为智能体a的默认动作;r[s,(u^-^a,c^a)]为将智能体a的动作替换为默认动作后所得到的奖励。

与传统差异奖励方法不同,COMA不依赖于环境模型或手动设定的默认动作。通过集中式评论家构造智能体特定的优势函数,该函数比较当前联合动作下的回报与在保持其他智能体动作不变的前提下边际化该智能体动作后的基线回报,表达式为

(4)$ \begin{aligned} A^{a}(s, \tau, u)= & Q(s, \tau, u)-\sum_{u_{a}^{\prime}} \pi^{a}\left(u_{a}^{\prime} \mid \tau_{a}\right) \times \\ & Q\left[s, \tau,\left(u_{-a}, u_{a}^{\prime}\right)\right] \end{aligned} $

该函数基于全局状态s、联合动作-观测历史τ,对当前联合动作u进行Q值估计。A^a(s,τ,u)提供了针对每个智能体的个性化基线,借助集中式评论网络对仅改变该智能体动作的反事实情况进行推理。这种方法完全依赖智能体自身的交互数据进行训练,避免了对额外仿真、奖励函数建模或手动设定默认动作的依赖。这种方式类似于贵族效用的计算,但有效规避了策略与效用函数之间存在的递归依赖问题,从而使得反事实基线在理论上不会对策略梯度造成偏差。

COMA设计了一种高效计算反事实基线的评论家架构,以其他智能体的当前动作为条件,在一次前向传播中同时完成智能体在不同动作选择下的值函数计算。由于所有智能体共享同一个集中式评论家,因此可通过并行化的方式在一次前向传播中同时计算所有智能体在不同动作选择下的价值函数,大幅提升计算效率并支持端到端训练。

2 任务场景描述

在一个有限的任务场景中,存在执行围捕任务的3辆无人车和一辆具备机动能力的目标无人车。围捕无人车具有相同的动力学模型,且需要依靠协同控制策略,实现对目标的有效包围。在任务执行过程中,为保证路径规划的可行性与行驶安全,围捕无人车需具备自主避障的能力。任务区域默认具备稳定的通信能力,围捕无人车之间可以共享实时位置,且可以通过传感器获取目标无人车的位置。围捕无人车具有有限的围捕作用范围,多个无人车可通过协作构建围捕网络,实现对目标的联合包围。当目标同时位于各无人车的围捕范围内,且处于多车构成的围捕网络内部时,可判断为完成有效围捕。本文研究更关注的是无人车之间的协同包围,而非传统意义上的单一追逃对抗。

多无人车协同围捕任务如图2所示。

3 CEL-COMA算法设计

3.1 状态空间

在多无人车协同围捕决策任务中,整个任务场景被设置为一个长为l_length、宽为l_width的矩形区域。每辆车的状态信息包括自身状态、其他车辆的位置、目标的位置以及感知信息。

每辆无人车的自身状态可表示为其归一化位置、线速度和角速度,具体定义为

(5)${\mathit{S}}_{\mathit{v}\mathit{e}\mathit{h}\mathit{i}\mathit{c}\mathit{l}\mathit{e}}^{\mathit{i}}=\left[\begin{array}{llll}\frac{{\mathit{x}}_{\mathit{i}}}{{\mathit{l}}_{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{t}\mathrm{h}}},& \frac{{\mathit{y}}_{\mathit{i}}}{{\mathit{l}}_{\mathrm{l}\mathrm{e}\mathrm{n}\mathrm{g}\mathrm{t}\mathrm{h}}},& \frac{{\mathit{v}}_{\mathit{i}}}{{\mathit{v}}_{\mathrm{m}\mathrm{a}\mathrm{x}}},& \frac{{\mathit{\omega }}_{\mathit{i}}}{{\mathit{\omega }}_{\mathrm{m}\mathrm{a}\mathrm{x}}}\end{array}\right]$

式(5)中:(x_i,y_i)为无人车在场景中的横纵坐标;v_i为无人车在前进方向上的线速度;ω_i为无人车当前的角速度;v_max、ω_max分别为无人车的最大线速度和最大角速度,用于归一化。

每辆无人车可以感知到其他合作车辆的绝对位置信息,这部分状态表示为

(6)$ S_{\text {teammate }}^{i}= {\left[\frac{x_{1}}{l_{\text {width }}}, \frac{y_{1}}{l_{\text {length }}}, \cdots, \frac{x_{n}}{l_{\text {width }}}, \frac{y_{n}}{l_{\text {length }}}\right] } $

针对捕获目标,每辆车根据其自身位置和目标位置,计算目标的相对距离和方位角,表达式为

(7)$ \begin{array}{l} \boldsymbol{S}_{\text {target }}^{i}=\left[d_{i}, \theta_{i}\right]= \\ \quad\left[\frac{\left\|\left(x_{\mathrm{t}}, y_{\mathrm{t}}\right)-\left(x_{i}, y_{i}\right)\right\|_{2}}{l_{\text {width }}+l_{\text {length }}}, \arctan \left(\frac{y_{\mathrm{t}}-y_{i}}{x_{\mathrm{t}}-x_{i}}\right)\right] \end{array} $

式(7)中:(x_t,y_t)为目标车辆的绝对坐标;d_i、θ_i分别为第i车与目标车辆的相对距离和相对角度。

每辆车可以从传感器中获得关于周边环境距离的观测向量,表示为

(8)${\mathit{S}}_{\mathit{s}\mathit{e}\mathit{n}\mathit{s}\mathit{o}\mathit{r}}^{\mathit{i}}=\frac{1}{\mathit{L}}[{\mathit{l}}_{1}^{\mathit{i}},{\mathit{l}}_{2}^{\mathit{i}},\dots,{\mathit{l}}_{20}^{\mathit{i}}]$

式(8)中:L为传感器的最大探测距离,用于对距离观测量进行归一化;l₁ⁱ,l₂ⁱ,…,l₂₀ⁱ为第i辆无人车传感器在不同探测方向上获得的距离观测值,其中l_kⁱ为第k个探测方向上无人车与最近障碍物或环境边界之间的距离。

第i辆无人车的观测空间由以上4个部分拼接组合而成,即

(9)${\mathit{S}}_{\mathrm{o}}^{\mathit{i}}=[{\mathit{S}}_{\mathrm{v}\mathrm{e}\mathrm{h}\mathrm{i}\mathrm{c}\mathrm{l}\mathrm{e}},{\mathit{S}}_{\mathrm{t}\mathrm{e}\mathrm{a}\mathrm{m}\mathrm{m}\mathrm{a}\mathrm{t}\mathrm{e}},{\mathit{S}}_{\mathrm{s}\mathrm{e}\mathrm{n}\mathrm{s}\mathrm{o}\mathrm{r}},{\mathit{S}}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}]$

式(9)中:S_oⁱ为车辆i对环境的局部观测,由车辆自身状态、协作车辆状态、传感器反馈的距离状态和目标信息状态组合而成。

3.2 奖励函数

为了引导多辆无人车协同完成对目标的围捕任务,设计了一个结合全局和局部的混合奖励体系。

3.2.1 局部奖励

在每个时间步中,针对每个智能体计算额外的奖励,鼓励每辆无人车尽可能地接近目标,同时避开障碍物。针对每个单独的围捕无人车接近目标的单步奖励设计为

(10)R_near=vkcosθ

式(10)中:v为无人车的速度模长;θ为当前无人车速度方向与其指向目标方向的夹角;k为缩放因子,用于调节该奖励项的数值尺度。cosθ为方向对齐性衡量,反映无人车的移动方向是否朝向目标。当cosθ=1时表示完全朝向目标运动,cosθ=0时表示垂直运动,cosθ=-1则代表完全背离目标方向。速度模长的引入可以避免无人车通过原地抖动来获取奖励的行为,确保只有实际移动行为才能产生正向奖励,同时将正确方向和错误方向的奖惩额度进一步区分。

单步奖励鼓励无人车在每一步的行为给予正负反馈,引导每辆无人车都采取有益于全局目标的局部行为。在多车协同围捕任务中,无人车之间的动作会相互影响,导致环境非平稳。单步接近目标的持续反馈可以在一定程度上解决环境非平稳问题,跳出局部最优,加快策略优化速度。

为引导智能体学习自主避开障碍物,避免非预期接触,在训练过程中设置两类负向奖励信号。

(1)接近障碍物惩罚。当任意车辆靠近障碍物,且其与障碍物的距离小于安全阈值d_o,即视为潜在碰撞风险,立即给予单步惩罚,表达式为

(11)${\mathit{R}}_{\mathrm{o}\mathrm{p}\mathrm{p}}^{\mathit{i}}=\left\{\begin{array}{ll}{\mathrm{r}}_{\mathit{o}},& \Vert {\mathit{p}}_{\mathit{i}}-{\mathit{p}}_{\mathrm{o}}\Vert <{\mathrm{d}}_{\mathit{o}}\\ 0,& \mathrm{其}\mathrm{他}\end{array}\right.$

式(11)中:p_i为第i个智能体的位置向量;p_o为障碍物的位置向量;‖p_i-p_o‖为障碍物与无人车之间的欧式距离。

(2)碰撞失败惩罚。若围捕无人车发生与其他障碍物、无人车、围捕目标的碰撞,则给予显著的负向惩罚,判定当前回合结束,以加强对失败行为的惩罚性记忆,表达式为

(12)${\mathit{R}}_{\mathrm{o}\mathrm{c}\mathrm{p}}^{\mathit{i}}=\left\{\begin{array}{ll}{\mathit{r}}_{\mathrm{c}},& \mathit{d}(\mathit{i},\mathit{O})=0\\ 0,& \mathrm{其}\mathrm{他}\end{array}\right.$

式(12)中:d(i,O)为第i个智能体与其他物体的距离;r_c为碰撞惩罚值,即发生碰撞时给予的负奖励常数。

3.2.2 全局奖励

在多无人车协同围捕机动目标的任务中,单个智能体的行为往往难以直接反映整体任务完成情况,单纯依赖个体奖励容易导致协同失效或局部最优。为引导多无人车形成一致的协同策略,并提高复杂任务下的学习效率与稳定性,有必要从全局层面设计奖励机制,并结合分阶段训练策略,逐步提升系统的协同决策能力。

全局奖励由多个无人车共享,并作为集体行为的正反馈或惩罚来源。课程学习指的是在模型训练过程中,先以简单任务进行训练,然后逐步引入更难、更复杂的任务,使得模型能够循序渐进地提升完成复杂任务的能力。针对多无人车围捕机动目标任务,将任务由易到难,由个体到集体划分为3个阶段子任务:目标接近、目标捕获和目标包围,如图3所示。在目标接近阶段,每辆无人车根据自身的局部观测和密集的单步接近奖惩信号,独立学习接近目标和自主避障,是最容易实现的任务,也是完成其他任务的先决条件。在目标捕获阶段,需要每辆无人车保持对目标的稳定跟踪,并且将与目标的距离缩减到捕获范围内。目标包围阶段是多智能体强化学习领域,涉及多智能体环境的非平稳性和信用分配问题,需要3辆无人车在保持跟踪距离的情况下,完成从跟踪到包围的队形变换,以实现目标的最终捕获。阶段性奖励提供了及时且丰富的反馈信号,避免稀疏奖励问题,可显著提升任务的完成率和捕获效率。

在目标捕获阶段,为判断目标是否被3辆无人车有效包围,采用面积判断法。设3辆无人车构成的三角形面积为A_UGV,目标与任意两辆无人车构成的三角形面积之和为A_total。若A_UGV<A_total,则说明目标位于3辆无人车构成的三角形之外,即包围队形未完成;仅当A_UGV=A_total时,目标才位于三角形内部,视为包围成功。具体而言,设3辆无人车的位置分别为p₁、p₂、p₃,目标位于位置p_T,则

(13)${\mathit{A}}_{\mathrm{U}\mathrm{G}\mathrm{V}}=\frac{1}{2}\Vert ({\mathit{p}}_{2}-{\mathit{p}}_{1})({\mathit{p}}_{3}-{\mathit{p}}_{1})\Vert $

设第i辆无人车的位置为p_i,目标的位置为p_T。由围捕目标与3辆无人车分别构成的三角形面积A₁、A₂、A₃分别为

(14)$\left\{\begin{array}{l}{\mathrm{A}}_{1}=\frac{1}{2}\Vert ({\mathit{p}}_{1}-{\mathit{p}}_{\mathrm{T}})({\mathit{p}}_{2}-{\mathit{p}}_{\mathrm{T}})\Vert \\ {\mathrm{A}}_{2}=\frac{1}{2}\Vert ({\mathit{p}}_{2}-{\mathit{p}}_{\mathrm{T}})({\mathit{p}}_{3}-{\mathit{p}}_{\mathrm{T}})\Vert \\ {\mathrm{A}}_{3}=\frac{1}{2}\Vert ({\mathit{p}}_{3}-{\mathit{p}}_{\mathrm{T}})({\mathit{p}}_{1}-{\mathit{p}}_{\mathrm{T}})\Vert \end{array}\right.$

三者之和为总面积A_total,表达式为

(15)A_total=A₁+A₂+A₃

在目标捕获阶段,当每辆无人车与目标的距离都小于捕获距离时,收到捕获成功奖励,当目标与任意无人车的距离大于捕获距离时,则受到逃逸惩罚,以此保持对目标的稳定距离跟踪,目标捕获阶段的子任务奖励函数设计如下。

(16)${\mathit{R}}_{\mathrm{c}\mathrm{a}\mathrm{p}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}}=\left\{\begin{array}{l}{\mathit{r}}_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{k}\mathrm{i}\mathrm{n}\mathrm{g}},\forall \mathit{i}\in \{\mathrm{1,2},3\},{\mathit{d}}_{\mathit{i}}<{\mathit{d}}_{\mathrm{c}\mathrm{a}\mathrm{p}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}}\\ {\mathit{r}}_{\mathrm{e}\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{p}\mathrm{e}},\exists \mathit{i}\in \{\mathrm{1,2},3\},{\mathit{d}}_{\mathit{i}}\ge {\mathit{d}}_{\mathrm{c}\mathrm{a}\mathrm{p}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}}\end{array}\right.$

式(16)中:r_tracking为捕获成功奖励;r_escape为目标逃逸惩罚;d_i为第i辆无人车与目标之间的距离;d_capture为设定的捕获距离阈值。

当稳定捕获阶段子任务完成,为鼓励多辆无人车从不同方向对目标形成包围队形,避免聚集在目标同一侧,需要角度分散的奖惩信号。定义从目标指向每辆无人车的方向向量为v_i=p_i-p_T。对于每一对无人车(i,j),计算它们相对于目标的方向向量之间的夹角θ_ij。目标是使3辆无人车围绕目标均匀分布,夹角应接近120°。因此,构造的角度分散奖励项为

(17)${\mathit{R}}_{\mathit{\theta }}=-\sum _{\mathit{i}<\mathit{j}}\left|\mathrm{\angle }({\mathit{v}}_{\mathit{i}},{\mathit{v}}_{\mathit{j}})-\frac{2\mathit{\pi }}{3}\right|$

该奖励项鼓励无人车在目标周围形成近似等边三角形的分布结构,有助于实现协同包围。

为同时引导无人车形成将目标包围在内部的闭合三角形结构,设计了基于合围面积的闭环奖励函数,通过惩罚A_UGV和A_total之间的差异来促进闭环编队的形成,表达式为

(18)${\mathit{R}}_{\mathit{A}}=-\left|{\mathit{A}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}-{\mathit{A}}_{\mathrm{U}\mathrm{G}\mathrm{V}}\right|$

该奖励项鼓励无人车逐渐缩小三角形未闭合的空隙,使目标最终位于三角形的内部,从而实现有效的围捕控制。当三角形闭合度越高时,奖励值越大(负值越小),引导系统向理想的围捕结构演化。

当围捕无人车组成功将目标包围在闭合三角形内时,获得围捕成功的终局正向奖励为

(19)${\mathit{R}}_{\mathrm{s}\mathrm{u}\mathrm{c}\mathrm{c}\mathrm{e}\mathrm{s}\mathrm{s}}=\left\{\begin{array}{ll}{\mathit{r}}_{\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{i}\mathrm{r}\mathrm{c}\mathrm{l}\mathrm{e}},& \forall \mathit{i},{\mathit{d}}_{\mathit{i}}<{\mathit{d}}_{\mathrm{c}\mathrm{a}\mathrm{p}\mathrm{t}\mathrm{u}\mathrm{r}\mathrm{e}}\mathit{且}\left|{\mathit{A}}_{\mathrm{U}\mathrm{G}\mathrm{V}}-{\mathit{A}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}\right|<\mathit{\varepsilon }\\ 0,& \mathrm{其}\mathrm{他}\end{array}\right.$

式(19)中:成功包围的判据是$\left|{\mathit{A}}_{\mathrm{U}\mathrm{G}\mathrm{V}}-{\mathit{A}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}\right|$<ε,ε为容差,取值0.001,用于浮点计算误差控制。

3.3 网络结构设计

针对多无人车协同围捕任务中每辆无人车对环境的局部观测限制、多辆无人车策略非平稳性和协同决策的需求,提出EL-COMA采用集中训练、分布执行(centralized training with decentralized execution, CTDE)的策略学习框架。训练阶段利用所有智能体的观测和动作来评估每个智能体的联合价值,从而提供更准确的反事实基线计算。反事实基线衡量在其他无人车动作不变的环境下,无人车选择当前动作和其他动作的平均效果,从而明确无人车每个动作的真实独立贡献。反事实基线类似于优势函数基线,能减少策略梯度的方差,使学习过程更加平稳、收敛更快。中心化的评估网络可以精确指导个体策略优化。在执行阶段,每辆无人车不依赖于通信,根据自己的局部观测进行独立去中心化执行,但是可以实现接近中心化执行的性能。

3.3.1 策略网络结构设计

为应对多无人车环境中的部分可观测性问题,在策略网络中引入循环神经网络结构以融合历史观测信息,增强对环境状态的理解,如图4所示。策略网络的作用是根据每辆无人车的局部观测信息,输出动作值函数向量q和更新后的隐藏状态h。其中,q∈R^n_action表示当前观测和历史状态下每个可选动作的价值,用于动作选择和策略的更新;h∈R^d为循环单元输出的隐藏状态,捕捉了时间序列中的历史信息,用于在部分可观测环境中保持上下文记忆,并作为下一时间步的输入状态。两者共同支持无人车在部分可观测协作任务中的决策能力。策略网络的输入是无人车的局部观测、无人车上一时刻执行动作的one-hot编码(a_i^t-1)和无人车编号的one-hot编码(e_i)。在部分可观测的运动环境中,当前观测可能不足以判断当前状态,加入上一时刻的动作可帮助网络推理出更全面的状态。当前所有驱动无人车的智能体共享同一个策略网络,加入编号信息可以区分不同无人车,从而为不同无人车学习不同的策略行为,实现策略的个性化。策略网络的输入首先通过全连接层提取特征,经线性修正单元激活后输入门控循环单元以更新隐藏状态,从而捕捉序列中的时序信息。隐藏状态通过全连接层映射为各动作的动作值函数,输出动作值和更新后的隐藏状态。动作值函数向量通过softmax函数转换成所有动作的概率分布,表达式为

(20)${\mathit{\pi }}_{\mathit{t}}^{\mathit{i}}\left(\mathit{a}\right)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left[{\mathit{Q}}_{\mathit{t}}^{\mathit{i}}\right(\mathit{a}\left)\right]}{\sum _{\mathit{a}\mathit{\text{'}}\in {\mathit{A}}_{\mathit{t}}^{\mathit{i}}}\mathrm{e}\mathrm{x}\mathrm{p}\left[{\mathit{Q}}_{\mathit{t}}^{\mathit{i}}\right(\mathit{a}\mathit{\text{'}}\left)\right]}$

式(20)中:A_tⁱ为当前时刻可供无人车i选择的动作集合;Q_tⁱ(a)为无人车i在t时间步选择动作a的价值。

为了在训练期间促进探索,采用以下策略平滑方式构造最终的采样策略$\stackrel{\sim }{\mathit{\pi }}$(a|s),即

(21)$\stackrel{\sim }{\mathit{\pi }}\left(\mathit{a}\right|\mathit{s})=(1-\mathit{\varepsilon }\left)\mathit{\pi }\right(\mathit{a}\left|\mathit{s}\right)+\mathit{\varepsilon }\mathrm{ }\frac{1}{\left|\mathit{A}\right|}$

式(21)中:ε∈[0,1]为探索参数,控制策略的随机性;$\left|\mathit{A}\right|$为动作集合的总数; π(a|s)为原始softmax输出的动作概率;$\stackrel{\sim }{\mathit{\pi }}$(a|s)为带ε-softmax探索的最终策略分布,根据该分布通过采样选择无人车执行的动作。该方法在保留模型对选择优势动作偏好的同时,赋予了所有动作以最低的选择概率,有效地平衡了探索和利用。

3.3.2 评估网络结构设计

评估网络是一个集中式的动作价值函数估计器,它根据全局状态、无人车的局部观测、无人车的身份编码(one-hot形式)、所有无人车当前时刻和上一时刻的联合动作估计每辆无人车每个时间步的动作价值,如图5所示。全局状态由每辆无人车的绝对位置和速度状态以及追捕目标的位置组成。全局状态提供了完整的环境信息,局部观测用于保留个体行为的上下文,无人车编号区分多个共享参数的无人车驱动网络实例,而联合动作信息则帮助评估网络捕捉无人车之间的协作关系及其随时间的演化。评估网络采用三层前馈神经网络,首先输入经过一个全连接层映射至维度D_c的隐藏层表示,并使用线性修正单元激活函数进行非线性变换;该隐藏表示通过第二个维度为D_c的全连接层和非线性激活;最后通过输出维度为动作空间大小的线性层,生成当前状态下对所有动作的价值评估结果。

4 算法流程设计

CEL-COMA使用中心化训练,去中心化执行的范式引入了基于反事实基线的策略梯度估计,从而提高策略学习的稳定性和效率。算法流程按照经验采样、中心化评估网络训练、去中心化策略网络优化组成。

4.1 经验采样

首先初始化策略网络,策略网络中循环神经网络的隐藏状态、中心化评估网络和目标评估网络,控制每辆无人车根据当前策略网络和探索参数ε以贪婪策略选择动作执行。环境根据当前每辆无人车执行的动作、目标执行的动作和整体状态所处的围捕阶段反馈集合奖励和转移后的状态。据此控制每辆无人车与环境交互直到终止或达到最大回合步数。若交互数据未达到最大回合步数,对数据用零补齐,方便批量训练。以此方式收集每个时间步的局部观测、执行动作、全局奖励、全局动作和终止标志组成批量的训练经验数据。

4.2 中心化评估网络训练

双评估网络结构的设计是为了减缓价值学习中由于过估计带来的累计误差,从而稳定训练过程。从批量经验中提取序贯决策数据的当前时间步观测、全局状态、当前动作和上一步动作组成评估网络和目标评估网络的输入。通过评估网络和目标评估网络计算每辆无人车每个动作的价值和目标价值,并筛选出实际执行动作的价值。根据目标价值构造时间差分目标TD(λ)(temporal difference with eligibility trace λ)。TD(λ)结合了单步时间差分和多步时间差分,可以表述为多步回报的加权和,表达式为

(22)${\mathit{G}}_{\mathit{t}}^{\mathit{\lambda }}=(1-\mathit{\lambda })\stackrel{\mathit{\infty }}{\sum _{\mathit{n}=1}}{\mathit{\lambda }}^{\mathit{n}-1}\mathrm{ }{\mathit{G}}_{\mathit{t}}^{\left(\mathit{n}\right)}$

式(22)中:G_t⁽ⁿ⁾为从时间步t开始的n步回报;λ为权重参数,控制未来n步的权重,λ∈[0,1]。

目标评估网络的输出是下一个时间步价值估计Q(s_t₊₁,a_t₊₁),则单步回报的计算方式为

(23)${\mathit{G}}_{\mathit{t}}^{\left(1\right)}={\mathit{r}}_{\mathit{t}}+\mathit{\gamma }\mathit{Q}({\mathit{s}}_{\mathit{t}+1},{\mathit{a}}_{\mathit{t}+1})$

多步回报可以通过迭代方式计算,即

(24)${\mathit{G}}_{\mathit{t}}^{\left(\mathit{n}\right)}={\mathit{r}}_{\mathit{t}}+\mathit{\gamma }\mathrm{ }{\mathit{G}}_{\mathit{t}+1}^{(\mathit{n}-1)}$

TD(λ)计算方式为

(25)${\mathit{G}}_{\mathit{t}}^{\mathit{\lambda }}=(1-\mathit{\lambda })\stackrel{\mathit{T}-\mathit{t}}{\sum _{\mathit{n}=1}}$λⁿ^-1G_t⁽ⁿ⁾+λ^T^-^tG_t^(T-t+1)

目标值TD(λ)的计算过程中考虑了不同回报的加权平均,有效结合了长短期信息,从而提高了值函数估计的准确性和稳定性。考虑训练数据中因轨迹不同而产生的填充,引入了掩码机制以剔除无效数据对时间差分误差的影响。时间差分误差定义为

(26)${\mathit{\delta }}_{\mathit{t}}={\mathit{G}}_{\mathit{t}}^{\mathit{\lambda }}-\mathit{Q}({\mathit{s}}_{\mathit{t}},{\mathit{a}}_{\mathit{t}})$

损失函数加权后的均分时间差分误差为

(27)$\mathcal{L}=\frac{\sum_{t} \operatorname{mask}_{t} \delta_{t}^{2}}{\sum_{t} \operatorname{mask}_{t}}$

式(27)中:t=0,1,2,…,T-1,表示对一条轨迹或一个训练序列中的所有有效时间步进行加权平均;T为轨迹或序列长度;mask_t用于标记第t个时间步的数据是否有效。

采用上述损失函数对中心化的评估网络进行更新。为提升训练的稳定性,在反向传播过程中引入了梯度裁剪,以防止梯度爆炸。目标评估网络的更新采用软更新策略,即每次更新时将当前评估网络的参数以一定比例缓慢迁移到目标网络中,从而减缓目标值的波动,提升训练过程的平稳性和样本利用效率。

4.3 去中心化策略网络优化

使用中心化评估网络计算每辆无人车选择动作a对应的价值Q(s,a),使用策略网络计算当前策略下该动作对应的概率π(a|s)。

计算当前策略在该全局状态下的反事实基线值,作为所有动作值函数与对应概率的加权平均,表达式为

(28)$\mathit{b}\left(\mathit{s}\right)=\stackrel{\left|\mathit{A}\right|}{\sum _{\mathit{j}=1}}\mathit{\pi }\left({\mathit{a}}_{\mathit{j}}\right|\mathit{s}\left)\mathit{Q}\right(\mathit{s},{\mathit{a}}_{\mathit{j}})$

式(28)中:A为动作空间;$\left|\mathit{A}\right|$为可选动作的数量;a_j为动作空间中的第j个动作。因此,式(28)表示对所有可选动作的动作价值函数Q(s,a_j)按策略概率π(a_j|s)进行加权求和。

优势函数定义为当前选择动作与基线之间的差值,表达式为

(29)A(s,a)=Q(s,a)-b(s)

策略网络损失函数构造为带掩码的优势加权的负对数概率之和,表达式为

(30)$\mathcal{L}_{\text {policy }}=-\frac{1}{N} \sum_{i=1}^{N} I_{i} A\left(s_{i}, a_{i}\right) \ln \left[\pi\left(a_{i} \mid s_{i}\right)\right]$

式(30)中:I_i为经验掩码,用于剔除无效补齐经验的影响;N为有效时间步数量。根据上述损失函数,使用梯度裁剪更新策略网络的参数。

综上,CEL-COMA 算法首先通过环境交互采集多无人车协同围捕过程中的序贯经验数据,然后利用中心化评估网络构造时间差分目标并更新价值函数,最后基于反事实基线计算优势函数并优化去中心化策略网络。为更加清晰地描述算法的整体训练过程,将CEL-COMA的多无人车协同围捕策略训练算法流程总结如表1 所示。

5 实验和结果分析

5.1 仿真环境

为验证所提出算法在多智能体协同任务中的有效性,基于Unity引擎构建了一个三维仿真环境,用于模拟多辆无人车协同围捕目标的任务场景。该图形引擎具有良好的可视化效果和高度可定制性,能够真实模拟无人车在复杂环境下的感知、决策和动作执行过程。在该环境中,围捕无人车基于局部观测信息通过离散控制指令移动。任务场景为一个二维有限正方形区域,其中参与围捕的无人车数量为3,目标数量为1。为了增强策略的泛化性,在回合开始时围捕无人车以随机位置在场景中生成,但生成位置不会与障碍物发生碰撞。围捕目标和目标理想位置同时在场景中随机生成,目标移动的策略是以固有速度向目标理想位置移动,当到达目标理想位置区域,随机生成下一个目标理想位置,目标规划路径不会与场景中的障碍物发生碰撞。随机位置可以使无人车集群以更快、更随机的方式复现课程学习中的各个阶段,加速无人车围捕策略的学习过程。

任务仿真的步长设定为0.02 s,每回合最大步数为25 000步。围捕任务区域为25 m×25 m的正方形,每辆无人车的围捕区域半径为8 m,固定障碍物的半径为1.5 m。围捕无人车的移动线速度是1 m/s与目标无人车一致,旋转角速度是200 (°)/s。当围捕无人车触碰到障碍物、任务边界或是完成围捕目标任务都会触发回合结束。训练过程中,采用固定学习率为 0.000 3 的策略梯度优化器,批次大小为1 024,经验缓冲区大小为 10 240,折扣因子设为0.99,GAE 衰减系数λ设为0.95,β设置为0.01 以控制熵正则项。

5.2 结果分析

基于上述仿真环境与参数配置,分别采用COMA、IPPO 和 CEL-COMA 3种算法对多无人车协同围捕机动决策模型进行了训练,训练过程中获得的奖励曲线如图6所示。图中横坐标表示智能体与环境交互的累计步数,纵坐标表示在每 60 000 步记录一次的频率下,整个围捕无人车组的平均总回报。从曲线对比结果可以看出,仅有 CEL-COMA 算法实现了稳定收敛,说明其能够有效支持各无人车在不同围捕阶段完成子任务策略的学习,并最终协同实现对目标的成功围捕。

为了评估多无人车协同围捕策略的训练效果,分别在训练过程中达到第24万步、第60万步、第150万步和第250万步时,对仿真结果进行了可视化分析,结果如图7所示。图7(a)展示的是在第24万步时的仿真场景。此阶段,各无人车的决策模型仍处于初始探索阶段,行为表现较为随机,尚未形成有效的目标跟踪与协同策略。当训练进行到第60万步时,如图7(b)所示,无人车已初步具备目标跟踪能力,能够持续靠近目标。然而,在面对复杂环境中的障碍物时,自主避障能力仍较为薄弱,常出现碰撞或路径规划失败的情况。随着训练的深入,在第150万步时,如图7(c)所示,无人车不仅能够保持对目标的稳定跟踪,还开始展现出变换包围队形的趋势,协同行为逐渐显现,部分场景中已可实现围捕任务的完成。最终,在训练达到第250万步时,如图7(d)所示,无人车个体表现出较强的自主避障能力和良好的协同围捕策略。整体围捕成功率趋于稳定,系统表现出较高的智能体间协同效率和任务完成度,验证了所提出方法的有效性和鲁棒性。

为进一步验证无人车围捕机动策略模型在应对不同机动能力目标时的有效性,改变目标的逃逸速度进行测试。具体而言,将目标的行驶速度设置为围捕无人车的0.5、0.75、1、1.25和1.5倍。将训练好的策略模型分别加载到对应的任务场景中,并分别进行1 000轮测试,围捕成功率如表2所示。可以看出,随着目标机动能力的不断增强,基于CEL-COMA的围捕成功率呈现下降趋势。然而,即使在目标最大速度是无人车1.5倍的情况下,围捕成功率仍大于50%。表明,本文构建的去中心化部分可观测模型能够驱动无人车感知随机目标的动态趋势,执行的协同围捕和自主避障策略具有良好的泛化性。

6 结论

针对多无人车协同围捕问题,提出了一种基于课程学习的反事实策略梯度去中心化控制算法。基于Unity引擎构建了多无人车协同围捕任务的三维仿真环境,通过离散控制指令和局部观测信息模拟了无人车在复杂动态场景下的感知、决策与协同行为。通过对比实验验证了其在策略学习稳定性、协同效率和泛化能力上的优势。仿真实验结果如下。

(1)算法收敛性与协同效能:相较于COMA和IPPO算法,CEL-COMA能够实现稳定收敛,并在训练过程中逐步形成有效的目标跟踪、障碍规避及动态包围策略。训练至250万步时,无人车组展现出高协同效率,围捕成功率显著提升。

(2)动态环境适应性:通过随机初始化目标位置和目标路径,CEL-COMA驱动的无人车能够适应复杂场景变化,自主调整队形与路径规划,验证了算法在部分可观测条件下的鲁棒性。

(3)泛化能力验证:在不同目标机动能力(0.5~1.5倍围捕无人车速度)的测试中,CEL-COMA策略的围捕成功率始终保持50%以上,表明模型具备良好的鲁棒性和泛化能力。

本文研究为多智能体协同决策提供了可扩展的仿真验证框架与算法解决方案,未来可进一步探索异构智能体协同、多任务联合优化等方向,以增强系统在更复杂战场或工业场景中的应用潜力。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	王晓辉, 陈思彤. 基于BIM的机器人定位导航研究综述[J]. 科学技术与工程, 2025, 25(21): 8761-8772.

[2]	Wang Xiaohui, Chen Sitong. Review of robot localization and navigation research based on BIM[J]. Science Technology and Engineering, 2025, 25(21): 8761-8772.

[3]	Ab Wahab M N, Nazir A, Khalil A, et al. Improved genetic algorithm for mobile robot path planning in static environments[J]. Expert Systems with Applications, 2024, 249: 123762.

[4]	Zhu C, Huang B, Lu Y, et al. Distributed affine formation maneuver control of autonomous surface vehicles with event-triggered data transmission mechanism[J]. IEEE Transactions on Control Systems Technology, 2023, 31: 1006-1017.

[5]	Zhang H, Guo J, Luo G, et al. Emerging trends in intelligent vehicles: the IEEE TIV perspective[J]. IEEE Transactions on Intelligent Vehicles, 2023, 8: 3983-3995.

[6]	熊骏, 张文博, 熊智, 等. 多智能体协同路径规划综述[J]. 系统仿真学报, 2025, 37(12): 3033-3049.

[7]	Xiong Jun, Zhang Wenbo, Xiong Zhi, et al. Survey of cooperative multi-agent path finding[J]. Journal of System Simulation, 2025, 37(12): 3033-3049.

[8]	Cai W Y, Chen H, Zhang M Y. A survey on collaborative hunting with robotic swarm: key technologies and application scenarios[J]. Neurocomputing, 2024, 598: 128008.

[9]	黄湘松, 王梦宇, 潘大鹏. 基于对抗强化学习的无人机逃离路径规划方法[J]. 航空学报, 2025, 46(17): 331637.

[10]	Huang Xiangsong, Wang Mengyu, Pan Dapeng, et al. Adversarial reinforcement learning-based UAV escape path planning method[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46(17): 331637.

[11]	Li Y, Zhao J Y, Chen Z H, et al. A robot path planning method based on improved genetic algorithm and improved dynamic window approach[J]. Sustainability, 2023, 15(5): 4656.

[12]	Liu Y, Zong C, Dai C, et al. Behavioral decision-making approach for vehicle platoon control: two noncooperative game models[J]. IEEE Transactions on Transportation Electrification, 2023, 9: 4626-4638.

[13]	Wei W, Wang J, Du J, et al. Differential game-based deep reinforcement learning in underwater target hunting task[J]. IEEE Transactions on Neural Networks and Learning Systems, 2023, 36(1): 462-474.

[14]	Gao Y, Bai C, Zhang L, et al. Multi-UAV cooperative target encirclement within an annular virtual tube[J]. Aerospace Science and Technology, 2022, 128: 107800.

[15]	Sun W, Tsiotras P, Lolla T, et al. Multiple-pursuer/one-evader pursuit-evasion game in dynamic flowfields[J]. Journal of Guidance, Control, and Dynamics, 2017, 40(7): 1627-1637.

[16]	Liu L X, Wang X, Yang X, et al. Path planning techniques for mobile robots: review and prospect[J]. Expert Systems with Applications, 2023, 227: 120254.

[17]	江波, 胡潇瀚, 郑远, 等. 基于强化学习的局部高密度无人机避撞决策[J]. 科学技术与工程, 2025, 25(30): 13167-13178.

[18]	Jiang Bo, Hu Xiaohan, Zheng Yuan, et al. Local high-density UAV collision avoidance decision based on reinforcement learning[J]. Science Technology and Engineering, 2025, 25(30): 13167-13178.

[19]	Ecoffet A, Huizinga J, Lehman J, et al. First return, then explore[J]. Nature 2021, 590(7847): 580-586.

[20]	Vinyals O, Babuschkin I, Czarnecki WM, et al. Grandmaster level in StarCraft II using multi-agent reinforcement learning[J]. Nature, 2019, 575(7782): 350-354.

[21]	Silver D, Hubert T, Schrittwieser J, et al. A general reinforcement learning algorithm that masters chess, shogi, and Go through self-play[J]. Science, 2018, 362(6419): 1140-1144.

[22]	Baker B, Kanitscheider I, Markov T, et al. Emergent tool use from multi-agentautocurricula[J]. arXiv prePrint, arXiv: 1909. 07528, 2019.

[23]	潘云伟, 李敏, 曾祥光, 等. 基于人工势场和改进强化学习的自主式水下潜航器避障和航迹规划[J]. 兵工学报, 2025, 46(4): 72-83.

[24]	Pan Yunwei, Li Min, Zeng Xiangguang, et al. AUV obstacle avoidance and path planning based on artificial potential field and improved reinforcement learning[J]. Acta Armamentarii, 2025, 46(4): 72-83.

[25]	Nolan B, Jakob N F, Sarath C, et al. The Hanabi challenge: a new frontier for AI research[J]. Artificial Intelligence, 2020, 280: 103216.

[26]	缪天越, 王璐, 何家孝, 等. 融合强化学习的工业机器人数字孪生仿真方法研究[J]. 系统仿真学报, 2024, 36(12): 2971-2983.

[27]	Miao Tianyue, Wang Lu, He Jiaxiao, et al. Research on digital twin simulation method of industrial robot integrated with reinforcement learning[J]. Journal of System Simulation, 2024, 36(12): 2971-2983.

[28]	Wang T, Gupta T, Mahajan A, et al. RODE: learning roles to decompose multi-agent tasks[J]. arXiv prePrint, arXiv: 2010. 01523, 2020.

[29]	Xia J W, Luo Y S, Liu Z K, et al. Cooperative multitarget hunting by unmanned surface vehicles based on multi-agent reinforcement learning[J]. Defence Technology, 2023, 29: 80-94.

[30]	傅妍芳, 雷凯麟, 魏佳宁, 等. 基于演员-评论家框架的层次化多智能体协同决策方法[J]. 兵工学报, 2024, 45(10): 3385-3396.

[31]	Fu Yanfang, Lei Kailin, Wei Jianing, et al. A hierarchical multi-agent collaborative decision-making method based on the actor-critic framework[J]. Acta Armamentarii, 2024, 45(10): 3385-3396.

[32]	Cao X, Li M Y, Tao Y T, et al. HMA-SAR: multi-agent search and rescue for unknown located dynamic targets in completely unknown environments[J]. IEEE Robotics and Automation Letters, 2024, 9(6): 5567-5574.

[33]	Zhang K, Yang Z, Basar T. Multi-agent reinforcement learning: a selective overview of theories and algorithms[J]. Handbook of Reinforcement Learning and Control, 2021, 325: 321-384.

[34]	Chen L, Wang Y N, Mo Y, et al. Multiagent path finding using deep reinforcement learning coupled with hot supervision contrastive loss[J]. IEEE Transactions on Industrial Electronics, 2023, 70(7): 7032-7040.

[35]	Skrynnik A, Andreychuk A, Nesterova M, et al. Learn to follow: decentralized lifelong multi-agent path finding via planning and learning[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver: AAAI, 2024: 17541-17549.

基金资助

国家自然科学基金(62373201)

国家自然科学基金(61973173)

深圳市基础研究面上项目(JCYJ20250604185807010)

PDF (6070KB)

访问

被引

详细

导航

Received	Published	Revised
2025-07-21	2026-09-08	2026-02-06
Online Date
2026-09-18

摘要