航空、航天自适应PPO有-无人机编队保持算法

牛双诚 ,  陶生金

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (20) :8815-8824

PDF (8150KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (20) :8815-8824 DOI: 10.12404/j.issn.1671-1815.2506338
航空、航天

航空、航天自适应PPO有-无人机编队保持算法

作者信息 +

Adaptive PPO Algorithm for Manned-unmanned Aerial Vehicle Formation Keeping

Author information +
文章历史 +

摘要

针对有人-无人机协同作战中高速无人机 (unmanned aerial vehicles,UAVs)在未知动态环境下难以保持大间隔编队的问题,提出一种基于任务完成度的自适应近端策略优化算法。通过构建仅依赖相对状态信息的观测空间,并设计基于任务完成度的裁剪系数动态调整机制,结合分段轨迹截断方法,有效提升了算法收敛速度与控制稳定性。仿真结果表明,相比基准近端策略优化算法,所提算法在收敛效率与跟踪精度方面均有显著提升,在有人机随机机动、航向突变等复杂场景下仍能保持精确队形,验证了其在动态作战环境中的有效性与鲁棒性,为有人-无人机编队保持提供了一种高效的解决方案。

Abstract

An adaptive proximal policy optimization algorithm based on mission-completion degree was proposed to address the challenge of maintaining large-separation formations for high-speed unmanned aerial vehicles (UAVs) in unknown and dynamic environments during manned-unmanned cooperative operations. An observation space that depended solely on relative state information was constructed, and a clipping-coefficient tuning mechanism driven by mission completion degree was devised. A segmented trajectory-truncation method was incorporated to accelerate convergence and enhance control stability. The simulation results indicate that relative to the baseline proximal policy optimization algorithm, marked improvements in convergence efficiency and tracking accuracy are achieved. Accurate formation is preserved even when the manned aircraft performs random maneuvers or abrupt heading changes, so the effectiveness and robustness of the approach in dynamic combat scenarios are validated, and an efficient solution for manned-unmanned formation keeping is provided.

Graphical abstract

关键词

协同作战 / 任务完成度 / 自适应近端策略优化 / 分段轨迹 / 编队保持

Key words

cooperative operations / mission completion / adaptive proximal policy optimization / staged trajectory / formation keeping

引用本文

引用格式 ▾
牛双诚, 陶生金. 航空、航天自适应PPO有-无人机编队保持算法[J]. 科学技术与工程, 2026, 26(20): 8815-8824 DOI:10.12404/j.issn.1671-1815.2506338
NIU Shuang-cheng, TAO Sheng-jin. Adaptive PPO Algorithm for Manned-unmanned Aerial Vehicle Formation Keeping[J]. Science Technology and Engineering, 2026, 26(20): 8815-8824 DOI:10.12404/j.issn.1671-1815.2506338

登录浏览全文

4963

注册一个新账户 忘记密码

有人-无人机协同作战[1-4]正日益成为未来战场上夺取制空权、执行复杂作战任务的典型样式。在此模式下,有人机作为指挥与决策核心,无人机作为忠诚僚机,通过高效协同可极大拓展作战半径、增强战场态势感知并形成战术突袭优势。然而,支撑此协同样式的战场环境却呈现出高度动态化、信息高度不完备与边界高度不确定的复杂特征[5-7]。这些特征为无人机在编队中的位置保持带来了严峻挑战:首先,敌方威胁与突发障碍导致有人机的飞行路径具备强随机性与不可预测性,要求僚机必须具备在线快速重规划能力;其次,全局信息的缺失使得无人机难以依赖预设的全局路径,必须仅凭与长机的相对状态进行局部自主决策;最后,动态环境中的诸多不确定性极易导致传统基于模型的控制方法性能衰退,对算法的自适应性与鲁棒性提出了极高要求。
当前,无人机编队控制研究主要基于传统控制方法[8-9]、一致性算法[10-15]和深度强化学习(deep reinforcement learning,DRL)算法[16-21]。传统跟踪控制算法(如模型预测控制)通常严重依赖精确的预规划路径和环境模型,在动态变化、信息受限的复杂环境中适应性不足[22-23]。DRL因其强大的环境感知和决策能力,在解决此类问题上展现出巨大潜力。已有研究将 DRL 应用于无人机目标追踪与避障[24]、姿态控制[25]、目标车辆跟随[26]以及子母无人机编队控制[27]和复杂环境下的编队队形调整[28]等任务。付宇鹏等[25]在针对固定翼飞机编队姿态控制中纯强化学习效率低、样本不安全的问题,采用了模仿加学习的策略,首先根据真实数据给出合理的策略,然后在此基础上进行训练,大幅提升样本效率。刘欣等[26]针对地面目标运动未知且外观不定的问题,把“视觉跟踪网络”与“深度确定性策略梯度(deep deterministic policy gradient, DDPG)运动决策”端到端联合,可自然处理目标外观与运动突变。王昱等[28]针对纯虚拟结构法对模型误差和外界扰动鲁棒性差而纯强化学习难以保证编队几何精度的问题,提出了基于虚拟结构的强化学习,以虚拟结构提供理想轨迹,强化学习仅学习残差来修正编队位置,既提高泛化能力又保留编队控制效果,但虚拟结构参考需提前规划,不支持任意松散队形。现有基于强化学习实现编队控制的工作仍存在一定局限:一是多数研究侧重于静态路径或低速目标的跟随,而对于高速目标的研究较少;二是针对无人机在未知、动态的有人机飞行路径下实现高精度、实时编队位置保持的研究相对较少;三是目前大多数编队研究聚焦在紧密编队,大间隔编队控制研究较少,且算法在收敛速度、稳定性及泛化性方面仍有提升空间。
为克服高速无人机面对未知动态环境与大间隔编队保持的双重挑战,聚焦于有人机在驾驶员操纵下执行未知机动、无人机需自主保持其右侧固定编队位置这一典型任务场景。在现有近端策略优化算法(proximal policy optimization,PPO)算法研究基础上,提出三项核心改进:①设计仅依赖相对状态空间(相对距离和相对速度)的观测表示,消除对全局信息的依赖,增强策略泛化性;②提出基于任务完成度的动态裁剪系数调整机制,根据编队保持效果自适应优化策略更新过程;③引入分段轨迹截断设计,提升学习效率与稳定性。为深度强化学习在复杂动态环境下有人-无人机实时、自主编队保持中的应用提供了有效解决方案。

1 环境场景描述及无人机运动学建模

1.1 任务背景与态势

所研究的队形保持问题是针对有人机带领无人机飞行,飞行过程中无人机由有人机飞行员控制,以减轻飞行员的操作压力及工作量为目的,让无人机具备一定的自主飞行能力。考虑到有人机飞行路径不确定,因此主要关注如何利用强化学习算法让无人机在环境不确定的情况下动态保持在有人机特定位置上跟随有人机前进。

为加强在海域的侦察和巡逻力量,我方想派遣有人机-无人机编队抵达某区域展开任务。并且我方在巡逻时可掌握整体任务态势。有人机和无人机从某处起飞执行巡逻等任务,考虑到长时间飞行及操作无人机飞行会极大增加飞行员的疲劳程度,因此飞行过程中让无人机自主飞行,使无人机始终保持在有人机右侧3 km处。针对以上问题,以有人机-无人机编队飞行作为研究背景,令无人机自主飞行保持在有人机编队位置上作为应用场景。

1.2 问题描述

为了便于实际问题的分析与建模求解,对上述场景进行抽象和简化,做出以下假设:①假设有人机、无人机定高飞行;②假设无人机保持在理想位置的500 m之内即为保持队形;③假设无人机由切向和法向加速度来控制速度变化;④假设无人机可以实时感知目标的运动状态以及自身的运动状态。

在一个固定编队情况下,令无人机B始终位于有人机右方3 km处,编队方式如图1所示。在这个环境场景中假设有人机由驾驶员操纵飞机定高飞行,无人机与有人机在同一水平面保持该队形,不考虑高度因素,且在该任务场景中有人机无人机的位置均采用连续的空间位置坐标表示。

有人机A由驾驶员操纵前进,而无人僚机基于强化学习算法跟随长机的运动并保持固定队形前进。投放无人机B进入指定高度以合适速度自主飞行等待长机进入指定高度后发出指令,然后无人机与长机保持原定队形。对有人机、无人机位置和状态赋予初值,并根据先验知识在行动空间中设定一些基本动作,由基本动作作为初始基向量表征行动空间,开始强化学习训练后,无人机根据当前策略在行动空间中选择动作并执行,有人机根据驾驶员运动输出下一时刻的状态(位置、速度),形成新的态势信息,优势函数模型根据无人机和有人机的新型态势对于上一次选择执行的动作输出一个回报值,对该动作的优劣进行评价,通过回报值的设置,反映出无人机机动决策的目标,引导无人机不断调整状态进入优势。

任务场景中是针对有人机以100 m/s的速度定高飞行情况,且不考虑有人机在运动过程中出现障碍等情况,有人机按照飞行员操作进行飞行,无人机的任务是进入队形并保持队形飞行,当无人机跟随有人机运动满足一定时间要求后,视为无人机完成队形保持任务。

在上述假设成立前提下,设定有人机A由飞行员驾驶,无人机B位于有人机A的正右方3 km的某一位置上,无人机的任务是保持在有人机正右侧3 km处跟随有人机运动,如图1所示。

任务场景中针对有人机带领无人机飞行,无人机的任务是在接到自主飞行命令时可以自主保持在有人机右侧3 km处跟随有人机运动,有人机飞行策略不确定,因此要求无人机能够根据有人机的相对位置调整自身飞行策略,完成对有人机的跟随任务。

1.3 编队点位置分析

在编队飞行中,要求无人机始终在有人机右侧3 km处,如图2所示,故无人机坐标位置、速度方向满足:

$\left\{\begin{array}{l}{x}_{0}={x}_{1}+3\mathrm{ }000\mathrm{s}\mathrm{i}\mathrm{n}\beta \\ {y}_{0}={y}_{1}-3\mathrm{ }000\mathrm{c}\mathrm{o}\mathrm{s}\beta \\ \alpha =\beta \end{array}\right.$

式(1)中:x0、y0分别为无人僚机横、纵坐标位置;x1、y1分别为有人机横、纵坐标位置;α为无人僚机航向角;β为有人机航向角。

1.4 无人机运动学建模

为了方便无人机运动分析,将无人机运动当成质点运动,并使用切向加速度和法向加速度来控制无人机的运动状态,如图3所示。

无人机的质点运动方程表示为

$\left\{\begin{array}{l}{v}_{x}^{t+1}={v}_{x}^{t}+{a}_{1}\mathrm{c}\mathrm{o}\mathrm{s}\alpha \mathrm{d}t+{a}_{2}\mathrm{s}\mathrm{i}\mathrm{n}\alpha \mathrm{d}t\\ {v}_{y}^{t+1}={v}_{y}^{t}+{a}_{1}\mathrm{s}\mathrm{i}\mathrm{n}\alpha \mathrm{d}t+{a}_{2}\mathrm{c}\mathrm{o}\mathrm{s}\alpha \mathrm{d}t\end{array}\right.$
$\left\{\begin{array}{l}\mathrm{c}\mathrm{o}\mathrm{s}\alpha ={v}_{x}/\sqrt{{v}_{x}^{2}+{v}_{y}^{2}}\\ \mathrm{s}\mathrm{i}\mathrm{n}\alpha ={v}_{y}/\sqrt{{v}_{x}^{2}+{v}_{y}^{2}}\end{array}\right.$
$\left\{\begin{array}{l}{x}^{t+1}={x}^{t}+{v}_{x}^{t}\mathrm{d}t\\ {y}^{t+1}={y}^{t}+{v}_{y}^{t}\mathrm{d}t\end{array}\right.$

式(2)中:${v}_{x}^{t}$、${v}_{y}^{t}$分别为t时刻x、y方向上的速度分量;a1、a2分别为纵向、法向加速度;dt为时间间隔。

根据式(1)~式(3)建立的无人机运动方程可知,可以通过控制两个方向的加速度来控制无人机的运动状态,如图3所示。故强化学习的输出为两个方向的加速度,考虑到无人机实际控制情况,对两个方向加速度加以下约束[式(5)、式(6)],同时限制无人机的速度。

$\left\{\begin{array}{l}-10\le {a}_{1}\le 10\\ -10\le {a}_{2}\le 10\end{array}\right.$
$\left\{\begin{array}{l}50\le v\le 150\\ v=\sqrt{{v}_{x}^{2}+{v}_{y}^{2}}\end{array}\right.$

式(6)中:v为无人机的飞行速度。

2 无人机运动决策模型

2.1 PPO算法

强化学习算法主要由五部分组成:智能体、环境、回报R、状态S、动作A。在某一时刻智能体在状态St的情况下采取动作At与环境进行交互,得到环境的反馈记作回报Rt,而强化学习就是通过不断地交互修改自身参数来得到回报值最大的动作A,如图4所示。

强化学习的学习过程强化学习算法的学习分为基于值的和基于策略的。基于值的强化学习方法主要关注的是状态值函数或动作值函数,其核心目标是通过学习这些值函数来指导智能体的行为。状态值函数表示在某个状态下采取最优策略所能获得的期望累积奖励,而动作值函数则表示在某个状态下采取某个动作所能获得的期望累积奖励。与基于值的方法不同,基于策略的强化学习方法就是不断地优化策略π来找到收益最大的策略π*,这种方法的目标是通过调整策略参数,使得智能体在与环境的交互过程中获得更高的累积奖励,其中策略梯度方法是基于策略的强化学习的核心。其基本思想是通过计算策略函数的梯度,沿着梯度方向更新策略参数,策略梯度的基本更新公式为

$ \theta_{\text {new }} \leftarrow \theta_{\text {old }}+\beta \nabla_{\theta_{\text {new }}} J\left(\theta_{\text {new }}\right)$

式(7)中:θnew为新的策略参数;θold为旧的策略参数;$ \nabla_{\theta_{\text {new }}}$为目标函数关于θnew的梯度;J为目标函数(这里为策略的期望汇报)。

PPO是一种基于策略梯度的强化学习算法,旨在提高策略优化的稳定性和效率。PPO的目标是通过优化策略网络来最大化累积奖励,其核心思想是通过裁剪机制来限制策略更新的幅度,避免因更新幅度过大而导致训练过程不稳定。PPO算法首先使用Actor网络与环境交互采样,然后使用网络评估状态值并计算优势函数,之后根据PPO裁剪目标优化策略,通过限制策略更新幅度,最后重复采样和更新过程,以此来寻找更好的策略,其原理如图5所示。

clip(rθ,1-ε,1+ε)Aπθ(s,a)

式(8)中:clip为裁剪函数;rθ为重要性采样比率,表示新旧策略在此状态下s采取动作a的概率之比;ε为裁剪系数,用来限制每次策略更新的幅度;Aπθ为优势函数在此策略下的在状态s上采取动作a相对于该状态平均回报的“优势”程度;s为状态;a为动作。

2.2 基于轨迹长度的自适应PPO算法

智能体对未知动作的探索可以促进智能体更快地探索到最优解。在训练初期,跟随效果比较差,回合轨迹较短,要求智能体以较高的裁剪率更新策略,随着训练的进行,智能体慢慢地改善策略,回合轨迹变长,适当地减小裁剪率,使其可以在较好策略小范围内更新,一方面增加算法的稳定性,另一方面提高算法的收敛性。因此自适应PPO算法采用的是变ε算法策略,即ε随着回合轨迹的长度的增加而缓慢减小。ε的取值遵循以下原则。

ε=clip(0.4-N/500,0.08,0.4)

式(9)中:clip(x,a,b)为裁剪函数,将x硬性限制在a~b;N为本轮回合的轨迹长度,并将计算后的ε通过限制在0.08~0.4,防止策略变化太大以及策略不更新的情况,这种动态设置裁剪系数的做法有效解决了算法在探索与利用的平衡问题。

2.3 轨迹截断设计

在PPO算法中,一个回合的轨迹如果太长,会导致数据之间的相关性过高。PPO算法的更新依赖于轨迹数据计算策略梯度,当轨迹过长时,旧策略收集的数据可能会不符合当前策略的状态分布,从而在更新过程中引入不准确的梯度估计。其次在计算广义优势函数时如果轨迹太长会增加计算复杂,而且轨迹的这些数据(st,at,rt,st+1,done)都需要储存,分别表示t时刻的状态、动作、奖励值、执行动作后的状态、终止信号。轨迹越长,数据越多,在计算策略更新时,这些大量的数据会导致计算资源消耗巨大。因此在处理长轨迹问题上采取式(10)所示的设计。

done1=$\left\{\begin{array}{l}\mathrm{l}\mathrm{e}\mathrm{n}\left(\mathrm{t}\mathrm{r}\mathrm{a}\right)\mathrm{\%}400==0\\ \mathrm{d}\mathrm{o}\mathrm{n}\mathrm{e}\mathrm{ }\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{ }\mathrm{l}\mathrm{e}\mathrm{n}\left(\mathrm{t}\mathrm{r}\mathrm{a}\right)>64\end{array}\right.$

式(8)中:len为长度;tra为轨迹;done表示是否终止任务;done1为真表示更新网络,当回合轨迹达到400时就会更新一次网络,并将轨迹缓存区清零,以此保证每次更新网络的轨迹不超过400,若本回合轨迹长度不到400就终止任务;则判断轨迹长度是否大于64,若满足条件,则轨迹数据可用来更新,以此避免策略不更新和数据不足的情况。

2.4 控制器设计

基于PPO算法的无人机自适应调整自身状态控制器设计,核心是通过训练智能体的神经网络,使其能够根据自身与有人机的相对状态来输出价值最高的动作,以此来调整无人机自身状态,从而实现编队保持。具体设计包括:设计状态空间、动作空间、奖励函数。

(1)状态空间设计。状态空间包含了有人机与无人机的状态信息,其中包括有人机的位置信息、速度信息sl=(x1,y1,v1,β),无人机的位置信息、速度信息sf=(x0,y0,v0,α),如图6所示。

为了降低了对环境信息的要求及计算复杂度,提高收敛速度和算法的泛化性,因此通过建立基于相对距离和相对速度的状态空间,使得控制输入不依赖于全局信息,故状态空间设计为

s=$\left(\frac{{x}_{1}-{x}_{0}-d\mathrm{s}\mathrm{i}\mathrm{n}\beta }{X},\frac{{y}_{1}-{y}_{0}+d\mathrm{c}\mathrm{o}\mathrm{s}\beta }{Y},\frac{{v}_{1}-{v}_{0}}{V},\frac{\beta -\alpha }{\pi }\right)$

式(11)中:X、Y=500,V=100,d=3 000为归一化系数。

(2)动作空间设计。根据无人机运动的控制模型,通过控制输入(a1,a2)的大小来控制无人机的运动状态因为PPO算法可以用来处理连续动作空间,故(a1,a2)是满足式(4)的任意数值。

2.5 奖励设计

智能体能否有效地学习并做出合理的动作取决于奖励的设计,合理有效的奖励函数能够让智能体更快更有效地学习到好的策略,提高算法的收敛性。在编队保持问题中常规的奖励设计是一种稀疏奖励,它是指在智能体成功完成任务时给予正向奖励,否则给出处罚(负的奖励)。因此稀疏奖励存在无法高效合理地引导智能体在追踪过程中的动作中学习,需要跟随者不断探索环境,直至获得正向奖励时追踪者才能得到有效更新,这不仅导致学习效率降低,而且极易收敛至局部最优解,甚至对于复杂环境,智能体由于难以探索到目标状态而导致算法无法收敛。因此,需要另外设计一种连续奖励函数,不断引导跟随者保持队形靠近,在此称为保持引导奖励函数。因此设计以下3种奖励:终止奖励,保持引导奖励、速度方向奖励设计如下,并将奖励归一化。

终止奖励函数r1可表示为

r1=$\left\{\begin{array}{ll}0,& \mathrm{任}\mathrm{务}\mathrm{中}\\ R,& \mathrm{任}\mathrm{务}\mathrm{成}\mathrm{功}\\ -R,& \mathrm{任}\mathrm{务}\mathrm{失}\mathrm{败}\end{array}\right.$

式(12)中:R=10,表示任务成功时给予的正向奖励,任务失败则给出负向惩罚,若是距离超出200 m则视为失败,若能保持2 000个采样步视为任务成功。

保持引导奖励r2可表示为

$\left\{\begin{array}{l}{r}_{2}={r}_{x}+{r}_{y}\\ {r}_{x}={k}_{1}\left|{x}_{lt}-{x}_{ft}-3\mathrm{ }000\mathrm{s}\mathrm{i}\mathrm{n}{\varphi }_{t}\right|\\ {r}_{y}={k}_{2}\left|{y}_{lt}-{y}_{ft}+3\mathrm{ }000\mathrm{c}\mathrm{o}\mathrm{s}{\varphi }_{t}\right|\end{array}\right.$

式(13)中:(xlt,ylt)和(xft,yft)分别为这一时刻无人机与有人机x、y方向的位置;rx、ry分别为x、y方向的奖励;ϕt为t时刻有人机相对于无人机的方位角;k1=k2=-1/200用来平衡各项奖励之间的权重,当差值越小时奖励越大(惩罚越小),动作越好。

速度方向奖励函数r3可表示为

r3=k3$\left|{\varphi }_{f}-{\varphi }_{l}\right|$

式(14)中:k3=-1/π,用来平衡各个奖励之间的权重,并且保证速度方向差值越小,奖励越大;ϕf为无人机的速度方向;ϕl为无人机速度方向。

综合上述3种奖励,并且考虑到保持队形越久越好,故每一时间步都有固定的奖励,最终每步的奖励函数可表示为

r=(r1+r2+r3+3)/3

3 试验与结果

3.1 程序实现

所提出的基于任务完成度的自适应PPO算法(adaptive PPO based on task completion,APPO-TC)流程如下。其中,Vφ为当前价值网络参数φ对状态的价值估计;Vold为旧的价值网络对状态的价值估计;${\hat{A}}_{I}$为第I个样本的估计优势函数;αφ为价值网络参数φ的学习率;$ \nabla_{\phi}$为价值损失对价值网络参数φ的梯度。

3.2 仿真实验

本文训练环境为:使用Python中的Pytorch深度学习库,硬件环境为一台联想电脑,其处理器为英特尔i7-14700HX,内存为16 GB;显卡为NVIDIA GeForce RTX4060,显存为8 GB。策略Policy网络和价值Value网络更新参数时采用的优化器为Adma。在PPO算法中裁剪系数ε决定了策略更新的幅度,太大导致算法不稳定,难以收敛,而太小又很难找到最优策略,故裁剪系数的设定如式(6)所示;PPO算法相关超参数设置如表1所示。

在仿真环境中有人机从初始点以100 m/s的速度做速度波动的直线运动,无人机从初始位置以100 m/s的速度跟随有人机,其运动速度阈值设定为最小为50 m/s,最大为150 m/s。仿真中考虑到位置更新的准确性将步长规定为0.1 s,且最大步数为2 000步,根据式(15)可知,理想情况下回报最大值为2 033。若无人机偏离编队点未大于500 m视为跟随任务失败并终止当前轨迹;若在2 000步以内均能保持则也终止该轮轨迹,视为任务成功。每轮轨迹结束后都回到初始状态,重新保持跟随。PPO算法与基于轨迹长度的自适应PPO算法的训练回报变化对比图如图7所示。其中绿色轨迹代表基础的PPO算法,而红色轨迹代表基于轨迹长度的自适应PPO算法,结果表明,改进的PPO算法比基础的PPO算法具有更快的收敛速度和稳定性。

训练完成后的无人机编队跟随情况如图8所示。图8中,红色为有人机的运动轨迹,蓝色为无人机的运动轨迹,绿色为无人机的理想运动轨迹(图8中绿色轨迹被蓝色轨迹覆盖)。无人机与编队点距离误差变化图和无人机与理想速度方向差变化图分别如图8(b)、图8(c)所示。

3.3 泛化能力验证

在仿真环境中对有人机的运动构建了随机运动场景来模拟飞行员驾驶飞机,仿真中考虑到位置更新的准确性将步长规定为0.1 s,且最大步数为 2×103步。图9为有人机逆时针转向时无人机的跟随情况,图10为有人机顺时针转向时的跟随情况,图11为有人机s运动(先逆时针转向后顺时针转向)的跟随情况。图9(a)、图10(a)、图11(a)中的中红色轨迹为有人机的运动轨迹,蓝色为无人机的运动轨迹,绿色为无人机的理想运动轨迹(图中绿色轨迹被蓝色轨迹覆盖)。图12为有人机在第1×103步时发生航向突变时无人机跟随情况,故总步数设置为3×103步,其中红色轨迹代表有人机的运动轨迹,蓝色代表无人机的运动轨迹,绿色代表无人机的理想运动轨迹,从图12(a)所示的绿色轨迹可以看出,当有人机速度突变时,无人机理想点会发生跳变,但是无人机仍能慢慢到达跟随位置。图12(b)、图12(c)分别为无人机与理想编队点的差值变化图和无人机相对于理想速度方向的角度差值变化图。

结合图9~图12可知,当有人机飞行轨迹未知时无人机仍能跟随在指定位置上,证明该算法有一定的泛化性。

4 结论

针对PPO算法在实现无人机自主跟随有人机实现编队保持的问题,在PPO算法基础上进行了以下改进:通过建立基于相对距离和相对速度的状态空间,使得控制输入不依赖于全局信息,降低了对环境信息的要求,增强了系统的泛化性;通过任务执行完成度来调整裁剪系数ε的大小,以此来提高算法的收敛速度和稳定性;并在更新网络参数时引入轨迹截断设计,避免了轨迹太长带来的更新速度慢的影响。仿真结果表明,改进后的算法在3×103个训练回合内即可稳定收敛且收敛结果优于改进前的PPO算法;无人机能够对未知飞行轨迹完成编队保持任务,并且在有人机急转时慢慢保持到右侧 3 km 处的编队位置,证明该算法有一定的泛化性。在无人机自主跟随有人机实现编队保持问题上提出基于任务完成度的自适应PPO算法具有一定的创新性,对提高无人机编队保持的实现提供了新思路。在接下来的研究中,希望进一步改进算法使其具备规避航路障碍的功能并将算法拓展至复杂的三维空间。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

吴捷, 胡盛华, 乔莎莎, 等. “忠诚僚机”式有人/无人机协同作战概念与任务管理技术研究[J]. 航空电子技术, 2021, 52(2): 27-31.
[2]

Wu Jie, Hu Shenghua, Qiao Shasha, et al. Research on combat concept and mission management technique of “Loyal Wingman” manned/unmanned aerial vehicle collaborative[J]. Avionics Technology, 2021, 52(2): 27-31.
[3]

柳文林, 潘子双, 韩维, 等. 有人/无人机协同作战运用研究现状与展望[J]. 海军航空大学学报, 2022, 37(3): 231-241.
[4]

Liu Wenlin, Pan Zishuang, Han Wei, et al. Research status and prospect of manned/unmanned aerial vehicle cooperative operation[J]. Journal of Naval Aeronautical University, 2022, 37(3): 231-241.
[5]

张宏宏, 李文华, 郑家毅, 等. 有人/无人机协同作战: 概念、技术与挑战[J]. 航空学报, 2024, 45(15): 168-194.
[6]

Zhang Honghong, Li Wenhua, Zheng Jiayi. et al. Manned/unmanned aerial vehicle cooperative combat system: concepts, technologies, and challenges[J]. Acta Aeronautica et Astronautica Sinica. 2024, 45(15): 168-194.
[7]

熊威, 张栋, 任智, 等. 面向有人/无人机协同打击的智能决策方法研究[J]. 系统工程与电子技术, 2025, 47(4): 1285-1299.

[8]

Xiong Wei, Zhang Dong, Ren Zhi, et al. Research on intelligent decision-making methods forco ordinated attack by manned aerial vehicles and unmanned aerial vehicles[J]. Systems Engineering and Electronics, 2025, 47(4): 1285-1299.
[9]

韩维, 吴立尧, 张勇. 舰载战斗机/无人机编队飞行控制研究现状与展望[J]. 科学技术与工程, 2019, 19(36): 73-80.
[10]

Han Wei, Wu Liyao, Zhang Yong. Review and prospect of flight control of carrier-based aircraft / unmanned aerial vehicles formation[J]. Science Technology and Engineering, 2019, 19(36): 73-80.
[11]

张路, 邵正途, 翁呈祥, 等. 美军有/无人机协同作战运用及关键技术研究[J]. 战术导弹技术, 2022(6): 128-137.
[12]

Zhang Lu, Shao Zhengtu, Weng Chengxiang, et al. Research on application and key technologies of U.S. forces manned/unmanned aerial vehicle cooperative combat[J]. Tactical Missile Technology, 2022(6): 128-137.
[13]

李磊, 汪贤锋, 王骥. 外军有人-无人机协同作战最新发展动向分析[J]. 战术导弹技术, 2022(1): 113-119.
[14]

Li Lei, Wang Xianfeng, Wang Ji. Analysis on the latest development trend of manned-unmanned teaming of foreign forces[J]. Tactical Missile Technology, 2022(1): 113-119.
[15]

王晶, 顾维博, 窦立亚. 基于Leader-Follower的多无人机编队轨迹跟踪设计[J]. 航空学报, 2020, 41(S1): 88-98.
[16]

Wang Jing, Gu Weibo, Dou Liya. Leader-follower formation control of multiple UAVs with trajectory tracking design[J]. Acta Aeronautica Sinica, 2020, 41(S1): 88-98.
[17]

吴立尧, 韩维, 张勇, 等. 基于领航-跟随的有人/无人机编队队形保持控制[J]. 控制与决策, 2021, 36(10): 2435-2441.
[18]

Wu Liyao, Han Wei, Zhang Yong, et al. Formation keeping control for manned/unmanned aerial vehicle formation based on leader-follower strategy[J]. Control and Decision, 2021, 36(10): 2435-2441.
[19]

段凯, 高晗威, 王珂, 等. 基于终端滑模的无人机编队协同控制[J]. 海军航空大学学报, 2023, 38(6): 483-488, 518.
[20]

Duan Kai, Gao Hanwei, Wang Ke, et al. Cooperative control of UAV formation based on terminal sliding mode[J]. Journal of Naval Aviation University, 2023, 38(6): 483-489, 518.
[21]

刘金鑫, 盛蔚, 张玉民. 基于运动约束的无人机编队一致性优化算法[J]. 系统工程与电子技术, 2025, 47(1): 230-243.

[22]

Liu Jinxin, Sheng Wei, Zhang Yumin. Optimization algorithm for UAV formation consensus based on motion constraint[J]. Systems Engineering and Electronics, 2025, 47(1): 230-243.

[23]

万茹, 马梓元, 龚华军, 等. 基于改进一致性算法的无人机编队队形保持控制器设计[J]. 北京航空航天大学学报, 2025, 51(10): 3555-3566.
[24]

Wan Ru, Ma Ziyuan, Gong Huajun, et al. Design of unmanned aerial vehicle formation keeping controller based on improved consistency algorithmesign[J]. Journal of Beijing University of Aeronautics and Astronautics, 2025, 51(10): 3555-3566.
[25]

苟进展, 吴宇, 邓嘉宁. 基于群智能一致性理论的无人机编队全过程飞行航迹规划方法[J]. 控制与决策, 2023, 38(5): 1464-1472.
[26]

Gou Jinzhan, Wu Yu, Deng Jianing. Swarm intelligence and consensus theory based trajectory planning for acomplete flight of UAV formation[J]. Control and Decision, 2023, 38(5): 1464-1472.
[27]

吴宇, 梁天骄. 基于改进一致性算法的无人机编队控制[J]. 航空学报, 2020, 41(9): 172-190.
[28]

Wu Yu, Liang Tianjiao. Improved consensus-based algorithm for unmanned aerial vehicle formation control[J]. Acta Aeronautica et Astronautica Sinica, 2020, 41(9): 172-190.
[29]

张博涵, 朱许, 黄江涛, 等. 风干扰及输入约束下的无人机一致性编队控制[J]. 海军航空大学学报, 2024, 39(6): 745-754.
[30]

Zhang Bohan, Zhu Xu, Huang Jiangtao, et al. Consistent formation control of UAVs under wind interference and input constraints[J]. Journal of Naval Aviation University, 2024, 39(4): 745-754.
[31]

李琳, 张修社, 韩春雷, 等. 基于卡尔曼滤波和DDQN算法的无人机机动目标跟踪[J]. 战术导弹技术, 2022(2): 98-104.
[32]

Li Lin, Zhang Xiushe, Han Chunlei, et al. UAV maneuvering target tracking based on Kalman filter and DDQN algorithm[J]. Tactical Missile Technology. 2022(2): 98-104.
[33]

江泰民, 谭泰, 李辉, 等. 基于分层深度强化学习的六自由度固定翼无人机路径跟踪方法[J]. 计算机工程, 2026, 52(4): 90-102.

[34]

Jiang Taimin, Tan Tai, Li Hui, et al. Path following of 6-DOF fixed-wing UAV based on hierarchical deep reinforcement learning[J]. Computer Engineering, 2026, 52(4): 90-102.

[35]

杨志鹏, 李波, 甘志刚, 等. 基于深度强化学习的四旋翼无人机航线跟随[J]. 指挥与控制学报, 2022, 8(4): 477-482.
[36]

Yang Zhipeng, Li Bo, Gan Zhigang, et al. Path following of quadrotor UAV based on deep reinforcement learning[J]. Journal of Command and Control, 2022, 8(4): 477-482.
[37]

李波, 越凯强, 甘志刚, 等. 基于MADDPG的多无人机协同任务决策[J]. 宇航学报, 2021, 42(6): 757-765.
[38]

Li Bo, Yue Kaiqiang, Gan Zhigang, et al. Multi-UAV cooperative autonomous navigation based on multi-agent deep deterministic policy gradient[J]. Acta Astronautica Sinica, 2021, 42(6): 757-765.
[39]

文永明, 石晓荣, 黄雪梅, 等. 一种无人机集群对抗多耦合任务智能决策方法[J]. 宇航学报, 2021, 42(4): 504-512.
[40]

Wen Yongming, Shi Xiaorong, Huang Xuemei, et al. An intelligent decision-making method for multi-coupling tasks of UAV cluster countermeasure[J]. Acta Astronautica Sinica, 2021, 42(4): 504-512.
[41]

吴杰宏, 李丹阳. 无人机集群编队控制方法研究综述[J]. 无线电通信技术, 2023, 48(4): 589-586.
[42]

Wu Jiehong, Li Danyang. A review of UAV cluster formation control methods[J]. Radio Communications Technology, 2023, 49(4): 589-596.
[43]

Li B, Wu Y. Path planning for UAV ground target tracking via deep reinforcement learning[J]. IEEE Access, 2020, 8: 28064-28074.

[44]

杨正全, 汪冰倩. 具有通信时延的无人机区域编队控制方法[J]. 科学技术与工程, 2025, 25(25): 10792-10799.
[45]

Yang Zhengquan, Wang Bingqian. Region formation control me-thod of UAVs with communication delay[J]. Science Technology and Engineering, 2025, 25(25): 10792-10799.
[46]

江未来, 徐国强, 王耀南. 一种无人机自主避障与目标追踪方法[J]. 宇航学报, 2022, 43(6): 802-810.
[47]

Jiang Weilai, Xu Guoqiang, Wang Yaonan. A method for autonomous obstacle avoidance and target tracking of unmanned aerial vehicle[J]. Acta Astronautica Sinica, 2022, 43(6): 802-810.
[48]

付宇鹏, 邓向阳, 朱子强, 等. 基于模仿强化学习的固定翼飞机姿态控制器[J]. 海军航空大学学报, 2022, 37(5): 383-388.
[49]

Fu Yupeng, Deng Xiangyang, Zhu Ziqiang, et al. Fixed-wing aircraft attitude controller based on imitation reinforcement learning[J]. Journal of Naval Aeronautical University, 2022, 37(5): 383-388.
[50]

刘欣, 张倩飞, 刘成宇, 等. 深度确定性策略梯度下运动目标识别及无人机跟随[J]. 西安工程大学学报, 2024, 38(4): 9-17.
[51]

Liu Xin, Zhang Qianfei, Liu Chengyu, et al. Moving target recognition and unmanned aerial vehicle following based on deep deterministic policy gradient[J]. Journal of Xi'an Polytechnic University, 2024, 38(4): 9-17.
[52]

李云鹏, 张立宪, 韩岳江, 等. 基于模型预测控制的子母式无人机编队飞行控制方法[J]. 自动化学报, 2025, 51(2): 312-326.
[53]

Li Yunpeng, Zhang Lixian, Han Yuejiang, et al. Model predictive control-based formation flight control method for composite UAVs[J]. Acta Automatica Sinica, 2025, 51(2): 312-326.
[54]

王昱, 谢志鹏, 田永健, 等. 以虚拟结构引领强化学习的分布式无人机编队控制[J]. 航空学报, 2025, 46 (15): 245-257.
[55]

Wang Yu, Xie Zhipeng, Tian Yongjian, et al. Distributed UAV formation control with virtual structure guided reinforcement learning[J]. Acta Aeronautica et Astronautica Sinica, 2025, 46 (15): 245-257.

基金资助

海军“十四五”预先研究项目(3020308020401)

装备预研教育部联合基金(8091B022235)

PDF (8150KB)

42

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录