自动化技术、计算机技术基于强化学习和迁移学习的路径规划研究综述

李蒙蒙 ,  张敏 ,  尚志刚 ,  李志辉 ,  杨莉芳

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (26) :11107-11116

PDF (2819KB)
科学技术与工程 ›› 2026, Vol. 26 ›› Issue (26) :11107-11116 DOI: 10.12404/j.issn.1671-1815.2504462
自动化技术、计算机技术

自动化技术、计算机技术基于强化学习和迁移学习的路径规划研究综述

作者信息 +

Survey on Path Planning Research Based on Reinforcement Learning and Transfer Learning

Author information +
文章历史 +

摘要

路径规划是机器人、自动驾驶和智能交通等领域的核心问题。针对复杂动态环境下的路径规划问题,强化学习和迁移学习的结合提供了新思路。首先回顾了传统路径规划方法的局限性,随后系统分析了强化学习和迁移学习在路径规划中的关键技术及其融合潜力。研究发现,强化学习的动态决策优势与迁移学习的跨域知识复用能力形成互补,其融合架构可有效解决复杂动态环境下路径规划的样本效率与泛化性矛盾,而域相似性量化、负迁移抑制、安全可解释性是该领域的核心研究痛点。最后,从高效知识迁移、多任务协同优化等方面展望未来研究方向。

Abstract

Path planning is a core issue in fields such as robotics, autonomous driving, and intelligent transportation. Aiming at the path planning problem in complex dynamic environments, the combination of RL (reinforcement learning) and TL (transfer learning) provide new ideas. The limitations of traditional path planning methods were first reviewed, followed by a systematic analysis of the key technologies of RL and TL in path planning as well as their integration potential. It is found that the dynamic decision-making advantage of RL and the cross-domain knowledge reuse capability of TL form a complement. Their integrated architecture can effectively resolve the contradiction between sample efficiency and generalization of path planning in complex dynamic environments. Meanwhile, domain similarity quantification, negative transfer suppression, and safety interpretability were identified as the core research pain points in this field. Finally, future research directions were prospected from aspects such as efficient knowledge transfer and multi-task collaborative optimization.

关键词

路径规划 / 强化学习 / 迁移学习 / 动态环境 / 算法融合 / 复杂场景导航

Key words

path planning / reinforcement learning / transfer learning / dynamic environment / algorithm fusion / complex scenario navigation

引用本文

引用格式 ▾
李蒙蒙, 张敏, 尚志刚, 李志辉, 杨莉芳. 自动化技术、计算机技术基于强化学习和迁移学习的路径规划研究综述[J]. 科学技术与工程, 2026, 26(26): 11107-11116 DOI:10.12404/j.issn.1671-1815.2504462
LI Meng-meng, ZHANG Min, SHANG Zhi-gang, LI Zhi-hui, YANG Li-fang. Survey on Path Planning Research Based on Reinforcement Learning and Transfer Learning[J]. Science Technology and Engineering, 2026, 26(26): 11107-11116 DOI:10.12404/j.issn.1671-1815.2504462

登录浏览全文

4963

注册一个新账户 忘记密码

在智能体自主导航体系中,路径规划是支撑机器人自主运动与任务执行的关键技术,其目标是在满足碰撞约束和运动学约束的条件下,为智能体寻找从起点到目标点的最优或可行路径[1-3]。传统路径规划方法中,A*算法[4]和快速扩展随机树(rapidly-exploring random tree,RRT)算法[5]在已知静态环境或高维构型空间中具有代表性。然而,随着实际应用场景向复杂化、动态化发展,这类方法在动态障碍、高维状态空间以及部分可观测条件下的局限性逐步凸显。
作为路径规划领域的经典解决方案,强化学习方法凭借其独特的交互学习机制展现出显著优势。该技术的核心逻辑在于智能体通过与环境的持续交互,基于试错机制构建端到端的决策模型——智能体在环境中反复执行不同动作,并依据环境反馈的奖励信号逐步优化策略,最终形成趋近最优的决策模式。然而,当面对复杂路径规划任务时,强化学习方法的固有局限性也逐渐显现:该算法高度依赖大量试错过程来积累经验,在实际应用中常因学习周期过长而导致效率问题[2]。
针对上述效率瓶颈,迁移学习技术的引入为路径规划领域提供了创新性解决方案。迁移学习通过跨任务的知识共享,将已学习到的知识和经验迁移到新的任务中[6],从而显著提升学习效率。具体到路径规划任务,迁移学习可将智能体在简单环境中习得的路径决策模式和环境交互经验,系统性地迁移到复杂环境的学习过程中。这种跨场景知识复用机制能够有效减少智能体在目标任务中的无效试错行为,通过对历史经验的深度整合与适应性调整,加速形成适用于复杂场景的高效决策策略。
从技术融合视角审视,强化学习与迁移学习的协同架构为复杂场景下的路径规划提供了新的解决思路[7]:强化学习负责在目标环境中通过交互持续优化决策,迁移学习则复用源任务中的表征、参数、轨迹或奖励知识,以减少目标任务中的无效试错。现有综述多分别讨论常规路径规划、深度强化学习或迁移学习,对两类学习范式的融合机制、适用边界和评价维度缺乏统一分析。
因此,现从动作空间类型、迁移知识载体及融合约束3个层面构建贯通的综述框架,并提出一个指导性观点:融合算法的选择不应仅依据环境复杂度,而应联合考虑动作空间连续性、源-目标域相似性、实时计算预算与安全约束。旨在弥补现有研究对“迁移什么、何时迁移以及如何避免负迁移”讨论不足的缺口,为复杂动态环境下路径规划算法的选型、比较与工程验证提供结构化依据。

1 基于常规方法的路径规划技术

1.1 全局规划算法

作为路径规划领域早期发展并广泛应用的技术,全局规划算法的核心特征在于对完整环境先验信息的依赖性[8],要求智能体在启动规划前需预先掌握环境布局、障碍物分布及目标位置等全量信息,从而构建全局环境模型进行路径搜索[9]。

Dijkstra[10]发表了经典的单源最短路径算法(Dijkstra算法)。该算法适用于边权非负的图,以当前暂定距离最小的未访问顶点为扩展对象,逐步确定从源点到其余顶点的最短路径。采用邻接矩阵和顺序查找时,其时间复杂度为$\mathit{O}\left(\right|\mathit{V}\left|{\mathit{ }}^{2}\right);$采用邻接表和二叉堆优先队列时,时间复杂度为$\mathit{O}\left[\right(\left|\mathit{E}\right|+\left|\mathit{V}\right|\left)\mathit{l}\mathit{o}{\mathit{g}}_{2}\right|\mathit{V}\left|\right]\mathit{。}$其中,O为渐近时间复杂度上界,V和E分别为图的顶点集与边集。Dijkstra算法适用于已知静态环境中的全局最短路径搜索,但当障碍物或边代价动态变化时通常需要重新计算,因而在大规模动态场景中的实时性受到限制。

A*算法由Hart等[4]于1968年提出,可视为在Dijkstra累计路径代价的基础上引入启发式估计的最佳优先搜索方法。通过评价函数f(n)=g(n)+h(n),A*算法能够缩减无效搜索空间并提高搜索效率,其中g(n)为起点到节点n的实际代价,h(n)为节点n到目标点的启发式估计代价。然而,该算法仍依赖全局环境模型,且启发式函数的可采纳性与一致性会影响最优性保证和搜索效率;当障碍物位置实时变化时,传统A*算法通常需要重新规划[11]。近年来的研究常将A*算法与局部规划方法融合,如A*算法与动态窗口算法的组合[12],以兼顾全局引导与局部实时避障。

1.2 局部规划算法

局部路径规划算法与全局规划方法在技术范式上存在显著差异,它的核心优势在于突出的实时决策能力,聚焦智能体周边局部区域的环境信息进行实时路径生成而无需构建全局环境模型。

Fox等[13]提出动态窗口法(dynamic window approach, DWA),直接在机器人可达速度空间中构建动态窗口,并综合航向、障碍物距离和速度等评价指标选择控制指令,适用于动态环境中的局部实时避障。DWA的性能对速度窗口、安全距离及评价函数权重等参数较为敏感,需要结合具体平台和任务进行调节[14-15]。为改善泛化性和复杂环境适应性,已有研究通过优化评价函数与参数自适应机制改进DWA[16],或将A*算法的全局引导与DWA的局部避障结合,用于应急救援等场景[17]。

LaValle[5]于1998年提出快速扩展随机树(rapidly-exploring random tree,RRT)算法。该算法通过随机采样和树结构增量扩展探索构型空间,能够在高维、非结构化环境中较快获得可行路径。RRT并不保证所得路径最优,其路径质量与搜索效率受采样策略、步长及树扩展规则影响[18];在不同任务之间迁移时,这些参数通常需要重新调整,限制了其跨场景适用性[19]。

对比分析两类常规方法的技术特性,不难发现,全局规划算法受限于全局环境建模的高计算复杂度与动态适应性不足,而局部规划算法虽然具备实时性优势,却因手工规则依赖导致跨场景迁移能力薄弱。如何实现全局先验知识与局部实时决策的有机融合、突破静态建模与动态响应的技术壁垒,始终是路径规划问题的核心课题。

2 基于强化学习的路径规划技术

在强化学习框架下,奖励函数构成了智能体策略优化的核心驱动机制。该机制通过对智能体行为的后果进行量化评估,为决策策略的迭代优化提供方向性引导。其典型设计框架整合了正向激励与负向惩罚机制,当智能体成功到达目标位置时赋予高额奖励值,而发生障碍物碰撞时则施加显著惩罚[20]。为实现多目标优化还可引入辅助奖励项,例如对路径长度进行代价折算、对运动轨迹的平滑性施加约束条件等,通过多维度的奖励信号组合形成综合优化目标。基于马尔可夫决策过程(Markov decision process,MDP)的数学建模框架,路径规划问题被转化为序列决策问题,使智能体能够在探索环境与利用经验的动态平衡中,逐步收敛到兼顾效率与安全性的最优运动策略。

在强化学习驱动的路径规划场景中,智能体实体涵盖移动机器人[21]、自动驾驶车辆[22]等具备自主决策能力的系统,其核心任务是通过与动态环境的持续交互实现路径策略优化。这类环境通常包含静态障碍物、动态目标点及随时间演变的场景要素,要求智能体具备多维状态感知能力。具体而言,状态空间的构建通常包括智能体实时位姿信息、传感器采集的环境数据。动作空间的设计则根据任务需求分为两种基本类型:离散型动作集合(如前进、左转、右转等基础指令)或连续型控制参数(如速度调节量、转向角度等),以此形成适配不同应用场景的决策输出模式。

2.1 适用离散动作空间的强化学习路径规划

在路径规划任务中,离散动作空间通常将智能体的行为划分为有限个可枚举的基础动作,对动作决策的实时性与策略收敛效率有较高要求。针对离散动作空间的特性,强化学习算法通过构建离散状态-动作对的价值评估体系,实现对路径决策策略的优化。下面介绍典型的Q-learning和双深度Q网络(double deep Q-network, DDQN)两种算法。

Watkins[23]在1989年提出Q-learning算法,随后Watkins等[24]于1992年给出了收敛性分析。Q-learning是一种无模型、离策略的时序差分学习算法,通过迭代更新动作价值函数Q(s,a)估计状态-动作对长期期望回报,并据此指导智能体选择动作。其更新规则为

$\begin{array}{l}\mathit{Q}(\mathit{s},\mathit{a})\leftarrow \mathit{Q}(\mathit{s},\mathit{a})+\\ \mathit{　}\mathit{　}\mathit{a}[\mathit{r}+\mathit{\gamma }\mathit{m}\mathit{a}{\mathit{x}}_{\mathit{a}\mathit{\text{'}}}\mathit{Q}(\mathit{s}\mathit{\text{'}},\mathit{a}\mathit{\text{'}})-\mathit{Q}(\mathit{s},\mathit{a}\left)\right]\end{array}$

式(1)中:s和a分别为当前状态与动作;s'为执行动作后的下一状态;r为执行动作a后获得的即时奖励;α∈(0,1]为学习率,用于控制新信息对原有Q值的修正幅度;γ∈[0,1]为折扣因子,用于权衡即时奖励与未来回报;maxa'Q(s',a')表示在下一状态s'下所有候选动作中的最大动作价值。Q-learning的Off-Policy特性使其能够利用行为策略产生的样本更新目标策略,在环境探索与经验利用之间实现平衡。

Mnih等[25]提出的深度Q网络(deep Q-network, DQN)将深度神经网络用于近似动作价值函数。针对DQN因最大化操作而产生的价值过估计问题,van Hasselt等[26]于2015年公开预印本,并在AAAI 2016正式发表DDQN算法。DDQN通过解耦动作选择与目标值计算,提高了价值估计的准确性与训练稳定性,其核心计算逻辑为

Q(s,a)←Q(s,a)+a{r+γQ'[s',argmaxa'Q(s',a')]-Q(s,a)}

式(2)中:Q(s,a)为当前网络对状态-动作对(s,a)的价值估计;argmaxa'Q(s',a')表示由当前网络在下一状态s'选择的动作; $\mathit{Q}\mathit{\text{'}}[\mathit{s}\mathit{\text{'}},\mathit{a}\mathit{r}\mathit{g}\mathit{m}\mathit{a}{\mathit{x}}_{\mathit{a}\mathit{\text{'}}}\mathit{Q}(\mathit{s}\mathit{\text{'}},\mathit{a}\mathit{\text{'}}\left)\right]$表示目标网络对该动作进行价值评估。动作选择与目标评估的分离可降低最大化偏差导致的价值过估计。

离散动作空间强化学习路径规划算法,核心适配低维、动作可枚举场景的高效决策需求。Q-learning以简洁的Q值迭代机制与离策略特性,为简单避障、导航等低维任务提供了易实现的基础方案[27],但高维场景下易受“维度灾难”制约,学习效率显著下降,而加权平滑Q-learning算法通过优化路径生成逻辑,更适配对运动平滑性有要求的机器人导航场景[28]。DDQN通过双网络解耦设计,有效缓解价值过估计问题,提升了策略稳定性,将适用范围拓展至自动驾驶动态避障等中高维场景。但离散动作输出的本质使其难以适配精细连续控制需求,且受样本相关性、局部最优等问题影响,更适用于低维简单场景或混合架构的基础组件,在多远距离运输系统的实时路径协同中,因决策逻辑简洁、响应速度快,仍具备独特应用价值[29]。此外,Zheng等[30]在机器人端到端窄道导航中提出“Embodied Escaping”架构,基于强化学习实现了扫地机器人在狭窄受限环境中的自主脱困,为解决离散动作空间下复杂约束路径规划问题提供了系统性解决方案。

2.2 适用连续动作空间的强化学习路径规划

与离散动作场景不同,连续动作空间下的路径规划需处理如速度调节、转向角度等连续型控制参数,这类任务对策略的精细控制能力与环境动态适应性提出了更高挑战。为解决连续动作空间中的决策难题,强化学习算法通过融合确定性策略梯度、演员-评论家架构等技术,构建了能够输出连续值控制信号的优化模型。下面介绍最典型的深度确定性策略梯度(deep deterministic policy gradient, DDPG)、近端策略优化(proximal policy optimization, PPO)和异步优势演员-评论家(asynchronous advantage actor-critic,A3C)3种算法。

Lillicrap等[31]于2015年提出的DDPG算法将确定性策略梯度与DQN的经验回放、目标网络机制结合,采用演员网络(Actor)输出连续动作,评论家网络(Critic)评估动作价值,适用于机器人控制与路径跟踪等连续动作任务。但该算法对超参数和探索噪声较敏感,在复杂环境中可能出现训练不稳定。

Schulman等[32]于2017年提出的PPO算法。通过截断概率比构造代理目标函数,限制单次策略更新幅度,实现相对简洁且训练稳定性高。该算法适用于高维连续动作空间中的无人机避障、机械臂运动规划等任务,但其性能仍受奖励设计、采样效率和超参数设置影响。

Mnih等[33]于2016年提出的A3C算法在多个并行环境中运行独立智能体,并异步更新共享网络参数;优势函数用于降低策略梯度估计方差。该机制能够减少连续样本相关性并提高数据采集效率,适用于复杂状态空间和并行训练场景。

连续动作空间强化学习路径规划算法是高维、高精度路径规划的核心技术支撑,旨在突破离散动作局限,实现连续控制参数的精细化优化。DDPG作为经典方案,通过Actor-Critic架构与经验回放机制实现连续动作端到端输出,适配无人车路径跟踪等精准控制场景,在覆盖路径规划任务中,其连续控制优势可保障路径覆盖的完整性与平滑性,适用于大面积区域的自主巡检场景[34],但DDPG仍存在超参数敏感、稳定性不足的缺陷。PPO兼顾训练稳定性与高维泛化能力,成为单智能体连续动作场景的主流选择,在无人机避障、机械臂规划中表现突出。A3C适配多智能体协同、复杂地形导航,在机场应急疏散场景中满足多出口动态路径分配需求[35];而实时改进版RT-A3C则通过轻量化设计,更适配工业物联网场景下的高频次路径决策要求[36]。这类算法虽能应对复杂高维场景,但普遍存在计算复杂度高、稀疏奖励场景收敛慢等挑战,需结合硬件与场景需求选型优化。Duan等[37]提出的DSAC(distributional soft actor-critic)系列强化学习算法,通过引入分布强化学习框架,有效解决了连续控制中的价值高估问题,已成功应用于端到端自动驾驶、工程机械无人作业等场景;Gao等[38]提出的分层实时规划系统,能在几十毫秒内为无人机求解最优航迹,在废墟、山地等复杂环境中实现了高速自主导航。

表1给出了离散与连续动作空间类型的经典强化学习路径规划算法的总结和对比。

2.3 引入高级策略的强化学习路径规划

随着路径规划任务向复杂化、多样化发展,传统强化学习框架通过引入创新性策略架构形成了应对复杂决策场景的高级技术体系。以下从逆向奖励建模与层级任务分解两个维度,结合前沿应用场景展开论述。

逆强化学习(inverse reinforcement learning, IRL)的基本思想是根据专家轨迹反推能够解释专家行为的奖励函数[39]。在路径规划中,最大熵IRL通过最大熵原则处理示范行为的多解性[40],生成对抗模仿学习利用对抗训练直接匹配策略与专家轨迹分布[41],行为克隆则可用于策略初始化[42]。相关综述[43-44]及深度IRL路径规划应用[45]表明,该类方法能够缓解人工奖励设计的主观性,但其性能仍取决于示范质量、特征表达和跨场景分布一致性。

针对高维状态空间与稀疏奖励信号带来的优化难题,分层强化学习通过时间抽象将复杂任务分解为不同层级的子任务。Sutton等[46]提出的Options框架为跨多个时间步的高层动作提供了形式化基础。在路径规划中,高层策略可负责生成子目标或航路点,低层策略负责局部运动控制;现有综述系统总结了深度分层强化学习的主要结构[47],检测路径规划研究则展示了将全局规划与局部检测点优化拆分为两级任务的应用方式[48]。

在动态环境适应与多智能体协同决策领域,强化学习技术也展现出显著的应用价值[49],例如,无人机杂草定位路径规划中,结合作物分布先验知识的强化学习策略,适用于农业田间的目标导向路径规划[50]。针对环境动态性带来的时序依赖挑战,融合长短期记忆网络(long short-term memory,LSTM)的强化学习方法通过建模历史观测序列的时间特征使智能体能够捕捉障碍物运动规律与场景状态演变模式,而好奇心驱动的探索机制则通过自主挖掘环境未知区域,更适用于未知环境下的路径探索任务[51]。

高级策略的引入是对基础算法复杂场景短板的针对性优化,核心价值在于通过创新架构解决高维稀疏奖励、多目标耦合等难题,拓展强化学习应用边界。逆强化学习从专家示范数据逆向推断奖励机制,破解复杂场景多目标优化难题,适配自动驾驶等人类经验主导场景,但面临高质量数据获取成本高、噪声鲁棒性不足的问题。分层强化学习通过任务解耦与子目标奖励设计,降低高维场景学习难度,适用于灾后救援等复杂任务,但层级划分依赖人工经验,协同优化仍是难点。此外,时序建模融合方法可应对动态环境时序依赖,博弈论与图神经网络协同策略为多智能体规划提供新路径。这类策略与基础算法形成互补,未来需重点突破人工干预依赖、鲁棒性不足等问题,推动工程化落地。在全覆盖路径规划领域,华中科技大学丁汉院士团队提出基于共形映射的多连通域螺旋轨迹规划方法,显著提升了机器人作业的路径平滑性与覆盖效率[52]。

2.4 结论与挑战

尽管强化学习在路径规划领域展现出显著优势,但其实际应用仍面临多重关键挑战,这些问题的突破将推动该技术向工程化落地进一步迈进。

(1)样本效率低。在高维状态空间与稀疏奖励信号的复杂场景中,强化学习的策略优化高度依赖大规模环境交互数据。为此,当前研究通过融合模型基学习与数据增强技术寻求突破:前者通过构建环境动态模型预测状态转移,减少对真实环境采样的依赖;后者借助专家示范数据进行预训练,为智能体提供先验策略初始化,降低真实场景中的试错成本,加速有效策略的收敛。其中迁移学习结合元Q-learning的解决方案,专门针对稀疏奖励场景设计,适用于难以获取密集反馈的路径规划任务[53]。

(2)奖励函数设计依赖经验。手工设计奖励函数的传统模式面临多维度优化目标的量化难题[44]。人类设计者难以精准平衡安全、效率、能耗等冲突性指标(如高速避障与路径最短的目标博弈),极易导致奖励函数引入主观偏差,进而影响策略优化方向的合理性。近年来兴起的逆强化学习技术在通过数据驱动范式破解这一难题方面有很大潜力。

(3)跨场景泛化能力弱。当智能体从训练环境迁移至未知场景时,环境动力学、观测噪声和障碍物分布的差异可能导致策略性能显著退化,甚至引发安全失效。域随机化通过在训练阶段主动扩大环境参数分布,提高策略对真实环境变化的鲁棒性[54];模型无关元学习(model-agnostic meta-learning,MAML)则通过学习易于快速适应的初始化参数,使模型能够利用少量目标域样本完成更新[55]。二者为提升路径规划策略的跨场景泛化能力提供了重要思路,但仍需结合域差异评估和安全约束避免负迁移。

3 基于迁移学习的路径规划技术

迁移学习通过将源领域(source domain)的知识复用于目标领域(target domain),减少目标任务从零开始学习的成本。Pan等[56]给出了领域、任务与迁移情形的经典定义及方法分类,中国相关综述进一步总结了迁移学习的发展脉络[57]。在路径规划中,迁移对象可包括轨迹样本、感知特征、策略参数、奖励函数和环境拓扑关系。例如,水面无人船可将仿真环境中学习的策略迁移到真实水域,以加快动态路径规划策略的适配[58]。按照主要迁移载体,相关方法可归纳为4类:①基于实例的迁移,通过重要性加权复用源域轨迹[59];②基于特征的迁移,通过域对齐获得跨传感器或跨环境的共享表示,其中生成对抗网络由Goodfellow等[60]提出,相关综述见文献[61];③基于模型的迁移,通过参数共享、微调或知识蒸馏复用策略模型;④基于关系的迁移,通过环境拓扑或实体关系建立跨域对应。

3.1 基于实例的迁移学习路径规划

基于实例的迁移学习路径规划又称为基于样本的迁移学习路径规划,通过筛选和加权源域的历史轨迹数据来直接适配目标环境中的路径规划需求。它的必不可少的假设是:源域与目标域存在部分相似的运动模式或障碍物分布规律。例的迁移学习路径规划典型方法有:优先复用高权重轨迹片段的重要性加权采样方法[59];利用源域轨迹库生成候选路径,通过在线插值算法实时调整路径形状的动态轨迹插值方法;结合主动学习策略在目标域中采集少量新样本并与源域数据混合,构建增量式轨迹数据库,这种方法通过在线更新源域知识库,适用于建筑能源管理等需实时适配环境变化的路径规划场景[62]。

3.2 基于特征的迁移学习路径规划

基于特征的迁移学习路径规划是大部分研究者的重点研究方向,它的原理是通过特征空间映射来消除域间差异,使得路径规划算法能够处理跨域异构感知数据。典型方法有:构建特征提取器与域判别器的对抗框架,迫使特征空间对传感器类型不可区分的域对抗训练;利用变分自编码器将多源感知数据编码为统一的潜在空间的跨模态特征融合方法[63],适用于多传感器数据异构的路径规划场景,可有效解决不同感知设备数据的适配问题;通过时序卷积网络分离环境静态特征与动态特征来提升迁移泛化性,该方案聚焦动态环境的时序特征跨域复用,适用于需捕捉环境时序变化规律的路径规划辅助任务[64]。

3.3 基于模型的迁移学习路径规划

基于模型的迁移方法是从源域迁移知识,比如路径规划算法、策略、模型或规则等(而不是直接迁移具体实例或样本数据)。通过共享策略网络参数或知识蒸馏实现源域模型向目标域的渐进式适应。这种方法适用于具有相似决策逻辑但环境动力学不同的场景。典型方法有:通过冻结源域策略网络底层(如特征提取层),仅微调顶层决策模块,再逐步解冻层以适应目标域动力学的渐进微调方法;在源域训练模型初始化参数,使其通过少量目标域样本快速适应新环境的元学习方法;将源域复杂模型(如深度RL策略)的知识迁移至轻量化目标模型以适用于计算资源受限的嵌入式系统,这种方法在气动翼型优化等工业场景的路径规划相关任务中得到应用,核心适用于计算资源有限的设备端部署需求[65]。

3.4 基于关系的迁移学习路径规划

基于关系的方法通过挖掘源域与目标域环境间的拓扑关联(如障碍物空间分布规律、通行区域连通性等),建立跨域关系映射以指导路径规划。典型方法有:将环境建模为拓扑图,利用图神经网络(graph neural network,GNN)匹配源域与目标域子图同构模式[66]的图结构迁移方法[67];通过马尔可夫逻辑网络编码跨域规则迁移至目标域进行概率推理,该方法借助混合迁移机制提升复杂场景特征对齐的鲁棒性,可为路径规划的跨传感器数据适配提供技术支撑[68]。

3.5 结论与挑战

基于迁移学习的路径规划技术,核心价值在于依托跨域知识复用,打破了传统方法需要从零开始学习的局限,为数据稀缺、试错成本高、跨场景适配难的路径规划任务提供高效解决方案。该技术体系的4类核心方法,构成了覆盖数据、特征、模型、关系的全维度知识迁移架构,各类方法优势互补且适配场景各有侧重:基于实例的迁移方式简单直接,兼具易实现、低开销的优势;基于特征的迁移,泛化能力尤为突出,是复杂跨传感器、跨环境场景的核心选择;基于模型的迁移迁移效率高,为仿真到现实、简单到复杂场景的快速适配提供了可行路径;基于关系的迁移对表面特征差异的鲁棒性强,适配地形多变、环境异构的复杂场景。从技术逻辑来看,这4类方法呈现从表层数据到深层关系的递进特征,形成了清晰的技术选型思路:简单场景可优先选择实例或模型迁移,复杂跨域场景则更适配特征或关系迁移,有效拓展了路径规划算法的环境适配范围。

在迁移学习赋能路径规划的技术落地过程中,多重现实约束对算法的泛化能力与工程实用性也提出了严峻考验,主要体现在以下3个方面。

(1)区域差异。地理环境特征与数据分布的显著异质性构成了迁移学习跨区域应用的核心障碍[69]。不同区域的地形地貌、障碍物分布模式及传感器观测特性存在本质差异,导致源域训练的模型难以直接映射目标域的环境动态。例如,城市街区的网格状道路布局与山地环境的非结构化路径场景,在特征空间上存在显著鸿沟,若直接迁移未经适配的规划策略,易引发导航精度下降甚至安全失效。

(2)负迁移。当源域与目标域的特征空间存在本质冲突时,迁移学习可能引发负迁移现象,导致目标任务性能退化。典型表现为:在源域简单规则环境中习得的策略迁移至目标域复杂不规则场景时,因缺乏对新特征的有效建模,出现避障失效或路径次优问题[70]。

(3)实时性约束。动态场景下的路径规划任务对算法响应速度提出严格要求[71],但迁移学习引入的复杂模型结构如深度神经网络、多任务学习框架时,与高频次知识迁移操作往往导致计算开销显著增加,难以满足实时决策需求。

4 融合强化学习和迁移学习的路径规划研究与展望

强化学习与迁移学习的有机融合为路径规划技术革新构建了创新性技术范式,推动智能体从依赖单一场景的低效试错学习,转向基于跨域知识迁移的高效适应模式,成为解决复杂动态环境路径规划问题的核心方向。其中,强化学习通过与目标域环境的实时交互,动态优化生成贴合复杂场景的路径决策策略;迁移学习则负责将源域中积累的环境特征表征、奖励函数设计经验或预训练策略进行跨域迁移,有效缓解强化学习在样本效率、跨场景泛化能力等方面的固有缺陷,二者的技术融合既能突破强化学习在高维稀疏奖励场景中的训练数据瓶颈,又弥补了传统迁移学习在动态环境中策略自适应调整的能力短板。

4.1 研究重点

当前该领域的研究重点集中在3个核心方向,直接针对复杂动态环境下的路径规划核心诉求。

(1)跨域知识迁移的有效性。核心是精准提取源域与目标域的共性知识(如环境拓扑结构、避障决策逻辑),实现从仿真环境到真实物理环境、从简单静态场景到复杂动态场景的高效迁移,例如,将仓储机器人的路径规划经验迁移至户外配送机器人场景,无人机集群通过迁移学习复用单无人机的避障知识,结合多目标优化平衡集群协同与路径效率[72]。

(2)动态环境下的协同优化。需平衡迁移学习的知识复用效率与强化学习的实时决策适应性,重点应对环境中动态障碍物、突发场景变化等不确定因素,确保策略在动态变化中仍能保持高效与安全。

(3)安全与泛化的双重保障。面向自动驾驶、服务机器人等安全敏感场景,在提升策略跨场景适配性的同时,需确保路径规划的安全性与决策可解释性。

4.2 核心难点

现有研究仍面临四大关键瓶颈,制约技术的工程化落地。

(1)域相似性量化难题:源域与目标域的环境动力学、特征分布存在显著异质性,难以建立统一的相似性评估标准,易引发负迁移现象,导致目标任务性能退化。

(2)实时性与复杂度的矛盾:迁移学习引入的特征对齐、模型微调等操作会增加计算开销,而强化学习需通过实时交互响应环境变化,二者形成冲突,难以满足动态场景(如自动驾驶高速避障)的高频决策要求。

(3)多目标优化耦合:路径规划的效率、安全性、能耗等目标相互冲突,如何通过构建动态平衡的优化模型,避免单一目标导向的策略偏差仍是核心难题,如因追求速度而忽视安全。多任务差分进化算法通过强化学习与元知识迁移动态调整目标权重,为这类多目标冲突场景提供了可行解决方案[73]。

(4)仿真-现实鸿沟:仿真环境中训练的模型因缺乏真实场景的传感器噪声、地形差异等约束,迁移至现实场景后易出现策略鲁棒性下降,难以直接工程落地。

4.3 未来研究方向

针对上述重点与难点,未来可聚焦以下方向深入探索,推动技术突破与场景落地。

(1)高效知识迁移机制:重点突破域相似性量化与负迁移抑制技术,通过图神经网络挖掘环境拓扑关联、构建域适配性评估模型,自动化提取环境特征表示、策略参数配置、奖励函数结构等核心知识组件;结合动态优化算法实现跨域知识的选择性复用,减少无效知识对目标任务的干扰,提升迁移精度与效率。

(2)动态协同优化技术:采用模型轻量化技术降低迁移学习的计算开销,结合边缘计算提升实时决策效率,任务拆分与并行更新,更适配多路径协同优化的高效决策需求[74];融合时序建模方法捕捉环境动态变化规律,增强策略对动态障碍物、突发场景的适应性;针对多智能体场景,探索分布式迁移强化学习,实现集群协同决策。

(3)安全与可解释性提升:将安全约束嵌入强化学习的奖励函数设计,通过迁移源域成熟安全策略加速目标域安全策略收敛,例如,Zhu等[75]在混合动力汽车的生态驾驶路径规划中,就实现了安全驾驶与能耗优化的协同,适用于自动驾驶中的安全敏感场景。

(4)仿真-现实闭环系统:构建高保真度的仿真环境,融入真实场景的传感器噪声、地形差异、气象干扰等约束;设计合理的迭代优化流程,通过现实数据反馈持续优化仿真模型与策略参数,逐步缩小仿真与真实环境的差异,提升模型的工程实用性。

(5)拓展应用场景适配:针对多智能体协同、极端环境等特殊场景,探索定制化的迁移强化学习框架,解决场景特异性问题。当前已有多智能体零样本通过跨任务知识迁移,无需目标域样本即可快速适配新覆盖区域,适用于多智能体动态作业场景[76];还有通过分层强化学习与模型预测控制融合,适配了多车辆充电路径与充电时序的协同优化需求[77],未来应探索更多应用场景的拓展。

面向国家重大需求,中国在机器人导航与智能决策领域已形成涵盖清华大学、浙江大学、上海交通大学、哈尔滨工业大学、华中科技大学、北京航空航天大学等单位的完整研究体系,未来将进一步聚焦灾害救援、极地探测、自主交通等关键场景,在推动迁移强化学习路径规划技术实现从理论创新到产业应用的全面突破方面,机遇前景十分广阔。

参考文献

原文顺序 | 出版日期 | 本文引用
[1]

闫皎洁, 张锲石, 胡希平. 基于强化学习的路径规划技术综述[J]. 计算机工程, 2021, 47(10): 16-25.
[2]

Yan Jiaojie, Zhang Qieshi, Hu Xiping. A survey of path planning technology based on reinforcement learning[J]. Computer Engineering, 2021, 47(10): 16-25.
[3]

张荣霞, 武长旭, 孙同超, 等. 深度强化学习及在路径规划中的研究进展[J]. 计算机工程与应用, 2021, 57(19): 44-56.
[4]

Zhang Rongxia, Wu Changxu, Sun Tongchao, et al. Research progress of deep reinforcement learning and its application in path planning[J]. Computer Engineering and Applications, 2021, 57(19): 44-56.
[5]

郭玉力, 杨文帆, 张焕, 等. 导盲机器人路径规划算法研究现状[J]. 医疗卫生装备, 2025, 46(2): 92-101.
[6]

Guo Yuli, Yang Wenfan, Zhang Huan, et al. Research status of path planning algorithms for guide robots[J]. Chinese Medical Equipment Journal, 2025, 46(2): 92-101.
[7]

Hart P E, Nilsson N J, Raphael B. A formal basis for the heuristic determination of minimum cost paths[J]. IEEE Transactions on Systems Science and Cybernetics, 1968, 4(2): 100-107.
[8]

LaValle S M. Rapidly-exploring random trees: a new tool for path planning[M]. Ames: Iowa State University, 1998.
[9]

王皓, 高阳, 陈兴国. 强化学习中的迁移: 方法和进展[J]. 电子学报, 2008, 36(S1): 39-43.
[10]

Wang Hao, Gao Yang, Chen Xingguo. Transfer in reinforcement learning: methods and progress[J]. Acta Electronica Sinica, 2008, 36(S1): 39-43.
[11]

刘明阳, 张震, 王飞. 基于迁移强化学习的机器人路径规划方法[J]. 计算机仿真, 2025, 42(4): 396-400.
[12]

Liu Mingyang, Zhang Zhen, Wang Fei. Robot path planning met-hod based on transfer reinforcement learning[J]. Computer Simulation, 2025, 42(4): 396-400.
[13]

张广林, 胡小梅, 柴剑飞, 等. 路径规划算法及其应用综述[J]. 现代机械, 2011(5): 85-90.
[14]

Zhang Guanglin, Hu Xiaomei, Chai Jianfei, et al. A survey of path planning algorithms and their applications[J]. Modern Machinery, 2011(5): 85-90.
[15]

王鹤静, 王丽娜. 机器人路径规划算法综述[J]. 桂林理工大学学报, 2023, 43(1): 137-147.
[16]

Wang Hejing, Wang Lina. A survey of robot path planning algorithms[J]. Journal of Guilin University of Technology, 2023, 43(1): 137-147.
[17]

Dijkstra E W. A note on two problems in connexion with graphs[J]. Numerische Mathematik, 1959, 1: 269-271.
[18]

武丁杰, 刘葛睿, 谢维正. 基于A*改进蚁群算法的改航路径规划[J]. 科学技术与工程, 2025, 25(32): 14053-14061.
[19]

Wu Dingjie, Liu Gerui, Xie Weizheng. Rerouting path planning based on the improved ant colony algorithm with A*[J]. Science Technology and Engineering, 2025, 25(32): 14053-14061.
[20]

Wang K, Li S, Zhang M, et al. Research on AGV path optimization based on an improved A* and DWA fusion algorithm[J]. Forests, 2026, 17(1): 31.
[21]

Fox D, Burgard W, Thrun S. The dynamic window approach to collision avoidance[J]. IEEE Robotics & Automation Magazine, 1997, 4(1): 23-33.
[22]

贾千禧, 赵旭, 蒙志君. 基于改进DWA的动态环境路径规划算法[J]. 科学技术与工程, 2024, 24(15): 6313-6319.
[23]

Jia Qianxi, Zhao Xu, Meng Zhijun. Path planning algorithm in dynamic environment based on an improved dynamic window approach[J]. Science Technology and Engineering, 2024, 24(15): 6313-6319.
[24]

程传奇, 郝向阳, 李建胜, 等. 融合改进A*算法和动态窗口法的全局动态路径规划[J]. 西安交通大学学报, 2017, 51(11): 137-143.
[25]

Cheng Chuanqi, Hao Xiangyang, Li Jiansheng, et al. Global dynamic path planning combining improved A* algorithm and dynamic window approach[J]. Journal of Xi’an Jiaotong University, 2017, 51(11): 137-143.
[26]

Gong X, Gao Y, Wang F, et al. A local path planning algorithm for robots based on improved DWA[J]. Electronics, 2024, 13(15): 2965.
[27]

Hou X, Zhao Y, Zhang J, et al. Integrated A* and DWA algorithms for emergency rescue path planning[J]. Cluster Computing, 2025, 28: 1059.
[28]

龚立雄, 陈佳霖, 黄霄, 等. 基于改进Informed-RRT*算法的舰载机甲板平面路径规划[J]. 科学技术与工程, 2024, 24(17): 7429-7437.
[29]

Gong Lixiong, Chen Jialin, Huang Xiao, et al. Aircraft deck flat path planning based on improved informed-RRT* algorithm[J]. Science Technology and Engineering, 2024, 24(17): 7429-7437.
[30]

王硕, 段蓉凯, 廖与禾. 机器人路径规划中快速扩展随机树算法的改进研究[J]. 西安交通大学学报, 2022, 56(7): 1-8.
[31]

Wang Shuo, Duan Rongkai, Liao Yuhe. Improved research on rapidly-exploring random tree algorithm in robot path planning[J]. Journal of Xi’an Jiaotong University, 2022, 56(7): 1-8.
[32]

潘国倩, 周新志. 基于启发式强化学习的移动机器人路径规划算法研究[J]. 现代计算机, 2022, 28(10): 57-61.
[33]

Pan Guoqian, Zhou Xinzhi. Research on mobile robot path planning algorithm based on heuristic reinforcement learning[J]. Modern Computer, 2022, 28(10): 57-61.
[34]

张浩昱, 熊凯. 基于近端策略优化算法的四足机器人步态控制研究[J]. 空间控制技术与应用, 2019, 45(3): 53-58.
[35]

Zhang Haoyu, Xiong Kai. Research on gait control of quadruped robots based on proximal policy optimization algorithm[J]. Aerospace Control and Application, 2019, 45(3): 53-58.
[36]

夏伟, 李慧云. 基于深度强化学习的自动驾驶策略学习方法[J]. 集成技术, 2017, 6(3): 29-34.
[37]

Xia Wei, Li Huiyun. Autonomous driving strategy learning method based on deep reinforcement learning[J]. Journal of Integration Technology, 2017, 6(3): 29-34.
[38]

Watkins C J C H. Learning from delayed rewards[D]. Cambridge: University of Cambridge, 1989.
[39]

Watkins C J C H, Dayan P. Q-learning[J]. Machine Learning, 1992, 8: 279-292.
[40]

Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518: 529-533.
[41]

van Hasselt H, Guez A, Silver D. Deep reinforcement learning with double Q-learning[C]//Proceedings of the 29th AAAI Conference on Artificial Intelligence. Austin: AAAI Press, 2015: 2094-2100.
[42]

Kouloughli I, Feciane M K, Fandi W. A Q-learning approach for optimizing the retrieval time in an AS/RS[J]. The International Journal of Advanced Manufacturing Technology, 2025, 140: 5515-5534.
[43]

Antony Vijesh V, Shreyas S R. A weighted smooth Q-Learning algorithm[J]. IEEE Control Systems Letters, 2025, 9: 21-26.
[44]

Barghash A, Abuznaid A. Advances in Q-learning: real-time optimization of multi-distant transportation systems[J]. Applied Sciences, 2025, 15(17): 9493.
[45]

Zheng H, Zhang J L, Jiang M Y, et al. Embodied escaping: end-to-end reinforcement learning for robot navigation in narrow environment[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Hangzhou: IEEE, 2025: 9719-9726.
[46]

Lillicrap T P, Hunt J J, Pritzel A, et al. Continuous control with deep reinforcement learning[C]// 3rd International Conference on Learning Representations. San Diego: ICLR, 2016: arXiv: 1509.02971v5.
[47]

Schulman J, Wolski F, Dhariwal P, et al. Proximal policy optimization algorithms[J]. arXiv Preprint arXiv:1707.06347, 2017.
[48]

Mnih V, Badia A P, Mirza M, et al. Asynchronous methods for deep reinforcement learning[C]// Proceedings of the 33rd International Conference on Machine Learning. New York: PMLR, 2016: 1928-1937.
[49]

Garrido-Castañeda S I, Vasquez J I, Antonio-Cruz M. Coverage path planning using actor-critic deep reinforcement learning[J]. Sensors, 2025, 25(5): 1592.
[50]

Zhou Y, Yang Y, Pan B D, et al. Deep reinforcement learning for real-time airport emergency evacuation using asynchronous advantage actor-critic (A3C) algorithm[J]. Mathematics, 2025, 13(14): 2269.
[51]

Zhu W, Liu X, Liu Y, et al. RT-A3C: real-time asynchronous advantage actor-critic for optimally defending malicious attacks in edge-enabled industrial internet of things[J]. Journal of Information Security and Applications, 2025, 91: 104073.
[52]

Duan J, Li S E, Guan Y, et al. Distributional soft actor-critic with three refinements[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025, 47(5): 3935-3946.
[53]

Gao F, Wu W, Gao W, et al. Flying on point clouds: online trajectory generation and autonomous navigation for quadrotors in cluttered environments[J]. Journal of Field Robotics, 2019, 36: 710-733.
[54]

Ng A Y, Russell S J. Algorithms for inverse reinforcement learning[C]// Proceedings of the 17th International Conference on Machine Learning. San Francisco: Morgan Kaufmann, 2000: 663-670.
[55]

Ziebart B D, Maas A L, Bagnell J A, et al. Maximum entropy inverse reinforcement learning[C]// Proceedings of the 23rd AAAI Conference on Artificial Intelligence. Chicago: AAAI Press, 2008: 1433-1438.
[56]

Ho J, Ermon S. Generative adversarial imitation learning[C]// Advances in Neural Information Processing Systems. San Diego: NIPS, 2016: 4565-4573.
[57]

张超, 白文松, 杜歆, 等. 模仿学习综述: 传统与新进展[J]. 中国图象图形学报, 2023, 28(6): 1585-1607.
[58]

Zhang Chao, Bai Wensong, Du Xin, et al. A survey of imitation learning: traditional and new advances[J]. Journal of Image and Graphics, 2023, 28(6): 1585-1607.
[59]

陈希亮, 曹雷, 何明, 等. 深度逆向强化学习研究综述[J]. 计算机工程与应用, 2018, 54(5): 24-35.
[60]

Chen Xiliang, Cao Lei, He Ming, et al. A survey of deep inverse reinforcement learning[J]. Computer Engineering and Applications, 2018, 54(5): 24-35.
[61]

张立华, 刘全, 黄志刚, 等. 逆向强化学习研究综述[J]. 软件学报, 2023, 34(10): 4772-4803.
[62]

Zhang Lihua, Liu Quan, Huang Zhigang, et al. A survey of inverse reinforcement learning[J]. Journal of Software, 2023, 34(10): 4772-4803.
[63]

Wulfmeier M, Rao D, Wang D Z, et al. Large-scale cost function learning for path planning using deep inverse reinforcement learning[J]. The International Journal of Robotics Research, 2017, 36(10): 1073-1087.
[64]

Sutton R S, Precup D, Singh S. Between MDPs and semi-MDPs: a framework for temporal abstraction in reinforcement learning[J]. Artificial Intelligence, 1999, 112(1/2): 181-211.
[65]

黄志刚, 刘全, 张立华, 等. 深度分层强化学习研究与发展[J]. 软件学报, 2023, 34(2): 733-760.
[66]

Huang Zhigang, Liu Quan, Zhang Lihua, et al. Research and development of deep hierarchical reinforcement learning[J]. Journal of Software, 2023, 34(2): 733-760.
[67]

Yan K, Liu D, Liu Z, et al. An inspection path planning approach based on hierarchical reinforcement learning[J]. Journal of Manufacturing Systems, 2026, 85: 34-50.
[68]

殷昌盛, 杨若鹏, 朱巍, 等. 多智能体分层强化学习综述[J]. 智能系统学报, 2020, 15(4): 646-655.
[69]

Yin Changsheng, Yang Ruopeng, Zhu Wei, et al. A survey of multi-agent hierarchical reinforcement learning[J]. CAAI Tran-sactions on Intelligent Systems, 2020, 15(4): 646-655.
[70]

van Essen R, van Henten E, Kootstra G. UAV-based path planning for efficient localization of non-uniformly distributed weeds using prior knowledge: a inforcement-learning approach[J]. Computers and Electronics in Agriculture, 2025, 237: 110651.
[71]

Farooq S S, Rahman H, Abdul W S, et al. Curiosity-driven exploration in reinforcement learning: an adaptive self-supervised learning approach for playing action games[J]. Computers, 2025, 14(10): 434.
[72]

Shen C Q, Mao S H, Xu B Z, et al. Spiral complete coverage path planning based on conformal slit mapping in multi-connected domains[J]. International Journal of Robotics Research, 2024, 43(14): 2183-2203.
[73]

Liu X, Wen S, Guo Z, et al. Transfer learning-based sparse-reward meta-Q-learning algorithm for active SLAM[J]. Expert Systems with Applications, 2026, 299: 129799.
[74]

Tobin J, Fong R, Ray A, et al. Domain randomization for transferring deep neural networks from simulation to the real world[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems. Vancouver: IEEE, 2017: 23-30.
[75]

Finn C, Abbeel P, Levine S. Model-agnostic meta-learning for fast adaptation of deep networks[C]// Proceedings of the 34th International Conference on Machine Learning. Sydney: PMLR, 2017: 1126-1135.
[76]

Pan S J, Yang Q. A survey on transfer learning[J]. IEEE Transa-ctions on knowledge and data engineering, 2010, 22(10): 1345-1359.
[77]

庄福振, 罗平, 何清, 等. 迁移学习研究进展[J]. 软件学报, 2015, 26(1): 26-39.
[78]

Zhuang Fuzhen, Luo Ping, He Qing, et al. Research progress of transfer learning[J]. Journal of Software, 2015, 26(1): 26-39.
[79]

Xu X, Liu X, Zhao Y, et al. Efficient dynamic path planning algorithm for asvs based on transfer reinforcement learning[J]. IEEE Transactions on Intelligent Transportation Systems, 2025, 26(11): 19270-19280.
[80]

张倩, 李明, 王雪松, 等. 一种面向多源领域的实例迁移学习[J]. 自动化学报, 2014, 40(6): 1176-1183.
[81]

Zhang Qian, Li Ming, Wang Xuesong, et al. Instance transfer learning for multi-source domains[J]. Acta Automatica Sinica, 2014, 40(6): 1176-1183.
[82]

Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]// Advances in Neural Information Processing Systems. Montreal: NIPS, 2014: 2672-2680.
[83]

梁俊杰, 韦舰晶, 蒋正锋. 生成对抗网络GAN综述[J]. 计算机科学与探索, 2020, 14(1): 1-17.
[84]

Liang Junjie, Wei Jianjing, Jiang Zhengfeng. A survey of generative adversarial networks (GAN)[J]. Journal of Frontiers of Computer Science and Technology, 2020, 14(1): 1-17.
[85]

Quang T V, Doan D T. Online transfer learning(OTL) for accele-rating deep reinforcement learning (DRL) for building energy management[J]. Journal of Building Performance Simulation, 2025.DOI: 10.1080/19401493.2025.2511826.
[86]

Xu C, Inuiguchi M, Hayashi N, et al. Enhancing reinforcement learning-based energy management through transfer learning with load and PV forecasting[J]. IEEE Access, 2025, 13: 43956-43972.
[87]

Zhao G, Cheng Y, Jia Y, et al. A transfer-learning-based STL-LSTM framework for significant wave height forecasting[J]. Journal of Marine Science and Engineering, 2026, 14(2): 146.
[88]

Ramos D, Lacasa L, Valero E, et al. Transfer learning-enhanced deep reinforcement learning for aerodynamic airfoil optimization subject to structural constraints[J]. Physics of Fluids, 2025, 37: 85194.
[89]

郭书杰, 田华, 王伟. 一种复杂场景下的路径规划问题解决方法[J]. 计算机技术与发展, 2022, 32(3): 27-33.
[90]

Guo Shujie, Tian Hua, Wang Wei. A solution method for path planning problems in complex scenarios[J]. Computer Technology and Development, 2022, 32(3): 27-33.
[91]

禹鑫燚, 刘飞, 欧林林. 基于图神经网络的多智能体路径规划方法[J]. 高技术通讯, 2024, 34(10): 1081-1090.
[92]

Yu Xinyi, Liu Fei, Ou Linlin. Multi-agent path planning method based on graph neural networks[J]. Chinese High Technology Letters, 2024, 34(10): 1081-1090.
[93]

Shahed S, Arman S M, Sami S H, et al. A hybrid approach for facial parsing using transfer learning[J]. Scientific Reports, 2026, 16: 3405.
[94]

邢强, 陈中, 冷钊莹, 等. 基于实时交通信息的电动汽车路径规划和充电导航策略[J]. 中国电机工程学报, 2020, 40(2): 534-550.
[95]

Xing Qiang, Chen Zhong, Leng Zhaoying, et al. Path planning and charging navigation strategy for electric vehicles based on real-time traffic information[J]. Proceedings of the CSEE, 2020, 40(2): 534-550.
[96]

窦明星. 面向跨楼层场景的可重构机器人自主路径规划关键技术研究[D]. 重庆: 重庆大学, 2023.
[97]

Dou Mingxing. Key technology research on autonomous path planning of reconfigurable robots for cross-floor scenarios[D]. Chongqing: Chongqing University, 2023.
[98]

李永迪. ROS下基于深度强化学习的移动机器人局部路径规划研究[D]. 淄博: 山东理工大学, 2023.
[99]

Li Yongdi. Research on local path planning of mobile robots based on deep reinforcement learning under ROS[D]. Zibo: Shandong University of Technology, 2023.
[100]

Farooq F, Ali Z A, Shafiq M, et al. Intelligent planning of UAV flocks via transfer learning and multi-objective optimization[J]. Arabian Journal for Science and Engineering, 2025, 50: 16089-16106.
[101]

Song Y, Xu Y, Pi D, et al. Competitive many-task differential evolution with reinforcement learning and meta-knowledge transfer[J]. Knowledge-Based Systems, 2025, 326: 113931.
[102]

Hu H, Liu Z, Wu F. RL-PMO: a reinforcement learning-based optimization algorithm for parallel SFC migration[J]. Sensors, 2026, 26(1): 242.
[103]

Zhu Z, Han Y, Du A. Enhanced eco-driving and energy management for heterogeneous hybrid electric vehicles through integrated transfer learning and deep reinforcement learning[J]. Energy, 2026, 342: 139626.
[104]

Carvalho J P, Aguiar A P. Multi-agent reinforcement learning for zero-shot coverage path planning with dynamic UAV networks[J]. Robotics and Autonomous Systems, 2026, 195: 105163.
[105]

Aljabri M A, Ajour M N, Bahabri M O, et al. Hierarchical deep reinforcement learning and model predictive control for voltage-aware electric vehicle charging coordination in distribution network[J]. IEEE Access, 2026, 14: 1123-1140.

基金资助

国家自然科学基金(62301496)

中国博士后科学基金特别资助项目(2025T180781)

国家资助博士后研究人员计划(GZC20232447)

河南省科技攻关项目(252102311095)

河南省科技攻关项目(252102210008)

PDF (2819KB)

42

访问

0

被引

详细
导航
相关文章

/

〈 〉

京ICP备05035734号-4
版权所有 © 《科学技术与工程》编辑部
地址： 北京市海淀区学院南路86号 《科学技术与工程》编辑部　邮编：100081
电话：(010)62118920 　E-mail：stae@vip.163.com
技术支持：北京玛格泰克科技发展有限公司 　
网站管理员登录