融合数字孪生与分层控制的轨道物流路径规划方法

陈勇强; 尹健辰; 王孟博; 谢军; 樊玮; 丁亮; 徐鹏

doi:10.12404/j.issn.1671-1815.2503948

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (18) :7784-7795 DOI: 10.12404/j.issn.1671-1815.2503948

自动化技术、计算机技术

融合数字孪生与分层控制的轨道物流路径规划方法

陈勇强 ¹ ,
尹健辰 ¹ ,
王孟博 ¹ ,
谢军 ¹ ,
樊玮 ² ,
丁亮 ¹ ,
徐鹏 ¹

作者信息 +

Rail Logistics Path Planning Method Integrating Digital Twin and Hierarchical Control

Author information +

文章历史 +

摘要

为提升轨道物流系统的智能化与调度效率,提出了一种融合数字孪生技术与强化学习算法的轨道物流路径规划系统。首先,设计了一套层级分明、区域划分合理的控制系统架构,通过“分区域分层级”的混合控制网络,实现对物流机器人与轨道设施的高效协同管理。其次,构建符合ISO 23247标准的“四层五空间”数字孪生系统架构,确保物理系统与虚拟孪生体的高实时性与高一致性。针对多机器人路径冲突与路径规划效率问题,提出改进的双重深度Q网络算法(improved double deep Q-network,ID3QN),引入三维奖励机制(安全性、通行效率与时效性)与动作剪枝策略,有效提升路径规划的收敛性与稳定性。实验结果表明,该系统在复杂动态环境中展现出良好的调度性能,机器人平均路径时间缩短9.1%,冲突发生率降低12.3%。相关仿真与实验测试工作验证了所提方法在实际轨道物流场景中的可行性,体现了其在提升轨道物流系统智能化水平方面的应用价值。

Abstract

To enhance the intelligence and scheduling efficiency of rail-guided logistics systems, a path planning system integrating digital twin technology with reinforcement learning algorithms was proposed. First, a hierarchically structured and regionally segmented control system architecture was designed. By adopting a hybrid control network based on “regional division and hierarchical management,” the system enables efficient collaborative control of logistics robots and track-side facilities. Second, a “four-layer, five-space” digital twin architecture conforming to the ISO 23247 standard was constructed to ensure high real-time responsiveness and consistency between the physical system and its virtual counterpart. To address path conflicts among multiple robots and improve planning efficiency, ID3QN (improved double deep Q-network) algorithm was proposed. This algorithm introduces a three-dimensional reward mechanism—comprising safety, traffic efficiency, and timeliness—along with an action pruning strategy, significantly enhancing the convergence and stability of path planning. Experimental results demonstrate that the proposed system exhibits excellent scheduling performance in complex and dynamic environments, reducing the average robot path time by 9.1% and lowering the conflict rate by 12.3%. Relevant simulation and experimental testing have validated the feasibility of the proposed method in practical rail-guided logistics scenarios, demonstrating its application value in enhancing the intelligence level of rail-guided logistics systems.

Graphical abstract

关键词

数字孪生 / 轨道物流 / 深度强化学习 / 路径规划 / 控制系统结构

Key words

digital twin / rail logistics / deep reinforcement learning / path planning / control system architecture

引用本文

引用格式 ▾

陈勇强, 尹健辰, 王孟博, 谢军, 樊玮, 丁亮, 徐鹏. 融合数字孪生与分层控制的轨道物流路径规划方法[J]. 科学技术与工程, 2026, 26(18): 7784-7795 DOI:10.12404/j.issn.1671-1815.2503948

CHEN Yong-qiang, YIN Jian-chen, WANG Meng-bo, XIE Jun, FAN Wei, DING Liang, XU Peng. Rail Logistics Path Planning Method Integrating Digital Twin and Hierarchical Control[J]. Science Technology and Engineering, 2026, 26(18): 7784-7795 DOI:10.12404/j.issn.1671-1815.2503948

登录浏览全文

4963

注册一个新账户忘记密码

随着智慧医院^[1]、智能制造和数字园区等场景对物资传输效率与系统智能化水平的持续提升需求,轨道物流系统(track vehicle system, TVS)^[2-4]作为高效、安全、自动化的运输解决方案,日益成为室内物流的关键基础设施。该系统通过在建筑内布设轨道,并以轨道物流机器人为载体,实现跨楼层、跨区域的快速物品输送,广泛应用于医院药品配送、实验室样本传输、工业零部件调运等场景。然而,传统轨道物流系统^[5]在控制结构上普遍存在集中性强、扩展性差、故障风险高等问题,在复杂动态环境下的路径规划与冲突处理能力亦相对有限,难以满足当代智能物流系统对高效性、自主性与鲁棒性的综合要求。

近年来,数字孪生^[6]技术的发展为轨道物流系统的智能升级提供了新的思路。数字孪生通过构建与物理系统同步运行的虚拟映射体,实现状态实时感知、智能决策与虚实协同控制,在航天制造^[7]、智能电网^[8]、离散制造^[9]等领域已得到广泛应用。闫琼等^[10]提出了一种基于犹豫模糊语言的数字孪生车间质量综合评价方法。Kaewunruen等^[11]基于数字孪生系统构建了一套全生命周期系统应用在轨道物流上,有效提升了管理与经济效率。然而,当前面向轨道物流场景的数字孪生系统研究仍处于起步阶段,尚缺乏一套面向实际工程可部署的系统架构设计与控制实现方案。

同时,强化学习作为近年来兴起的一种智能优化方法,已被广泛应用于多机器人路径规划^[12]与调度优化^[13]中,其表现出优于智能仿生算法和传统启发式搜索算法,包括粒子群算法、遗传算法、蚁群算法、Dijkstra 算法、A*算法及其混合算法的性能^[14]。范厚明等^[15]提出了一种改进的自适应遗传算法,并结合 Dijkstra算法解决了路径冲突问题,并降低了算法的求解时间。Nishida等^[16]考虑交货时间、迟到时间以及总完工时间,设计了一种启发式算法,最大限度降低了车辆按时交货路径规划场景下的路径冲突问题。张凯月等^[17]针对危化品车间调度设计了一种遗传算法,有效提升了危化品运输中的安全性。但在轨道物流系统这一高度结构化、动作受限、冲突频发的环境中,标准强化学习方法面临动作不完全、收敛速度慢与冲突规避能力弱等挑战。

针对上述问题,现提出一种以数字孪生驱动的轨道物流融合分层控制系统,并引入改进型双重深度Q网络(improved double deep Q-network,ID3QN)算法进行路径规划优化。具体工作包括:①设计符合ISO 23247^[18]标准的“四层五空间”数字孪生系统架构,构建由接入层、汇聚层、核心层与用户层构成的分布式虚实融合体系;②提出“分区域+分设备”的混合控制结构,实现固定轨道设备与移动机器人控制方式的动态协同,提升系统扩展性与通信冗余能力;③基于D3QN算法引入初始经验、动作剪枝与冲突消解机制,形成多机器人协同路径规划的ID3QN算法,提升规划效率与系统稳定性,为轨道物流系统在复杂环境下的多机器人协同调度提供一种可行的架构设计与算法方案,对智慧医院、智能制造等场景下室内物流系统的实际部署具有一定的工程参考价值。

1 轨道物数字孪生系统

1.1 轨道物流实体系统

轨道物流传输系统(track vehicle system,TVS)常用于同楼层、跨楼层及跨楼栋的物资输送任务。根据建筑结构与物流需求,轨道可布设于楼层上部及竖井等区域;以轨道物流机器人为运输载体,机器人在轨道上自主运行,实现物品的全流程自动化传输。轨道物流控制系统的核心组成包括:轨道物流机器人、换轨器、物流控制站点及中央控制中心。

轨道物流机器人本体需具备多项基本功能,以满足一般物流系统的操作便捷性和运行安全性。各功能模块的选取及其描述如表1所示。

换轨器用于轨道物流机器人在不同轨道间的切换,主要分为平行换轨器和垂直换轨器两类。平行换轨器[图1(a)]通过轨道段的平移运动,使机器人能够切换至相邻平行轨道;垂直换轨器[图1(b)]则依靠轨道段的旋转运动,实现机器人行驶方向的转换及垂直轨道的切换。

在物流控制站点,主要采用触摸屏等人机交互设备用于接收和下达物流指令。控制中心作为整个轨道物流系统的“大脑”,承担着设备调度与状态监测等核心任务,同时也是数字孪生系统运行的物理承载体。为满足系统在运行过程中的多样化控制需求,轨道物流系统还配备了区域控制器、防火门、断轨器、充电位等辅助设备,确保系统的安全性、稳定性与智能化水平。

1.2 控制系统结构

在工业控制领域,集中式与分布式结构各有所长,二者并非互斥,常通过混合式设计取长补短^[19]。针对轨道物流系统,控制层级又可分为“分区域控制”(将物流空间划分为若干区域,各配区域控制器)和“分设备控制”(同类设备由专属从控制器管理)。在通信稳定性、单点故障风险、数字孪生数据实时交互、局部运行效率及全局调度效率5个方面,二者各具优势。鉴于此,提出一种分区域分层级的控制网络:对固定轨道设备实施分区域控制,对移动物流机器人采用分设备控制,既融合了两种架构的优点,又为数字孪生驱动的轨道物流调度系统提供了坚实的实施基础(图2)。

根据建筑的实际建设情况与物流运行需求,将物流量大或物流关联性强的建筑空间划分为同一控制区域。区域内的固定设备,如换轨器、防火门及控制站点等,统一由该区域的区域控制器通过有线通信方式进行集中管理与控制。对于系统中的移动设备(主要指轨道物流机器人),则采用LoRa无线通信方式,由控制中心直接进行调度与控制。

参考一般工业网络的分层设计理念,轨道物流控制系统的网络结构划分为4个层级:设备层、控制层、汇聚层与核心层。各层级间职责清晰、协同运行,共同支撑系统的高效稳定运作。

(1)设备层:主要包括轨道物流机器人、换轨器、控制站点等终端执行设备。固定设备通过有线以太网接入系统,其动作控制由所在区域的区域控制器直接完成;而轨道物流机器人等移动设备则通过无线网络接入,由控制中心进行调度与管理。该层级的通信结构设计兼顾了通信稳定性、单点故障风险、孪生数据的实时感知与交互能力、局部运行效率以及全局调度计算效率等关键因素,在多维性能之间实现了良好的综合优化。

(2)控制层。控制层主要指用于管理底层执行设备的区域控制器。该控制器通过丰富的网络接口采集底层设备的接入数据,并进行预处理,随后经由相应的汇聚交换机将数据上传至控制中心。控制中心基于已训练完成的基于D3QN强化学习调度模型,向区域控制器下达调度决策指令,区域控制器据此生成具体的动作指令,从而实现对底层执行设备的智能控制。

系统中的移动设备未配置对应的控制层设备,其动作控制由控制中心直接完成。轨道物流机器人作为物流系统的核心执行单元,不仅能够分担部分运行指令的本地计算任务,同时也是数字孪生系统中的关键调度对象,其各类状态信息均通过无线网络实时传输。通过引入基于D3QN的改进算法,并简化数据网络的层级结构,系统得以实现物理信息的深度融合,有效提升全局调度效率与资源分配的优化能力。

(3)汇聚层:由多台三层交换机构成,是系统物理数据的关键汇聚节点。该层能够以更高的交换速率处理来自设备层的大量通信流量,并向核心层提供高带宽的上行链路。各交换机之间通过环网结构连接,采用MRP(media redundancy protocol)构建环形冗余网络,以显著增强系统的网络可靠性与容错能力。在系统正常运行状态下,环网中仅保留一条链路处于备用状态,其余链路负责数据传输;一旦任意链路发生故障,MRP协议可在数毫秒内快速检测并响应,自动屏蔽可能引起环路的路径,同时激活备用链路以恢复网络连通性。该机制确保了系统通信网络的高可用性、快速恢复能力和运行稳定性,为轨道物流系统提供坚实的通信支撑。

(4)核心层。主要负责调度整个轨道物流数字孪生系统,具有大缓存、高容量、虚拟化、可扩展性、模块冗余技术等方面的特征。主要设备有主控制器、核心交换机和网关等,一般位于固定的控制中心,控制中心通过虚拟路由冗余协议(virtual router redundancy protocol,VRRP)连接汇聚层的两台交换机。VRRP是一种为提高路由器冗余性和网络高可用性而设计的标准协议,可以使两台物理交换机可以组成一个虚拟路由器,在这个虚拟路由器中通常由一台交换机担任主路由器,另一台作为备份;当主路由器出现故障时,备份设备能够自动接管其路由功能,从而确保网络通信不中断;该种设计可以进一步低单点故障风险,并提高网络的可靠性和连续性。此外,控制中心的数据可以通过网关安全地接入外部IT网络,既保障系统运行过程的安全稳定,又能为应用方对物流系统的管理提供丰富的信息支持,扩展数字孪生的功能范围。

1.3 孪生系统架构

轨道物流调度系统与其他智能制造领域的数字孪生系统一样,面临设备结构复杂、数据量庞大、实时性要求高等挑战。为应对上述问题,已有诸多学者提出“分布式数字孪生”^[20]概念,其核心思想是在系统中构建多终端、多模型的协同交互体系,将计算任务分散至多个节点,并通过网络实现高效协同,从而提升数据处理效率与系统响应能力。基于上述理念,参考国际标准化组织(International Organization for Standardization, ISO)发布的制造系统数字孪生标准体系 ISO 23247,融合分布式数字孪生架构思想,面向轨道物流应用场景,设计了一种“四层五空间”数字孪生系统架构,如图3所示。

该架构整体从下到上分为接入层、汇聚层、核心层、用户层,包括5个域空间,即设备实体、数据域、核心孪生域、用户实体、外部域。

(1)接入层是轨道物流系统的基础组成部分,主要由轨道物流机器人、区域控制器、换轨器、控制站点等各类执行与感知设备构成。该空间通过系统内部署的多种传感器与感知装置实时采集运行数据,是整个数字孪生系统最主要的数据来源和信息输入入口。

(2)汇聚层由各种网络设备和数据存储设备组成,用于进行数据的分类存储与传输;其执行、仿真和感知等数据共同组成了孪生系统的数据域,相关数据用于构建核心孪生体和控制设备实体。

(3)核心层是实现数字孪生系统核心功能的关键所在。核心孪生域由核心层的主控制器构成实物载体,承载轨道物流数字孪生系统的整体运行程序,负责数据处理、算法执行、实时预测与仿真分析等功能。系统中部署了基于D3QN改进的多智能体强化学习调度算法,通过对历史状态数据与实时反馈的深度学习,实现对复杂动态环境下多物流单元的最优调度策略生成,并在系统运行中不断自我优化。

核心层生成的调度与预测结果将实时传输至数据域和用户实体,用于指导各系统实体的协同运作。核心孪生域内部集成了包括轨道物流机器人在内的多个关键孪生体,其所需的控制指令与感知数据来自上层的用户实体和数据域输入。通过核心层与多智能体强化学习模型的深度融合,系统不仅提升了数字孪生环境下的感知-决策-执行一体化能力,也显著增强了对轨道物流系统的智能化、自主化和实时响应水平。

(4)用户层的用户实体主要负责与核心孪生域进行交互,数字孪生体则可以根据用户实体的情况进行定制化的封装与集成。此外,部分设备实体可以由用户实体直接下达控制指令进行控制,可最大化保证系统内的实时交互传感。

(5)此外,用户层还包含外部域,用于通过系统预设的外域接口实现与其他系统的数据交互与跨域协同。外部域通常指本地数字孪生系统之外的外部平台或系统,如客户关系管理系统(customer relationship management, CRM)、制造执行系统(manufacturing execution system, MES)、企业资源计划系统(enterprise resource planning, ERP)等。该机制有助于实现轨道物流系统在更大范围内的信息集成与业务协同。

该“四层五空间”轨道物流数字孪生系统架构充分利用分层控制网络结构的优势,使系统在实时监测、动态控制与智能优化方面具备更强能力,能够及时响应生产系统状态的变化,满足轨道物流系统对高效动态调度的实际需求。

2 问题描述与数学建模

2.1 问题描述

在轨道物流机器人接受任务调度后,如何选择一条时间最短,路程最近,少拥堵,无冲突的最优路径,是需要解决的核心问题。因此,在D3QN(dueling double deep Q-network, D3QN)算法上提出了ID3QN(improved dueling double deep Q-network, ID3QN)算法,设计了三维评价指标与动作剪枝,并将其作为奖励函数,从而得到最优的路径规划。与传统单机器人启发式算法不同,深度强化学习在解决大规模机器人配送场景拥有着出色的表现。将各个物流机器人看作一个个独立的智能决策数字孪生个体,在核心层数字孪生空间内进行探索学习,通过奖励函数与孪生空间环境进行交互,从而在真实场景中进行决策。

2.2 数学模型

在设计核心层孪生空间时,为简化计算难度与模型,将三维空间轨道物流系统在训练时拓扑为二维地图如图4和图5所示,其中各个站点之间的距离与换轨器的距离均为三维空间真实距离。

第i个机器人在t时刻的状态为

${\mathit{S}}_{\mathit{t}}^{\mathit{i}}$

,通过采取动作a与医院轨道环境进行交互,获得奖励R并移动到下一个状态

${\mathit{S}}_{\mathit{t}+1}^{\mathit{i}}$

,通过联合状态S_t={

${\mathit{s}}_{\mathit{t}}^{1}$

${\mathit{s}}_{\mathit{t}}^{2}$

,…,

${\mathit{s}}_{\mathit{t}}^{\mathit{n}}$

}表示在t时刻中所有机器人的状态信息的公式为

(1)S_t={${\mathit{s}}_{\mathit{t}}^{1}$,${\mathit{s}}_{\mathit{t}}^{2}$,…,${\mathit{s}}_{\mathit{t}}^{\mathit{n}}$}={$[{\mathit{x}}_{1},{\mathit{y}}_{1},{\mathit{x}}_{1}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}},{\mathit{y}}_{1}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}{]}_{\mathit{t}}$,…,$[{\mathit{x}}_{\mathit{n}},{\mathit{y}}_{\mathit{n}},{\mathit{x}}_{\mathit{n}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}},{\mathit{y}}_{\mathit{n}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}{]}_{\mathit{t}}$}

式(1)中:S_t为当前环境状态;n为被调度的机器人数量;

${\mathit{S}}_{\mathit{t}}^{\mathit{i}}$

由[x_i,y_i,

${\mathit{x}}_{\mathit{i}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}$

${\mathit{y}}_{\mathit{i}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}$

]构成,分别为当前位置坐标(x_i,y_i)与目标位置坐标(

${\mathit{x}}_{\mathit{i}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}$

${\mathit{y}}_{\mathit{i}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}$

)。

与状态空间类似,机器人在数字孪生空间的决策有5个动作:前进、后退、左变道、右变道与停止。将每个动作的动作决策为a_i,动作集合便可以表示为

(2)A_t=$\{{\mathit{a}}_{1},{\mathit{a}}_{2},\dots,{\mathit{a}}_{\mathit{n}}{\}}_{\mathit{t}}$

与传统的动作空间不同,由于轨道的特殊性限制了5个动作中左右变道只能在转轨器上执行,故定义了动作可执行函数,初始化经验与冲突消减策略,如图6所示。

(3)λ_feasible(s,a)=$\left\{\begin{array}{l}1,\mathrm{动}\mathrm{作}\mathit{a}\mathrm{在}\mathrm{状}\mathrm{态}\mathit{s}\mathrm{可}\mathrm{行}\\ 0,\mathrm{动}\mathrm{作}\mathit{a}\mathrm{在}\mathrm{状}\mathrm{态}\mathit{s}\mathrm{不}\mathrm{可}\mathrm{行}\end{array}\right.$

(4)${\mathit{A}}_{\mathit{i}}^{\mathrm{p}\mathrm{r}\mathrm{u}\mathrm{n}\mathrm{e}\mathrm{d}}$={a_i∈A_i|λ_feasible(s,a)=1}

式中:λ_feasible=1为动作a在状态s可行,否则表示动作a在状态s不可行;

${\mathit{A}}_{\mathit{i}}^{\mathrm{p}\mathrm{r}\mathrm{u}\mathrm{n}\mathrm{e}\mathrm{d}}$

为可行动作集合。

动作剪切表示在选择动作时,仅从可行动作的集合中进行采用,对不可能多做进行剪枝。

初始经验表示在动作时,有1-ε的概率采用D3QN算法动作,ε的概率包含两种情况,可以使用初始经验便采用初始经验,若不能采用便使用Greedy策略对环境进行探索。

冲突消解表示在轨道物流运输中,相向冲突和交叉冲突发生前,对机器人划分优先级,若机器人R_i,与R_j发生交叉冲突,那么优先性更高的机器人先行;若发生相向冲突,那么根据机器人与目标站点的欧氏距离计算,更近的机器人优先级更高。

与2.1节提出的3大指标相对应,设计出以安全性、通行效率与时效性为评价指标的奖励函数,公式为

(5)R_safe1=$\left\{\begin{array}{ll}-{\mathit{R}}_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}},& \mathrm{发}\mathrm{生}\mathrm{碰}\mathrm{撞}\\ -{\mathit{R}}_{\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}},& \mathrm{未}\mathrm{发}\mathrm{生}\mathrm{碰}\mathrm{撞}\end{array}\right.$

(6)R_safe2=$\left\{\begin{array}{ll}-\frac{{\mathit{R}}_{\mathrm{c}\mathrm{o}\mathrm{l}\mathrm{l}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}}{\mathit{d}},& \mathit{d}\le \mathit{l}\\ -{\mathit{R}}_{\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}},& \mathit{d}>\mathit{l}\end{array}\right.$

(7)R_efficiency=-R_collision

${\mathit{\varphi }}_{\mathit{k}}^{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{g}\mathrm{e}\mathrm{s}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}$

(8)R_time1=$\left\{\begin{array}{ll}{\mathit{R}}_{\mathrm{a}\mathrm{r}\mathrm{r}\mathrm{i}\mathrm{v}\mathrm{e}\mathrm{d}},& [{\mathit{x}}_{\mathit{i}},{\mathit{y}}_{\mathit{i}}]=[{\mathit{x}}_{\mathit{i}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}},{\mathit{y}}_{\mathit{i}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}]\\ -{\mathit{R}}_{\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}},& [{\mathit{x}}_{\mathit{i}},{\mathit{y}}_{\mathit{i}}]\ne [{\mathit{x}}_{\mathit{i}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}},{\mathit{y}}_{\mathit{i}}^{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}]\end{array}\right.$

(9)R_time2=$\left\{\begin{array}{ll}+{\mathit{R}}_{\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{c}\mathrm{e}},& ={\mathit{P}}_{\mathit{i}}-{\mathit{P}}_{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}{=}_{\mathit{t}-1}>={\mathit{P}}_{\mathit{i}}-{\mathit{P}}_{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}{=}_{\mathit{t}}\\ -{\mathit{R}}_{\mathrm{d}\mathrm{i}\mathrm{s}\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{c}\mathrm{e}},& ={\mathit{P}}_{\mathit{i}}-{\mathit{P}}_{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}{=}_{\mathit{t}-1}\le ={\mathit{P}}_{\mathit{i}}-{\mathit{P}}_{\mathrm{g}\mathrm{o}\mathrm{a}\mathrm{l}}{=}_{\mathit{t}}\end{array}\right.$

(10)R_total=$\stackrel{\mathit{n}}{\sum _{\mathit{i}=1}}\stackrel{\mathit{T}}{\sum _{\mathit{t}=0}}$R_safe+R_efficiency+R_time

式中:R_safe1为在撞击时会给一个较大的惩罚R_collision,在未发生碰撞下下会给一个较小的惩罚R_other;R_safe2为除了发生碰撞,还需要考虑与前方机器人的安全距离d,如果距离d小于安全距离l时,距离越近惩罚越大;R_efficiency为在R_collision的基础上乘以系数值在0-1的拥堵程度

${\mathit{\varphi }}_{\mathit{k}}^{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{g}\mathrm{e}\mathrm{s}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}$

,值越高代表拥堵程度越严重。

式(8)与式(9)分别代表目标奖励与距离奖励,若到达目标科室便可以获得奖励R_arrived,下一时刻距离小于上一时刻便可以进行奖励R_distance,否则获得惩罚-R_distance,故奖励函数可以设计为式(10)中的奖励之和R_total。

根据D3QN算法框架,Q值迭代公式为

(11)$ \begin{array}{l} Q_{\pi}^{k+1}\left(S_{t}, A_{t}\right) Q_{\pi}^{k+1}\left(S_{t}, A_{t}\right) \leftarrow Q_{\pi}^{k}\left(S_{t}, A_{t}\right)+ \\ \quad \alpha\left[R_{t}+\gamma \hat{Q}_{\pi}\left(S_{t+1}, A_{\text {best }}\right)-Q_{\pi}^{k}\left(S_{t}, A_{t}\right)\right] \end{array}$

(12)$ \begin{aligned} \hat{Q}_{\pi}\left(S_{t+1}, A_{\text {best }}\right)= & V\left(S_{t+1}\right)+A\left(S_{t+1}, A_{\text {best }}\right)- \\ & \frac{1}{|A|} \sum_{A^{\prime} \in A} A\left(S_{t+1}, A^{\prime}\right) \end{aligned}$

(13)$ A_{\text {best }}=\arg \max _{A_{t+1}} Q_{\pi}^{k}\left(S_{t+1}, A_{t+1}\right)$

式中:k为迭代次数;α为学习率;γ为折扣因子;

${\hat{\mathit{Q}}}_{\mathrm{\pi }}$

为目标网络,其结构采用 Dueling DQN 的架构,由状态价值函数V(S)和优势函数A(s,a)构成;A'为下一个状态动作集合A中的所有可能的动作;A_best为下一个状态S_t₊₁选择的最佳动作集合,由 Double DQN中的当前网络Q_π计算。

以联合状态S_t为输入,输出所有机器人的每个动作的Q值,如式(14)所示,机器人根据Q值选择动作,并不断在数字孪生空间交互的过程中更新网络。

(14)Q(S_t,A_t)={Q(s₁,a₁),Q(s₁,a₂),…,Q(s_n,a_m)}

综上,在D3QN该算法上进行改进,通过优化奖励函数与对动作集合进行剪枝,提出了ID3QN算法,算法框图与伪代码流程如图7和表2所示。

首先,随机初始化当前Q网络与目标Q网络,并设定相关参数;随后,为每台机器人预生成一条初始路径,并将所得初始经验纳入专用预经验集,以加速早期探索。每次决策时,框架基于机器人当前位置与预规划结果对动作空间进行在线剪切以排除危险动作;然后,结合ε-greedy策略从预经验、网络估值与随机探索3种渠道中选择联合动作,并在检测到机器人间冲突时,依据优先级或重采样策略予以化解,确保多智能体协同的安全性。动作执行后,系统依据安全性、路径效率与时效性三维指标计算总奖励R_total,并将元组存入优先经验回放池;在线网络则通过按TD-error加权抽样的批量更新不断优化,而目标网络按既定频率同步更新。训练过程中,当所有机器人均到达目标或达到最大迭代次数时,算法终止,所学策略即为满足安全、高效与时效性要求的多机器人路径规划方案。

3 实验与分析

3.1 消融实验

选取DNVS-NSGA-Ⅱ算法对多任务调度求解的部分机器人任务作为执行序列,在PyTorch1.10.0版本,基于Python3.8的PyCharm平台上进行实验。并且为了验证改进D3QN算法的有效性,将其重命名为ID3QN,除此之外,分别对ID3QN进行消融实验的验证,D3QN-A表示不考虑奖励函数中通行效率的部分;D3QN-B表示不考虑机器人划分的优先级;D3QN-C表示仅保留冲突消解策略。其余部分与ID3QN保持一致。算法涉及的参数如表3所示。

为了对比验证 ID3QN 算法中通过对轨道拥堵的优化对行驶时间的提升,基于任务调度算法的实验结果,从任务数量10~160的每组实验中,随机选取一个实验结果作为算例,采用ID3QN算法与D3QN-A算法分别进行路径规划实验。根据不同的任务数量,计算花费的行驶距离和行驶时间,取每个机器人执行一次任务的平均值作为结果,如表4所示。

实验结果表明,在不同算法下,机器人单次任务的平均行驶距离基本稳定,但随着任务量m和机器人数量n的增加,平均行驶时间有较大增长趋势。与 D3QN-A 算法相比,ID3QN 在平均行驶距离仅增加 1.8% 的前提下,有效缩短了 9.1% 的行驶时间。这得益于 ID3QN 在设计中引入了通行效率奖励,鼓励机器人合理绕行,避开拥堵轨道,从而减少等待时间并提升整体运行效率。

为进一步对比验证 ID3QN 在解决多机器人运行冲突问题上的有效性,将其与D3QN-B 算法分别进行路径规划实验,根据不同规模的任务数量和机器人数量,计算机器人在行驶过程中发生运行冲突的总数,如表5和图8所示。实验结果显示,当任务量和机器人数量较少时,ID3QN 与 D3QN-B 均能高效规划路径,机器人间冲突较少。随着机器人数量增加,ID3QN 在缓解运行冲突方面的优势逐渐显现,平均冲突次数减少了 12.3%,展现出更优的路径协调能力。

为进一步对比验证 ID3QN 算法的收敛速度,将其与 D3QN-C 算法进行比较,选取任务数量为 60、机器人数量为 21 的实验场景,对比不同算法的平均奖励值,如图9所示。

从图9可见,ID3QN 算法的训练过程呈现先上升后下降,最终收敛的趋势。初期,借助初始经验与动作剪枝策略,机器人能够快速适应环境,减少随机探索带来的负面影响。随着训练深入,算法逐步拓展策略空间,短期内可能增加冲突,导致奖励值暂时下降,但最终学习到更优策略并实现收敛。相比之下,D3QN-C 算法因缺乏初始引导,训练初期探索效率较低,收敛速度较慢,验证了 ID3QN 中初始经验与动作剪枝在提升训练效率方面的有效性。

3.2 虚实联调

为进一步验证所提出的数字孪生系统在真实轨道物流场景中的可部署性与有效性,依托电子科技大学机电与控制工程国家级实验教学示范中心开展虚实联调实验。如图10所示,实验系统以现代智慧物流应用为背景构建,轨道贯穿教学楼一层与二层空间:其中1号站点设于一楼制造工程训练部,2号站点设于二楼电工电气训练部,轨道以跨楼层布设方式连接两个实验区域,形成具备实际业务流动路径的实验环境。

如图11所示,该轨道物流实验系统由3个平行换轨器、1个垂直换轨器、2个物流控制站点、3台轨道物流机器人以及1套中央控制中心组成,整体结构与功能均与1.1节描述的实体系统保持一致,可全面支持换轨、调度、状态监测、人机交互等功能模块的验证。

在通信架构方面,实验系统采用分区、分层的混合通信模式:区域控制器(Siemens S7-1200 PLC)通过Snap7开源通信库与核心控制中心实现稳定的有线数据交互;控制中心经LoRa网关与各轨道物流机器人内置的 LoRa 终端进行无线通信,以确保跨楼层场景下的低功耗、远距离数据传输能力。此外,每台轨道物流机器人均移植了 FreeRTOS 实时操作系统,用于管理定位、避障、通信、执行等多线程任务,实现机器人与控制中心之间的高实时性控制闭环。

为验证数字孪生系统在轨道物流场景中的虚实相应与虚实相控能力,设计了一组“单机器人典型工况”的虚实联调实验。如图12所示,实验包括3个连续运行阶段:站点出发、垂直攀爬以及正常行驶。首先由控制中心在孪生平台下发“到达站点2”指令,虚拟孪生体与轨道物流机器人同步启动并沿预定轨迹运行;其次在换轨触发点由孪生体先行执行垂直攀爬动作,控制信号经 LoRa/PLC 下达到物理换轨机构并完成升降;最后机器人在下层轨道进入正常行驶并精确到位。每一阶段均提供虚拟孪生场景与真实物理场景的对照图(左虚右实),用于展示虚实两侧的同步一致性与联动控制效果。对照图记录了机器人在关键时刻的位置、姿态及换轨动作,便于直观评估虚实轨迹的一致性与动作的同步性;验证了数字孪生系统在轨道物流场景中实现虚实同步、双向联动与一致控制的有效性。

4 结论

围绕轨道物流系统的智能化与自主化升级,提出了一种以数字孪生驱动的融合分层控制系统架构,并结合强化学习方法实现路径规划优化,开展了路径规划优化的探索性研究。

在系统架构层面,遵循ISO 23247标准,构建了面向轨道物流的“四层五空间”数字孪生系统,并设计了“分区域+分层级”的控制网络架构:固定设施通过区域控制器实现有线集中管理,移动机器人则通过无线通信与核心控制层实时交互,实现了物流系统中物理实体、虚拟孪生体与控制决策的融合。该结构提升了系统的实时响应能力与运行灵活性,具备一定的工程应用基础。

在算法方面,引入并改进了双重深度Q网络(D3QN)算法,提出了ID3QN算法。该算法结合初始经验引导、动作剪枝机制与冲突消解策略,实现多机器人协同路径规划的高效执行。在数字孪生仿真空间中,ID3QN能够通过深度学习与环境交互不断优化路径策略,显著提升系统在复杂环境中的自主决策能力。同时,设计的奖励函数融合安全性、通行效率与时效性3大指标,避免强化学习中易陷入的局部最优问题,从而保障路径规划结果的全局合理性。

仿真及虚实联调实验结果表明,本文方法在平均行驶时间、冲突率和收敛性能等指标上均取得改善,验证了所提方案的有效性与工程可用性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	康志邦. 医用轨道物流传输系统设计与研发[D]. 成都: 电子科技大学, 2024.

[2]	Kang Zhibang. Design and development of medical logistics rail transit system[D]. Chengdu: University of Electronic Science and Technology of China, 2024.

[3]	Leng K, Li S. Distribution path optimization for intelligent logistics vehicles of urban rail transportation using VRP optimization model[J]. IEEE Transactions on Intelligent Transportation Systems, 2021, 23(2): 1661-1669.

[4]	蔡启文, 马继东. 基于BSO_ALNS算法的城市低碳物流路径优化[J]. 科学技术与工程, 2025, 25(9): 3921-3930.

[5]	Cai Qiwen, Ma Jidong. Optimization of urban low-carbon logistics path based on BSO_ALNS algorithm[J]. Science Technology and Engineering, 2025, 25(9): 3921-3930.

[6]	Jiang Y H, Gao S, Yin Y H, et al. A control system of rail-guided vehicle assisted by transdifferentiation strategy of lower organisms[J]. Engineering Applications of Artificial Intelligence, 2023, 123: 106353.

[7]	Fang B, Feng M, Qiu C, et al. Rail multi vehicle scheduling method for intermediate depot of steel plant based on improved genetic algorithm[J]. Scientific Programming, 2022, 2022(1): 4971638.

[8]	曾艾婧, 刘永姜, 陈跃鹏, 等. 基于数字孪生的物流配送调度优化[J]. 科学技术与工程, 2021, 21(21): 9005-9011.

[9]	Zeng Aijing, Liu Yongjiang, Chen Yuepeng, et al. Optimization of logistics distribution scheduling based on digital twins[J]. Science Technology and Engineering, 2021, 21(21): 9005-9011.

[10]	Liu W, Wu M, Wan G, et al. Digital twin of space environment: development, challenges, applications, and future outlook[J]. Remote Sensing, 2024, 16(16): 3023.

[11]	贾东梨, 康田园, 王帅, 等. 融合温度因子与小波LSTM的配电网数字孪生状态预测方法[J]. 科学技术与工程, 2025, 25(7): 2817-2824.

[12]	Jia Dongli, Kang Tianyuan, Wang Shuai, et al. State prediction method for digital twins of power distribution networks by integrating temperature factors with wavelet LSTM[J]. Science Technology and Engineering, 2025, 25(7): 2817-2824.

[13]	Zhang D, Liu Z, Li F, et al. The rapid construction method of the digital twin polymorphic model for discrete manufacturing workshop[J]. Robotics and Computer-Integrated Manufacturing, 2023, 84: 102600.

[14]	闫琼, 张海军. 基于犹豫模糊语言的数字孪生车间质量评价[J]. 科学技术与工程, 2020, 20(16): 6472-6478.

[15]	Yan Qiong, Zhang Haijun. Quality evaluation of digital twin workshop based on hesitant fuzzy linguistic[J]. Science Technology and Engineering, 2020, 20(16): 6472-6478.

[16]	Kaewunruen S, Lian Q. Digital twin aided sustainability-based lifecycle management for railway turnout systems[J]. Journal of Cleaner Production, 2019, 228: 1537-1551.

[17]	Liu S, Shi Z, Lin J, et al. A generalisable tool path planning strategy for free-form sheet metal stamping through deep reinforcement and supervised learning[J]. Journal of Intelligent Manufacturing, 2025, 36(4): 2601-2627.

[18]	Han H G, Xu Z A, Wang J J. Reinforcement learning-assisted particle swarm algorithm for effluent scheduling problem with an influent estimation of WWTP[J]. Swarm and Evolutionary Computation, 2025, 94: 101871.

[19]	Abdulsaheb J A, Kadhim D J. Classical and heuristic approaches for mobile robot path planning: a survey[J]. Robotics, 2023, 12(4): 93-114.

[20]	范厚明, 牟爽, 岳丽君. 考虑冲突和拥堵的自动导引车调度与路径规划协同优化[J]. 计算机应用, 2022, 42(7): 2281-2291.

[21]	Fan Houming, Mu Shuang, Yue Lijun. Collaborative optimization of automated guided vehicle scheduling and path planning consi-dering conflict and congestion[J]. Journal of Computer Applications, 2022, 42(7): 2281-2291.

[22]	Nishida K, Nishi T. Dynamic optimization of conflict-free routing of automated guided vehicles for just-in-time delivery[J]. IEEE Transactions on Automation Science and Engineering, 2022, 20(3): 2099-2114.

[23]	张凯月, 温海骏, 陈跃鹏, 等. 基于数字孪生技术的危化品车辆运输路径优化方法[J]. 科学技术与工程, 2023, 23(34): 14676-14681.

[24]	Zhang Kaiyue, Wen Haijun, Chen Yuepeng, et al. Vehicle transport path optimization method of hazardous chemicals based on digital twin technology[J]. Science Technology and Engineering, 2023, 23(34): 14676-14681.

[25]	Pavlos E, Stavros L, Stathis P, et al. Cognitive digital twins for resilience in production: a conceptual framework[J]. Information, 2022, 13(1): 33.

[26]	余鹏. 多元耦合下主动配电网集中-分布协同调控研究[D]. 杭州: 浙江大学, 2023.

[27]	Yu Peng. Research on centralized-distributed coordinated control of active distribution networks under multivariate coupling[D]. Hangzhou: Zhejiang University, 2023.

[28]	Liu Z, Zhang Y, Yang C, et al. Generalized distributed four-domain digital twin system for intelligent manufacturing[J]. Journal of Central South University, 2022, 29(1): 209-225.