自动化技术、计算机技术基于改进TD3算法的荔枝采摘机器人协同路径规划

李振东; 胡广华

doi:10.12404/j.issn.1671-1815.2502051

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (8) :3367-3376 DOI: 10.12404/j.issn.1671-1815.2502051

自动化技术、计算机技术

自动化技术、计算机技术基于改进TD3算法的荔枝采摘机器人协同路径规划

李振东 ,
胡广华 ^*

作者信息 +

Collaborative Path Planning of Litchi Picking Robot Based on Improved TD3 Algorithm

LI Zhen-dong ,
HU Guang-hua ^*

Author information +

文章历史 +

摘要

近年来,基于深度强化学习(deep reinforcement learning, DRL)的方法在采摘路径规划领域受到广泛关注,但是目前的研究只单独考虑采摘机械臂,忽视了移动底盘与机械臂之间紧密相连的关系,导致不能充分发挥采摘机器人兼顾移动性与操作性的优势。为此,提出一种基于改进双延迟深度确定性策略梯度算法(twin delayed deep deterministic policy gradient, TD3)的荔枝采摘机器人协同路径规划方法。首先,通过深度强化学习对采摘机器人协同路径规划问题进行求解,根据协同路径规划任务设置状态空间与动作空间,并综合考虑位置、姿态与避障任务设计复合目标奖励函数;其次,引入双Actor网络与层归一化对TD3算法进行改进;最后在CoppeliaSim仿真平台内搭建非结构化荔枝采摘环境,对采摘机器人进行训练。仿真实验结果显示,深度强化学习能较好地处理协同路径规划任务,改进后的TD3算法收敛速度提升,在测试实验中路径规划成功率达96%,比原始算法提高了近69.9个百分点。结果表明:本系统能够较好地解决采摘机器人协同路径规划引起的高维度问题,能让移动底盘与机械臂进行协同规划,有助于提高采摘机器人的智能化水平,并在采摘路径规划成功率方面有一定的优势,可为采摘机器人路径规划的未来研究方向提供参考。

Abstract

In recent years, methods based on deep reinforcement learning (DRL) have received significant attention in the field of picking path planning. However, existing research is primarily focused on the picking manipulator, while the close coordination between the mobile chassis and the manipulator is often overlooked. As a result, the full potential of the robot in terms of mobility and manipulation is not fully utilized. To address this limitation, a collaborative path planning method for litchi picking robot was proposed using an improved twin delayed deep deterministic policy gradient (TD3) algorithm. Initially, the collaborative path planning problem was modeled using deep reinforcement learning. The state and action spaces were defined according to the requirements of the task, and a composite reward function was formulated, taking into account position, orientation, and obstacle avoidance. Subsequently, the TD3 algorithm was enhanced through the integration of dual Actor networks and layer normalization. Finally, an unstructured litchi picking environment was developed on the CoppeliaSim simulation platform, and the robot was trained within this simulated environment. The simulation results show that deep reinforcement learning effectively addresses the collaborative path planning problem. The improved TD3 algorithm achieves faster convergence. In the testing phase, the path planning success rate reaches 96%, representing an improvement of nearly 69.9 percentage points over the original algorithm. These results indicate that the proposed system effectively overcomes the challenges posed by high-dimensional state-action spaces in collaborative path planning. It enables coordinated motion between the mobile chassis and the manipulator, thereby enhancing the robot’s operational intelligence. Furthermore, it demonstrates a clear advantage in planning success rate and offers valuable guidance for future research in picking robot path planning.

Graphical abstract

关键词

采摘机器人 / 协同路径规划 / 深度强化学习(DRL) / 荔枝采摘

Key words

picking robot / collaborative path planning / deep reinforcement learning (DRL) / litchi picking

引用本文

引用格式 ▾

李振东, 胡广华. 自动化技术、计算机技术基于改进TD3算法的荔枝采摘机器人协同路径规划[J]. 科学技术与工程, 2026, 26(8): 3367-3376 DOI:10.12404/j.issn.1671-1815.2502051

LI Zhen-dong, HU Guang-hua. Collaborative Path Planning of Litchi Picking Robot Based on Improved TD3 Algorithm[J]. Science Technology and Engineering, 2026, 26(8): 3367-3376 DOI:10.12404/j.issn.1671-1815.2502051

登录浏览全文

4963

注册一个新账户忘记密码

荔枝与香蕉、菠萝、龙眼一同号称“南国四大果品”,尤其以广东和福建南部栽培最盛。在中国,荔枝有着多年的栽培历史,种植面积大产量多,据2024年3月底调查全国荔枝种植面积5.23×10⁹ m²,预计2024年全国荔枝总产量178.10万t^[1]。目前,荔枝采摘的方式仍以人工为主,劳动强度大且成本高,为解决此问题,中国荔枝采摘机器人技术正在不断发展,在果实识别、路径规划、末端操作等关键技术方面取得了一定的成果,但其自动化与智能化水平还需进一步提升^[2]。采摘机器人是一种将机械臂安装在移动底盘上形成的复合机器人,主要用于采摘果实,有着十分广泛的操作空间和灵活的操作性。在非结构化的采摘环境中,如何让采摘机器人快速、安全地到达目标采摘位姿是实现高效无损采摘的关键。因此,采摘路径规划是采摘机器人的重要研究内容之一^[3]。

在采摘路径规划方面,中外的学者主要集中于对采摘机械臂的研究,有利用传统路径规划算法为机械臂规划采摘路径,包括A^*^[4]、人工势场^[5] (artificial potential field, APF)、快速扩展随机树^[6] (rapidly exploring random tree, RRT)、Informed RRT*^[7]等。Zhuang等^[8]以六自由度苹果采摘机械臂为例,将A^*算法与APF相结合为其规划采摘苹果的无碰撞路径。唐座亮^[9]针对APF存在局部极小值陷阱与部分位置不可达的问题,提出添加计算引力矩的方法对APF进行改进,算法运算时间缩短了54.89%。Liu等^[10]提出了一种基于柑橘树复杂环境的时间最优RRT算法,利用势场控制与节点优先搜索策略加快随机树的搜索,提高了机械臂路径规划的速度。传统的方法在处理高维问题和复杂障碍环境时会面临显著的挑战和局限性,同时十分依赖机械臂的逆运动学,而由于逆运动学的多解问题会导致路径的不平滑。深度强化学习是一种处理高维问题的强大工具,通过不断地与环境进行交互,可在奖励函数的引导下完成一些复杂的任务^[11]。目前在机器人领域常用的深度强化学习算法有深度确定性策略梯度算法^[12](deep deterministic policy gradient, DDPG),双延迟深度确定性策略梯度算法^[13](twin delayed deep deterministic policy gradient, TD3)等。Lin等^[14]提出了结合循环神经网络的DDPG算法,在番石榴采摘路径规划任务上的鲁棒性较好。杨淑华等^[15]提出HER(hindsight experience replay, HER)与TD3算法结合,实现青皮核桃的顺利采摘。郑嫦娥等^[16]提出基于分布迁移策略的DDPG算法,改善在混杂障碍物下训练收敛慢的问题。

然而,目前的研究在规划采摘路径时仅仅考虑了采摘机械臂,忽视了移动底盘与机械臂之间的协作空间,采摘决策时采取2-阶段串行规划的方式,即先对移动底盘进行初始位置的调整,再进行机械臂的采摘路径规划。由于无法判断底盘位置是否为最优,会出现机械臂无法到达指定位置或者目标超出机械臂工作范围而导致采摘失败的情况,实际工作中往往需要多次调整移动底盘的位置,导致采摘效率低下。移动底盘与机械臂进行协同规划有助于解决上述问题,提高采摘效率,能更好地发挥采摘机器人的各部分功能,但这会引发机器人系统高冗余性与高维规划的难题。深度强化学习的引入为解决复合机器人协同路径规划提供了全新的思路。李勇等^[17]提出了一种结合APF的DDPG算法控制移动机械臂完成在窄道环境下的轨迹规划问题。Wang等^[18]提出了一种深度强化学习与视觉感知相结合的移动操作系统,能够自主抓取不同类型的物体,但在深度强化训练过程中会出现收敛速度慢、不稳定等现象。上述方法主要针对工业生产、服务行业等领域,机器人作业环境相对稳定,对象位置较为固定,而在采摘领域中目标点具有随机性,障碍物也具有不确定性,需要进一步对结合采摘任务进行设计。

针对上述问题,提出移动底盘与机械臂协同路径规划的思想,将非结构化环境下的采摘机器人协同路径规划问题表示为马尔科夫决策过程^[19],综合考虑避障、目标位置和姿态任务设计相应的状态空间、动作空间和奖励函数,并对TD3算法进行改进,加快算法收敛并提高算法捕获高价值动作的能力,从而高效训练得到协同路径规划的策略模型,最后在非结构化荔枝采摘场景的仿真实验中验证了协同路径规划的可行性以及算法的有效性,从而提高采摘机器人的采摘效率与智能化水平。

1 协同路径规划系统

基于CoppeliaSim仿真平台构建采摘机器人协同路径规划系统,主要实现移动底盘与机械臂协同规划,令机械臂末端到达目标处,总体结构包括采摘仿真环境搭建与强化学习设计,如图1所示。

采摘仿真环境与强化学习之间的通信由CoppeliaSim的Python API完成。采摘环境的搭建则根据荔枝采摘的需求合理构建采摘机器人本体、采摘目标与障碍物,强化学习部分包括构建算法,合理设计状态空间与动作空间,设计奖励函数引导智能体完成采摘任务。相关的环境状态信息由Python API进行获取,将获取到的信息输入到强化学习的神经网络中得到具体动作并在仿真环境中执行得到相应的反馈,神经网络则根据上述信息进行参数的迭代更新,完成训练后,能够得到采摘机器人协同路径规划模型,完成采摘路径的规划。

2 采摘仿真环境搭建

利用Cinema 4D建模软件绘制荔枝果树的模型,导入到CoppeliaSim软件中完成非结构化采摘场景的搭建,采摘机器人由六自由度机械臂与四轮差速底盘组成。由于树叶为柔性物体,对采摘机器人采摘作业的影响较小,因此采摘规划时主要考虑的障碍物为荔枝树枝干以及非目标果实。采摘仿真场景如图2所示。任务目标为采摘机器人的机械臂末端到达位置随机变化,姿态固定的目标位姿,同时采摘机器人不发生自碰撞且不与荔枝树枝干或非目标果实发生碰撞。

为了更好地可视化,以图2中半径为0.04 m的黄色小球的位置和姿态为目标位姿,其姿态设置为与机械臂末端的初始姿态相同;为了符合现实中的不确定性,设定目标点位置在淡紫色的长方体中随机变化,采摘机器人的位置在白色的长方形平面上随机变化。特别地,实验模拟移动底盘初始位置无法满足目标点位置在机械臂工作范围之内的情况,必须通过移动底盘与机械臂的协同运动才能完成规划任务。

3 双Actor网络与层归一化TD3算法

3.1 双延迟深度确定性策略梯度

TD3算法是典型的off-policy算法之一,与其前身深度确定性策略梯度DDPG一样都基于确定性策略梯度定理^[20],遵循Actor-Critic架构:以off-policy的方式学习一个确定性策略π_θ,称为Actor;借鉴深度Q网络(DQN)^[21]的思想,TD3利用动作价值函数来引导学习过程,称为Critic。训练时最大回合数为E,回合最大步数为T,从当前状态s执行动作a,由环境反馈下一状态s'、奖励值r和完成标志d,并存入经验池中用于后续的网络更新。

图3为TD3的网络架构,其中,Actor网络与Critic网络均为全连接深度神经网络,Actor网络参数为θ,两个Critic网络参数为w₁和w₂,对应的目标网络参数为θ'、w'₁、w'₂。相比与DDPG引入了三项主要创新^[13]:一是为了增强学习的稳定性TD3引入第二个Critic网络,用Q_w₁和Q_w₂分别表示两个Critic网络的动作价值函数,用于评估在状态s下执行动作a的质量,即Q₁与Q₂,而π_θ则表示Actor网络的策略函数;二是更新网络时TD3会在目标策略预测的动作上添加一定的噪声,防止算法过度依赖单一的Q值;三是Actor网络的训练速度慢于Critic网络,较少的策略更新频率使得动作价值估计的方差更低,从而能产生更具鲁棒性的策略。

在每次训练迭代中,TD3算法从经验池中随机采样一组包含N条经验的小批量样本。通过式(1)和式(2)计算时间差分误差(TD-Error)^[13]进行Critic的更新,Actor的更新则是基于确定性策略梯度定理^[20],如式(3)所示。另外,Actor网络的更新频率低于Critic网络,通常每训练两次才进行更新一次。

(1)y=r+γ

$\underset{i=\mathrm{1,2}}{min}{Q}_{w\text{'}{ }_{i}}$

(s',

$\tilde{a}$

)

(2)

${w}_{i}\leftarrow \underset{{w}_{i}}{argmin}\frac{1}{N}{\sum }_{i}^{}[y-{Q}_{{w}_{i}}{(s,a)]}^{2}$

(3)

$∇{+}_{\theta }J\left(\theta \right)=\frac{1}{N}{\sum }_{i}^{}∇{+}_{a}{Q}_{{w}_{1}}(s,a)|{ }_{a={\pi }_{\theta \left(s\right)}}∇{+}_{\theta }{\pi }_{\theta }(s)$

式中:Q_{w' _i}为第i个Critic目标网络的动作价值函数;y为Critic网络优化的目标值;argmin为找到使 Critic 网络预测误差最小的那组参数;

$\tilde{a}$

为目标策略预测的带有噪声的动作;r为奖励值;γ为折扣因子;∇_θπ_θ(s)为Actor网络对自身参数θ的梯度;∇_aQ_w₁(s,a)为Q_w₁对动作a的梯度;∇_θJ(θ)为计算得到的用于Actor网络更新的策略梯度。

目标网络的更新频率一般与策略网络相同,并采取软更新的方式进行,如式(4)、式(5)所示。

(4)w'_i ← τw_i+(1-τ)w'_i

式(4)中:τ为软更新因子;w'_i为第i个Critic目标网络的参数。

(5)θ' ← τθ+(1-τ)θ'

3.2 双Actor网络

对于任何基于Actor-Critic形式的深度强化学习算法来说,准确地估计价值至关重要,因为这可以推动Actor学习更优的策略^[22]。而现有的TD3算法存在着价值低估偏差的现象,双Actor网络可以使得算法有更强的探索能力,从而形成DATD3算法,弥补原有TD3算法的不足^[23]。

具体的实施方式是在由w₁和w₂参数化的双Crtic网络上构建由θ₁和θ₂参数化的双Actor网络,并构建对应的目标网络参数θ'₁、θ'₂、w'₁、w'₂。估计价值函数采取的方法为对每个策略取Q网络的最小值,并对最终的价值估计选取最大值,如式(6)所示。

(6)$\hat{V}$(s')=max($\underset{i=\mathrm{1,2}}{min}${Q_{w' _i}[s',π_θ' ₁(s')]},$\underset{j=\mathrm{1,2}}{min}${Q_{w' _j}(s',π_θ' ₂(s')]})

式(6)中:

$\hat{V}$

(s')为最终的价值估计;Q_{w' _i}和Q_{w' _j}分别为第i、第j个Critic目标网络的动作价值函数;π_θ' ₁和π_θ' ₂分别为第一个和第二个Actor目标网络的策略函数。

不直接对每个Critic取最大值并用较小的估计值来更新目标值的原因在于首先使用双Actor进行价值估计校正,由于Critic本身可能无法准确预测回报,Actor将没有能力很好地校正价值估计。Actor是由其对应的Critic引导和驱动的,只能在Critic允许的范围内做到最好。

可以通过式(7)证明该实施方式可以缓解TD3价值低估偏差的现象^[23],由定义可得其价值估计函数ζ_TD3(s')为

(7)ζ_TD3(s')=min{Q_w' ₁[s',π_θ' ₁(s')],Q_w' ₂[s',π_θ' ₁(s')]}

同样,对于DATD3的价值估计函数ζ_DATD3(s'),有

(8)ζ_DATD3(s')=max($\underset{i=\mathrm{1,2}}{min}${Q_{w' _i}[s',π_θ' ₁(s')]},$\underset{j=\mathrm{1,2}}{min}${Q_{w' _j}〔s',π_θ' ₂(s')〕})

因此可以得到ζ_DATD3(s')≥ζ_TD3(s'),导致期望E[ζ_DATD3(s')]≥E[ζ_TD3(s')],偏差bias(ζ_DATD3)≥bias(ζ_TD3)。

DATD3总体结构由双Actor和双Critic组成,其中的每个Actor都为一个TD3风格的结构,在选取动作时共享双Critic网络,而在更新时只有与其对应的Critic用于误差传播。最终的价值估计由以下方式得到:首先通过最小的双Critic来纠正价值估计,然后从双Actor中获得最大的价值估计。DATD3缓解了TD3的低估偏差,从而可以提高其在任务上的性能。

3.3 层归一化

Off-policy算法由于拥有大容量的经验池,样本效率高,性能强,但是这些方法总会导致算法存在价值估计的偏差。当偏差不断累积时会引发价值估计发散的问题^[24],影响智能体的训练效果密切相关。

在训练过程中,未见过的动作中会导致不准确的Q值估计,而这种不准确会在引导过程中不断累积,从而使得价值估计的发散问题变得严重,具体过程如下:当网络进行Q-learning^[25]更新Q(s,a)的值时,泛化特性会导致下一状态的Q[s',π(s')]值发生较大的变化,这个新的值会成为下一次Q-learning的目标,从而使得在后续更新时Q(s,a)的值变化幅度进一步加大。不断重复该过程会导致Q值急剧增大,最终导致发散问题。

为了防止价值估计的发散,有学者使用过策略约束^[26]进行控制,通过管理策略学习的程度大小来避免发散,但是过度依赖策略约束会导致过大的偏差,一定程度上影响算法的性能。在Critic网络中使用层归一化^[24],正则化Critic网络的泛化能力,可以抑制价值估计发散并增强智能体性能,与策略约束不同,策略约束会显式引入偏差,而层归一化则不会。

添加层归一化的实施方式只需要简单地在Critic网络的全连接层和激活层之间添加LayerNorm即可。

3.4 DATD3LN算法

引入上述两个模块对TD3算法进行改进得到DATD3LN算法,伪代码流程如下。

首先建立三部分神经网络:Actor1、Actor2网络、加入了LayerNorm的Critic1、Critic2网络,以及与它们对应的目标网络。将状态信息输入到Actor网络中得到动作在环境中执行,得到下一个状态信息,并在经验池中存储经验。在更新时,通过伪代码中的步骤11~步骤15进行Critic网络参数的更新,基于确定性策略梯度定理进行Actor网络的更新,并以软更新方式更新目标网络参数。不断循环上述过程,直到训练完成。

4 强化学习设计

4.1 状态空间与动作空间设计

为了确保协同路径规划任务能更有效地训练,需要根据环境中的各类信息合理地设置状态和动作,关键的状态需包括采摘机器人、障碍物和目标点等信息,并要考虑避障、位置、姿态任务进行设计。而在采摘场景中,障碍物的形状是不规则的,利用坐标或者中心点难以完全表示障碍物的信息。通过计算采摘机器人与障碍物间的最小距离信息作为状态信息,让智能体能全局感知障碍物信息^[27]。因此,定义状态空间为

(9)s=[J,p_r,q_M,p_c,θ_c,d_r,d_obs]^T

式(9)中:J为机械臂的各转动关节轴的关节角度信息;p_r为机械臂末端与目标点的相对位置信息;q_M为机械臂末端与目标点的相对姿态信息;p_c和θ_c分别为移动底盘与目标点的相对位置信息和转角信息;d_r为机械臂末端到目标点的距离信息;d_obs为采摘机器人与障碍物之间的最小距离信息。

动作空间包括六自由度机械臂与移动底盘的动作,定义为

(10)a=[ΔJ,Δx,Δθ]^T

式(10)中:ΔJ为机械臂各关节的角度增量,表示机械臂各关节的转动,ΔJ∈[-0.02,0.02],rad;Δx为移动底盘线位移增量,表示移动底盘前进或后退,Δx∈[-0.01,0.01],m;Δθ为移动底盘的角位移增量,表示移动底盘的转动,Δθ∈[-0.01,0.01],rad。

4.2 奖励函数设计

采摘机器人协同路径规划任务需要机器人避开障碍物,让机械臂末端到达指定的目标位姿,因此针对采摘机器人协同路径规划任务设置密集型奖励函数,并兼顾避障、位置和姿态三大任务。通过设置姿态惩罚函数引导采摘机器人以正确的姿态到达目标,设置距离引导函数让采摘机器人正确导向目标,设置全局障碍感知函数与碰撞函数引导采摘机器人进行避障操作,设置步长函数鼓励更快地完成规划任务。

为了使机械臂末端姿态不断朝向目标姿态进行修正,满足偏差越小惩罚越小,以四元数^[28]的形式表示姿态信息,通过计算四元数之间的旋转夹角来定义姿态惩罚函数R_pose为

(11)R_pose=k₁(2cos^-1|q_Rq_T|)

式(11)中:q_R和q_T分别为机械臂末端与目标点在目标点坐标系下的姿态信息;k₁为可调整权重系数;设置姿态阈值τ₁。

为了引导采摘机器人正确导向目标,以i时刻机械臂末端到目标点的欧式距离作为引导信号,用D_i表示。当智能体输出的动作使得机械臂末端靠近目标点时,即距离D_i不断减少,将给予一定的奖励,反之进行一定的惩罚。距离引导函数R_goal的表达式如式(15)所示。

(12)D_i=

$\sqrt{{P}_{xi}^{2}+{P}_{yi}^{2}+{P}_{zi}^{2}}$

(13)D_min=

$\left\{\begin{array}{ll}{D}_{0},& i=0\\ min({D}_{min},{D}_{i}),& i\ne 0\end{array}\right.$

(14)$R_{\mathrm{dis}}=\left\{\begin{array}{ll} k_{2}\left(D_{\min }-D_{i}\right), & D_{\min }-D_{i}>0 \\ k_{3}\left(D_{\min }-D_{i}\right), & D_{\min }-D_{i} \leqslant 0 \end{array}\right.$

(15)$R_{\text {goal }}=\left\{\begin{array}{ll} R_{\text {dis }}, & D_{i}>\tau_{2} \\ h_{1}, & D_{i} \leqslant \tau_{2} \text { and } q \leqslant \tau_{1} \end{array}\right.$

式中:(P_xi,P_yi,P_zi)为机械臂末端i时刻在以目标点为原点坐标系下的三维坐标;D_i为当前i时刻机械臂末端与目标点的欧式距离;D_min为一个训练回合中机械臂末端与目标点的最小距离;q为机械臂末端姿态与目标姿态的夹角误差;R_dis为与距离有关的奖励函数项,反映机械臂末端与目标点的接近程度;τ₂为到达目标位置的距离阈值;k₂、k₃为可调整权重系数;当采摘机器人的机械臂末端姿态和位置同时达到相应的阈值τ₁和τ₂时则视为完成任务,此时给予高奖赏值h₁。

为了能让采摘机器人准确地避开障碍物,借助人工势场思想构建全局障碍感知函数R_rep,其基本思想是障碍物对采摘机器人会产生斥力作用,即当采摘机器人过于靠近障碍物时,给予相应的惩罚,从而引导采摘机器人避开障碍物。

(16)$R_{\mathrm{rep}}=\left\{\begin{array}{ll} 0, & d_{\mathrm{obs}}>c_{2} \\ \frac{1}{2} k_{4}\left(\frac{1}{d_{\mathrm{obs}}}-\frac{1}{c_{2}}\right)^{2}, & c_{1} \leqslant d_{\mathrm{obs}} \leqslant c_{2} \\ \frac{1}{2} k_{5}\left(\frac{1}{c_{1}}-\frac{1}{c_{2}}\right)^{2}, & d_{\mathrm{obs}}＜c_{1} \end{array}\right.$

式(16)中:d_obs为采摘机器人与障碍物之间的最小距离;c₂为全局障碍感知函数起作用的距离阈值;同时为防止过于靠近障碍物导致惩罚过大,设置阈值c₁避免惩罚过大;k₄、k₅为可调整权重系数。

并设置碰撞函数R_col为

(17)R_col=

$\left\{\begin{array}{ll}{h}_{2},& colli=1\\ 0,& colli=0\end{array}\right.$

式(17)中:colli=1表示发生碰撞,colli=0表示未发生碰撞;h₂为采摘机器人发生碰撞后给予的高惩罚值。

为了让采摘机器人更高效地完成任务,还需设置步长函数R_step为

(18)R_step=

$\frac{{k}_{6}}{{D}_{0}}$

式(18)中:D₀为每个训练回合初始时刻机械臂末端与目标点的欧式距离;k₆为可调整权重系数,鼓励智能体以最少步数完成任务。

因此,协同路径规划任务的奖励函数设计包括姿态惩罚函数R_pose,距离引导函数R_goal,全局障碍感知函数R_rep,碰撞函数R_col和步长函数R_step,总体奖励函数同时兼顾位姿任务与避障任务,用于引导采摘机器人完成协同路径规划任务,当满足距离阈值与姿态阈值时则视为完成任务。总奖励函数R每步的奖励值定义如式(19)所示,奖励函数各权重系数设置值如表1所示。

(19)R=R_pose+R_goal+R_rep+R_col+R_step

5 实验方法与结果分析

5.1 参数设置

在仿真环境中进行实验,训练采摘机器人完成协同路径规划任务并对DATD3LN算法进行了不同模块的消融实验。实验基于Ubuntu20.04操作系统和Python语言,硬件配置为Intel Core I5 13600KF,Nvidia RTX 4060Ti。

深度强化学习算法中Actor网络与Critic网络学习率为3×10^-4,折扣因子γ为0.95,更新批量大小设置为1 024,目标网络软更新因子τ为0.005。在仿真实验中,仿真物理引擎为Bullet,仿真时间步长为50 ms,设置训练轮次为5 000回合,每回合最大步长限制为250步。当采摘机器人完成规划任务或发生碰撞或达到回合最大步数限制时,将会进入下一回合的训练,采摘机器人和目标点的初始位置将会在设定的范围内进行随机重置。

5.2 评价指标

通过任务成功率(success rate, SR)、带有路径长度加权的成功率(success weighted by path length, SPL)、回合平均步数(average steps, AS),回合平均姿态误差(pose error, PE)对模型的测试结果进行评价,定义为

(20)

${m}_{SR}=\frac{1}{N}\sum _{i=1}^{N}{S}_{i}$

(21)

${m}_{SPL}=\frac{1}{N}\sum _{i=1}^{N}{S}_{i}\frac{{l}_{i}}{max({p}_{i},{l}_{i})}$

(22)

${m}_{AS}=\frac{1}{N}\sum _{i=1}^{N}{H}_{i}$

(23)

${m}_{PE}=\frac{1}{\sum _{i=1}^{N}{S}_{i}}\sum _{i=1}^{N}{S}_{i}\left(\sum _{j=1}^{{H}_{i}}{q}_{j}\right)$

式中:m_SR、m_SPL、m_AS和m_PE分别为评价指标SR、SPL、AS和PE的计算值;N为测试的回合数量;S_i为第i回合是否成功,成功取1,不成功取0;l_i为选取第i回合开始时机械臂末端与目标点的最短距离;p_i为第i回合实际采取的路径长度;q_j为每步的姿态夹角误差;H_i为第i回合完成任务时所用的步数。

任务成功率SR与带有路径长度加权的成功率SPL指标描述了模型完成任务的程度与路径效率,越高表示模型性能越好;回合平均步数AS统计测试回合中的平均步数,当未完成任务时H_i取回合最大步长, 回合平均姿态误差PE指标则统计模型在成功完成任务时的回合平均姿态误差,AS与PE越小代表性能越好。

5.3 结果分析

5.3.1 训练结果对比

不同算法在仿真环境中训练的奖励曲线如图4所示。对比DATD3和TD3算法可知,双Actor模块的加入能让模型在收敛后呈现更高的奖励值,说明该模块有助于更好地捕捉价值更高的动作;对于协同路径规划此类复合任务,双Actor模块能较好地处理位置奖励、姿态奖励以及避障之间的平衡,从而取得更高的奖励值。在Critic网络中添加LayerNorm的TD3LN算法,相比与TD3其收敛速度更快,在1 000~3 000回合中TD3LN算法的奖励增长始终快于TD3算法,在训练后期也没有过多的波动,即训练更为稳定;没有添加LayerNorm的TD3和DATD3算法在训练后期出现了奖励值回落的情况,如DATD3在接近5 000回合时训练奖励值下降,说明其稳定性不足。

将双Actor模块和LayerNorm共同作用于TD3算法,训练时呈现出了最佳性能,DATD3LN算法收敛速度快于其余任何一种算法,在1 000回合左右训练奖励急增,并在2 000回合之后奖励稳定,波动较少,表明两个模块的协同作用使算法能够高效捕捉高价值动作并保持稳定性,从而在提升收敛速度与最终奖励的同时,更好地完成了位姿控制与避障的复合任务目标。

5.3.2 路径规划结果对比

为了进一步量化分析各算法对协同路径规划的效果,设置200轮不同的随机采摘机器人初始位置和目标点位置让完成训练的模型在仿真环境下进行协同路径规划测试,并使用任务成功率SR,带有路径长度加权的成功率SPL,回合平均步数AS和回合平均姿态误差PE对模型的测试结果进行评价,统计结果如表2所示。表2中所列各算法采取的路径长度通过计算机械臂末端运行的距离得到。

测试指标中以任务成功率SR与带有路径长度加权的成功率SPL为主要指标,DATD3LN、DATD3、TD3LN和TD3算法的成功率分别为96.0%、69.5%、72.5%和56.5%,带有路径长度加权的成功率分别为77.8%、50.3%、55.9%和37.1%。DATD3LN相比于原算法,其任务成功率提高了约69.9%,SR与SPL指标均为最高,能完成大部分情况下的路径规划任务;DATD3算法由于在训练结束前出现了回落现象,导致测试成功率不高,表现并不理想,稍差于TD3LN算法;而TD3算法在测试时的成功率最低,失败的情况主要集中于采摘机器人初始位置与采摘目标位置距离较远的情况,如图5所示,其中紫色曲线为机械臂末端经过的路径。TD3算法将获取高奖励的动作集中于机械臂部分,没有捕捉到移动底盘对于完成规划任务的一个重要性,在规划过程中选择了提前终止移动底盘的移动,将重心集中于机械臂的运动,这也是由于TD3算法存在价值过低估计现象所导致的,缺乏移动底盘的一个配合,使得TD3算法难以完成较远距离情况下的规划,导致总体的任务成功率较低。

在协同路径规划任务中,DATD3LN、DATD3、TD3LN和TD3算法的平均步数指标分别为106.14、148.24、143.75和169.89,DATD3LN算法所使用的步数最少,完成采摘任务的效率较高;其回合平均姿态误差指标分别68.83、65.84、71.27和78.25,虽然DATD3算法的回合平均姿态误差最小,但其他指标不太理想,这也与其在训练结束前出现的奖励值回落有关。DATD3LN的回合平均姿态误差为68.83略大于DATD3算法的65.84,但综合各项指标,其测试性能最好,优于其他三种算法。DATD3LN在执行该复合目标任务时,能较好权衡位置、姿态和避障三大任务,高效率地学习到高价值的动作,能较好地解决非结构化采摘环境下的协同路径规划问题。图6展示了DATD3LN算法规划的部分成功结果,在规划过程中移动底盘靠近目标让其进入机械臂的工作空间中,而机械臂在执行避障的同时也在不断地靠近目标,两者配合令机械臂末端到达指定位姿的采摘点,从而成功规划出采摘路径。

6 结论

针对目前采摘路径规划研究集中于机械臂,忽视了移动底盘与机械臂之间联系的问题,提出了移动底盘与机械臂协同路径规划的思想,充分发挥采摘机器人兼顾移动性与操作性的优势,并利用深度强化学习的优势来解决该高维冗余问题,给出了一种基于改进TD3算法的荔枝采摘机器人协同路径规划方法,包括搭建荔枝采摘仿真实验环境,依据真实的荔枝采摘任务要求,结合位置、姿态和避障三大任务设计状态空间、动作空间以及奖励函数。为了解决TD3算法在训练过程中存在价值低估偏差的现象以及需要稳定训练加快收敛的需求,研究了一种基于双Actor网络和LayerNorm的TD3算法(DATD3LN),可有效提升算法的训练速度和稳定性,进而提高协同路径规划模型的性能与鲁棒性。仿真实验结果表明,所提出的算法能较好地解决协同路径规划问题,提高协同路径规划的成功率与采摘效率,有望提高采摘机器人的自动化与智能化水平,为采摘机器人路径规划研究提供了新的思路,而在后续的工作中可以进一步地考虑机器人的能效问题。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	陈厚彬, 杨胜男, 苏钻贤, 等. 2024年全国荔枝生产形势分析与管理建议[J]. 中国热带农业, 2024(3): 8-20.

[2]	Chen Houbin, Yang Shengnan, Su Zuanxian, et al. Analysis of the national litchi production in 2024 and management suggestions[J]. China Tropical Agriculture, 2024(3): 8-20.

[3]	许东霞, 刘华锋, 何建林. 荔枝采摘装置研究现状与发展趋势[J]. 农业工程, 2024, 14(9): 23-26.

[4]	Xu Dongxia, Liu Huafeng, He Jianlin. Research status and development trend of litchi picking device[J]. Agricultural Engineering, 2024, 14(9): 23-26.

[5]	熊俊涛, 李中行, 陈淑绵, 等. 基于深度强化学习的虚拟机器人采摘路径避障规划[J]. 农业机械学报, 2020, 51(S2): 1-10.

[6]	Xiong Juntao, Li Zhongxing, Chen Shumian, et al. Virtual robot picking path obstacle avoidance planning based on deep reinforcement learning[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(S2): 1-10.

[7]	Hart P E, Nilsson N J, Raphael B. A formal basis for the heuristic determination of minimum cost paths[J]. IEEE Transactions on Systems Science and Cybernetics, 1968, 4(2): 100-107.

[8]	Tang Z, Xu L, Wang Y, et al. Collision-free motion planning of a six-link manipulator used in a citrus picking robot[J]. Applied Sciences, 2021, 11(23): 11336.

[9]	李晓娟, 陈涛, 韩睿春, 等. 不确定采摘环境下改进RRT算法的机械臂路径规划研究[J]. 中国农机化学报, 2024, 45(4): 193-198.

[10]	Li Xiaojuan, Chen Tao, Han Ruichun, et al. Research on path planning of robotic arm with improved RRT algorithm in uncertain environment for harvesting[J]. Journal of Chinese Agricultural Mechanization, 2024, 45(4): 193-198.

[11]	龚立雄, 陈佳霖, 黄霄, 等. 基于改进Informed-RRT^*算法的舰载机甲板平面路径规划[J]. 科学技术与工程, 2024, 24(17): 7429-7437.

[12]	Gong Lixiong, Chen Jialin, Huang Xiao, et al. Aircraft deck flat path planning based on improved Informed-RRT^*algorithm[J]. Science Technology and Engineering, 2024, 24(17): 7429-7437.

[13]	Zhuang M, Li G, Ding K. Obstacle avoidance path planning for apple picking robotic arm incorporating artificial potential field and A^* algorithm[J]. IEEE Access, 2023, 11: 100070-100082.

[14]	唐座亮. 柑橘采摘机械臂运动规划研究[D]. 雅安: 四川农业大学, 2022.

[15]	Tang Zuoliang. Research onmotion planning of the citrus-picking manipulator[D]. Yaan: Sichuan Agricultural University, 2022.

[16]	Liu C, Feng Q, Tang Z, et al. Motion planning of the citrus-picking manipulator based on the TO-RRT algorithm[J]. Agriculture, 2022, 12(5): 581-603.

[17]	张永梅, 赵家瑞, 吴爱燕. 好奇心驱动的深度强化学习机器人路径规划算法[J]. 科学技术与工程, 2022, 22(25): 11075-11083.

[18]	Zhang Yongmei, Zhao Jiarui, Wu Aiyan. Robot path planning algorithm based on curiosity-driven deep reinforcement learning[J]. Science Technology and Engineering, 2022, 22(25): 11075-11083.

[19]	王伟, 吴昊, 刘鸿勋, 等. 基于深度强化学习的无人机姿态控制器设计[J]. 科学技术与工程, 2023, 23(34): 14888-14895.

[20]	Wang Wei, Wu Hao, Liu Hongxun, et al. An attitude controller for quadrotor drone using RM-DDPG[J]. Science Technology and Engineering, 2023, 23(34): 14888-14895.

[21]	Fujimoto S, Hoof H, Meger D. Addressing function approximation error in actor-critic methods[C]// International Conference on Machine Learning. Stockholm: PMLR, 2018: 1587-1596.

[22]	Lin G, Zhu L, Li J, et al. Collision-free path planning for a guava-harvesting robot based on recurrent deep reinforcement learning[J]. Computers and Electronics in Agriculture, 2021, 188: 106350.

[23]	杨淑华, 谢晓波, 邴振凯, 等. 基于HER-TD3算法的青皮核桃采摘机械臂路径规划[J]. 农业机械学报, 2024, 55(4): 113-123.

[24]	Yang Shuhua, Xie Xiaobo, Bing Zhenkai, et al. Path planning of green walnut picking robotic arm based on HER-TD3 algorithm[J]. Transactions of the Chinese Society for Agricultural Machinery, 2024, 55(4): 113-123.

[25]	郑嫦娥, 高坡, Gan Hao, 等. 基于分步迁移策略的苹果采摘机械臂轨迹规划方法[J]. 农业机械学报, 2020, 51(12): 15-23.

[26]	Zheng Change, Gao Po, Gan Hao, et al. Trajectory planning method for apple picking manipulator based on stepwise migration strategy[J]. Transactions of the Chinese Society for Agricultural Machinery, 2020, 51(12): 15-23.

[27]	李勇, 张朝兴, 柴燎宁. 基于人工势场DDPG算法的移动机械臂协同避障轨迹规划[J]. 计算机集成制造系统, 2024, 30(12): 4282-4291.

[28]	Li Yong, Zhang Chaoxing, Chai Liaoning. Collaborative obstacle avoidance trajectory planning for mobile robotic arms based on artificial potential field DDPG algorithm[J]. Computer Integrated Manufacturing Systems, 2024, 30(12): 4282-4291.

[29]	Wang C, Zhang Q, Tian Q, et al. Learning mobile manipulation through deep reinforcement learning[J]. Sensors, 2020, 20(3): 939.

[30]	Sutton R S, Barto A G. Reinforcement learning: an introduction[M]. Cambridge: MIT Press, 2018: 1-13.

[31]	Shakya A K, Pillai G, Chakrabarty S. Reinforcement learning algorithms: a brief survey[J]. Expert Systems with Applications, 2023, 231: 120495.

[32]	Mnih V, Kavukcuoglu K, Silver D, et al. Human-level control through deep reinforcement learning[J]. Nature, 2015, 518(7540): 529-533.

[33]	Ciosek K, Vuong Q, Loftin R, et al. Better exploration with optimistic actor critic[J]. Advances in Neural Information Processing Systems, 2019, 32.

[34]	Lü J, Ma X, Yan J, et al. Efficient continuous control with double actors and regularized critics[C]// Proceedings of the AAAI Conference on Artificial Intelligence. Vancouver: AAAI, 2022, 36(7): 7655-7663.

[35]	Yue Y, Lu R, Kang B, et al. Understanding, predicting and better resolving Q-value divergence in offline-RL[J]. Advances in Neural Information Processing Systems, 2023, 36: 60247-60277.

[36]	Zhou Q, Lian Y, Wu J, et al. An optimized Q-learning algorithm for mobile robot local path planning[J]. Knowledge-Based Systems, 2024, 286: 111400.

[37]	Wang Z, Hunt J J, Zhou M. Diffusion policies as an expressive policy class for offline reinforcement learning[J]. arXiv Preprint, arXiv: 220806193, 2022.

[38]	Liu H, Ying F, Jiang R, et al. Obstacle-avoidable robotic motion planning framework based on deep reinforcement learning[J]. IEEE/ASME Transactions on Mechatronics, 2024, 29(6): 4377-4388.

[39]	Kartiwa A, Supriatna A K, Rusyaman E, et al. Review of quaternion differential equations: historical development, applications, and future direction[J]. Axioms, 2023, 12(5): 483.

基金资助

广东省自然科学基金(2024A1515011997)

广东省自然科学基金(2022A1515010806)

广州市科技计划(2023B01J0046)

PDF (11422KB)

访问

被引

详细

导航

Received	Published	Revised
2025-03-26	2026-03-18	2025-12-10
Online Date
2026-06-26

摘要