基于多视角融合的机器人抓取位姿估计模型

杨红玲; 代路; 解仑

doi:10.12404/j.issn.1671-1815.2506992

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (9) :3616-3625 DOI: 10.12404/j.issn.1671-1815.2506992

智能机器人关键技术专栏

基于多视角融合的机器人抓取位姿估计模型

作者信息 +

Robot Grasping Pose Estimation Model Based on Multi-view Fusion

Author information +

文章历史 +

摘要

为解决机械臂抓取时因物体对称性和遮挡等因素引发的位姿估计难题,通过融合多视角RGB-D数据的方法研究了目标物体的六自由度位姿估计问题。该方法基于单视角位姿估计框架,利用三维关键点投票网络对各视角场景中的三维关键点进行独立预测,并通过置信度评分、加权融合以及均值偏移聚类实现多视角信息的有效整合,最终完成目标物体位姿的精确求解。结果表明:该方法在对称与遮挡场景下能够显著提升位姿估计精度;多视角融合策略有效增强了关键点的预测稳定性与鲁棒性;在桌面环境下的自主抓取实验中显著提高了抓取成功率与执行效果。实验证明,所提出的方法在复杂抓取场景中具有良好的适应性和应用价值,能有效提高在非结构化场景下的作业自主性,还为解决复杂工况下的智能装配作业提供了关键技术支撑,具有广阔的产业应用前景。

Abstract

In order to address the pose estimation challenges encountered in robotic grasping due to object symmetry and occlusions, the problem of six-degree-of-freedom pose estimation was investigated by integrating multi-view RGB-D data. The proposed method was built upon a single view pose estimation framework, in which a 3D keypoints voting network was employed to independently predict 3D keypoints from each viewpoint. Multi-view information was then effectively integrated through confidence scoring, weighted fusion, and manshift clustering, enabling accurate recovery of the target object pose. Experimental results demonstrate that the proposed method significantly improves pose estimation accuracy in symmetric and occluding scenarios. The multi-view fusion strategy effectively enhances stability and robustness of keypoints prediction. Autonomous grasping experiments in tabletop environments achieve notably higher grasp success rates and execution performance. The experiments have shown that the proposed method has good adaptability and application value in complex grasping scenarios, can effectively improve the autonomy of operations in unstructured scenarios, and provides key technical support for solving intelligent assembly operations under complex working conditions, with broad prospects for industrial application.

Graphical abstract

关键词

场景融合 / 位姿估计 / 均值偏移 / 关键点 / 多视角 / 机器人抓取

Key words

scene fusion / pose estimation / manshift / keypoints / multi-view / robotic grasping

引用本文

引用格式 ▾

杨红玲, 代路, 解仑. 基于多视角融合的机器人抓取位姿估计模型[J]. 科学技术与工程, 2026, 26(9): 3616-3625 DOI:10.12404/j.issn.1671-1815.2506992

YANG Hong-ling, DAI Lu, XIE Lun. Robot Grasping Pose Estimation Model Based on Multi-view Fusion[J]. Science Technology and Engineering, 2026, 26(9): 3616-3625 DOI:10.12404/j.issn.1671-1815.2506992

登录浏览全文

4963

注册一个新账户忘记密码

在传统工业装配车间中,机械臂按照预先设定的程序,在特定场景下完成简单操作,这使得它们在执行任务时缺乏对环境的自主感知和决策能力。然而,在日常生活过程中机器人与周围环境的交互,如何及时准确地获取周围环境信息显得尤为重要。为了保证抓取动作的精确性,机器人不仅需要准确测定目标物体的姿态,还必须能够根据现场情况做出相应的反应,例如自动避障^[1]。

对于机械臂抓取来说,准确估计出待抓取目标物体的6自由度(6 degree of freedom, 6DoF)位姿非常具有挑战性^[2]。在传统的位姿估计中,算法通常需要依赖于完整的物理世界中所要估计的物体模型,其中基于RGB(red-green-blue)的位姿估计算法也不例外^[3]。首先,通过在指定的视角下预先渲染出RGB和深度图像集合;然后,通过对比渲染图像与RGB图像的关键特征点,建立2D-3D的对应关系;最后,利用n点透视 (Perspective-n-Points, PnP) ^[4]算法通过方程求解计算估计目标物体的6DoF位姿信息。值得注意的是,该方法主要适用于那些具有丰富纹理特征的物体。另外一类需要关注的是基于RGB-D(RGB-depth)的位姿估计方法。首先,需要对估计物体模型点云和场景点云提取快速点特征直方图^[5]或者方向直方图^[6]等纹理特征;然后,通过特征匹配的方法确定所估计物体的初始位姿信息;最后,通过采用最近邻点迭代(iterative closest point,ICP) ^[7]配准算法对目标物体的6DoF初始位姿进行优化,但该算法的计算过程较为复杂,且实时性能不理想。机械臂抓取中,目标物体如果纹理特征不丰富,上述方法很难适应,基于此,He等^[8]提出了一种基于模板匹配技术的位姿估计算法策略,用于解决纹理特征缺乏的物体在位姿估计中的难题,通过对3D模型从多个角度的渲染RGB和深度图像中并提取颜色梯度特征和法线特征作为表示目标物体的模板,通过从真实RGB-D图像中提取特征,并将这些特征与预先构建的模板库进行匹配,最终选取匹配度最高的模板,其对应的位姿被确定为目标位姿。基于模板的位姿估计,尽管此方法可以实现无纹理物体的位姿估计的检测,但无法应对遮挡场景下的位姿估计任务。

目前更主流的方法是通过深度学习的方法进行目标物体6DoF位姿估计,根据深度学习输入的数据类型分为基于RGB和RGB-D的两大类。Ran等^[9]提出一种基于RGB的位姿估计网络PoseCNN通过端到端的方式回归出目标物体的位姿。由于目标物体旋转空间固有的非线性特性使得采用回归方法估计位姿极具挑战性。与PoseCNN回归的方式不同,DoPe和PVNet采用两阶段法实现位姿估计^[10-11]。其中,DoPe算法首先通过卷积神经网络预测目标物体3D边界框在图像中的投影坐标,然后再求解目标物体的6DoF位姿,并在合成数据集进行训练,从而实现了较为理想的效果。基于RGB-D数据的位姿估计算法(例如DenseFusion^[12]、G2L-Net^[13]、PVN3D^[14])等整体在准确率上要高于基于RGB的位姿估计算法。其中DenseFusion将RGB特征与几何特征融合,回归目标物体的位姿,取得了领先水平PVN3D通过将PVNet扩展到三维关键点预测,采用深度霍夫投票机制定位场景中对应模型的三维点,继而利用最小二乘法解析出6DoF位姿信息。

RGB-D与深度学习相结合的位姿估计方法相较于传统定位算法,在精度和抗干扰能力上表现更为突出。然而在遮挡严重或物体呈对称状态等复杂场景中,单一视角的位姿估计可能无法达到足够的检测精度,从而对机械臂的抓取行动构成挑战,甚至引发操作不稳定或失败。鉴于此,通过融合来自多个视角的RGB-D数据以实现目标物体精确位姿估计显得极为必要。基于这一考量,所提出的算法不依赖连续场景测量,而是采集多个离散视角下的RGB-D数据,并将这些信息进行融合,有效完成复杂机械抓取环境中的障碍检测和物体位姿识别,提升机械臂在目标物体抓取作业中的稳定性。六自由度位姿估计模型通过融合多视角RGB-D数据,有效解决由于物体对称性和遮挡等因素造成的位姿估计困难。这种方法能够在复杂的抓取场景中提高物体的位姿估计精度。同时,三维关键点投票网络模型,该模型基于单视角的三维关键点投票网络,实时独立预测各个视角中的三维关键点,从而提高了模型对不同视角信息的整合能力。利用置信度评分和均值偏移聚类,进一步增强关键点的预测稳定性与鲁棒性。

1 位姿估计算法

在实现机器人自主操作过程中,视觉检测技术至关重要,其表现直接影响着后续的运动规划和物体抓取效果。而在该系统中,视觉定位模块的核心任务则是准确判断目标物在复杂场景中的具体位置和姿态。目前,利用视觉进行目标物体的6DoF位姿估计方法大体可归纳为两类:一类采用传统估计技术,另一类则是基于深度学习的方法。

1.1 基于传统位姿估计算法

传统目标6DoF位姿估计的方法进一步细分为三类:一类依赖于特征点对应关系,另一类采用模板匹配策略,第三类则基于投票机制进行位姿估计。

这些方法通常依赖于规则的三维模型,在处理纹理丰富的物体时表现良好,但在面对对称性、遮挡或无纹理物体时,其鲁棒性和实时性则显得不足。例如,基于模板匹配的方法能够较好地处理无纹理对象,但在光照变化和遮挡情况下易出现误差。

采用RGB图像进行目标位姿估计的情况下。首先在离线阶段从多个特定位姿中渲染出目标现有三维模型的RGB参考图像,然后从观测图像和参考图像中提取二维关键点并进行匹配,建立图像与三维目标物体之间的映射关系。接着,并通过利用投影变换结合PNP后处理算法得到目标物体的6DoF位姿信息^[15]。该算法具有良好的实时性,对轻度遮挡具有鲁棒性,但依赖于目标的三维模型,故一般仅适用于纹理丰富的目标对象。RGB-D数据包含场景的深度信息,然后将目标位姿估计问题转化为局部对齐问题^[16]。基于对应关系的位姿估计算法首先提取并匹配目标模型点云和场景点云的三维特征点^[17],从而获得目标的粗略位姿信息。此时,可以获得物体的粗略姿态信息,最后通过ICP点云对齐算法对目标姿态进行细化,得到最终姿态^[18]。这类的位姿估计算法的实现依然需要建立在对目标几何模型的精确定义基础上。该方法能够用于无纹理物体的位姿估计,但其计算过程烦琐且运算效率不高,使得实现机器人抓取的实时性存在一定难度。此外,对于要求实时响应的人体抓取操作,该方法同样面临性能瓶颈。

运用模板匹配进行位姿估计时,首要步骤是将已有的三维目标模型从多个不同视角进行投影,采集多幅RGB-D参考图像,并从中提取图像梯度和曲面规则性特征构成模板库。然后,将图像与模板进行匹配,匹配度最高的模板作为目标物体的初始姿态;在此基础上,通过对姿态进性精细优化,获得最终姿态^[19]。尽管基于模板的位姿估计方法能较好地处理无纹理特征的对象,但存在遮挡或光照变化的场景中,其鲁棒性仍显不足。

以投票为核心的位姿估计算法专注于解决遮挡环境下的位姿估计难题,其基本策略是利用观测图像中各个局部块的投票结果,共同确定最终的位姿信息。基于此,Zhang等^[20]提出了一种基于点到特征的方法,用于从点云数据中恢复物体的6DoF姿态,该方法由任意两个3D点与点上标准特征的距离组成,通过使用局部坐标系和Hough投票实现对目标物体的位姿估计和评分,选择评分最高结果作为目标物体最终6DoF位姿。

1.2 基于深度学习的位姿估计算法

通过深度学习的方法进行目标物体6DoF位姿估计,根据深度学习输入的数据类型分为基于RGB和RGB-D的两大类^[21]。

基于RGB图像的目标物体6DoF位姿估计中,Tang等^[22]提出了一种名为BB8的深度神经网络模型,该模型首先通过预测目标在二维输入图像上的三维包围盒的投影点,进而构建二维-三维之间的对应关系,随后借助PNP算法进行后续处理,从而计算出目标的6DoF位姿,属于两阶法策略。相比传统算法,该方法显著提高了检测精度,并能更有效地应对光照变化和遮挡挑战。该算法通过预测三维包围盒固定点在二维图像上的投影来完成位姿估计,因此对称对象或三维包围盒在二维图像上的投影重叠时,难以区分两阶段方法。此外,2D投影中的小误差在真实3D空间中可能更显著^[23]。为解决传统两阶段方法的局限性,PoseCNN不仅预测图像中目标物体中心的投影位置,还同时估计其与摄像机之间的距离,通过摄像机内参矩阵,计算目标物体的6DoF位姿信息。它直接回归由四元数表示的对象的姿势,从而获得其完整位姿。虽然单阶段方案在一定程度上补偿了两阶段方法的短板,但也不可避免地带来了一系列新问题。此外,由于旋转空间具有非线性特点,使得单阶段方法在学习和推广过程中遇到较大困难。为了解决这个问题,一些学者将旋转空间离散化^[24],并将姿态估计转化为一个分类问题,但这种策略在一定程度上牺牲了精度。

随着RGB-D传感器普及,推动了基于RGB-D的深度学习位的目标物体姿估计的发展。Wang等^[12]提出了一种称为DenseFusion的位姿估计算法,该算法首先利用卷积神经网络(convolutional neural networks,CNN)从RGB图像和深度图中提取视觉特征,同时采用PointNet网络从深度图像中提取几何特征^[25],然后将这两个特征融合形成RGB-D融合特征,用于预测目标的初始位姿。同时,进一步设计了基于深度学习的位姿优化网络,对位姿估计结果进行连续迭代优化。He等^[14]在二维像素投票网络(pixel-wise voting network, PVNet) ^[11]的基础上,整合了深度信息,从而将二维像素投票网络推广到了三维应用场景。他们提出了一种基于三维关键点投票网络(point-wise 3D keypoints voting network, PVN3D)模型,该模型首先利用深度Hough投票网络来实现目标三维特征点的检测,随后利用最小均方误差方法估计目标的6DoF位姿信息。此外,通过引入实例分割模块进行联合训练,实现在多目标场景下的位姿估计,并在基准数据集上展现了优异的性能。与仅依赖RGB图像进行位姿估计的传统方法相比,RGB-D技术充分利用深度信息,从而强化了图像特征的表达能力,进而提升了估计精度。然而在处理多目标有重叠的复杂场景时,PVN3D不能很好的确定目标物体的6DoF位姿。

在复杂场景中,单一视角下的点云数据中目标对象所包含的点数量有限,这往往导致位姿估计算法的精度显著降低。在复杂场景中,单一视角下的点云数据中目标对象所包含的点数量有限,这往往导致位姿估计算法的精度显著降低。同时,传感器噪声、障碍物以及目标之间的遮挡现象都使得对目标进行准确、全面的描述变得更加困难。虽然部分算法可以有效缓解传感器噪声和光照变化所带来的问题,但在处理对称目标或严重遮挡的情形时仍存在不足。因此,为了在复杂环境中实现精确的位姿估计,必须从多个视角采集场景视觉信息,并对这些数据进行整合。Rajič等^[26]提出了一种基于多视角点云融合的目标物体位姿估计方法,首先利用末端执行器上固定安装的深度摄像机采集场景中15~18个固定视角的点云数据,然后利用实例分割网络分别对各视角中的目标点云进行分割和融合,最终通过将目标模型的点云与融合后的点云进行对齐,获取目标物体6DoF位姿信息。Lin等^[27]将姿势估计算法DoPe扩展到多个视点。首先,DoPe在单个视点中预测目标对象的姿态。然后,在已知视点间相对位姿关系的条件下,将DoPe估计算法扩展到多个视点,得到目标物体的最终位姿。

深度学习与数据融合技术的应用。随着深度学习的快速发展,越来越多的研究开始引入卷积神经网络(CNN)等深度学习技术来进行位姿估计。利用RGB-D数据的优势,可以在深度图中提取更多关键信息,提升位姿估计的准确性和稳健性。近些年来,基于RGB-D图像的姿态估计算法不断涌现,例如利用卷积神经网络实现的PoseNet,通过深度融合方法提高了预测精度并实现了实时估计。与上述多视角姿态估计方法不同,本文研究在基于RGB-D的PVN3D方法基础上,将其拓展到多视角应用场景,并通过多视角关键点的融合,构建了一种全新的姿态估计方案,提升复杂环境中目标物体6DoF位姿估计性能。

2 基于多视角融合的机器人抓取位姿估计模型

2.1 三维关键点投票网络

三维关键点投票网络采取两阶段估计策略实现目标物体6DoF位姿估计,其基本思想较为简单,即首先通过关键点投票网络对每个目标物体投票出多个场景3D关键点,接着,根据场景中提取的关键点与模型中的相对应的关键点,采用最小二乘法进行拟合,从而获得目标物体的6DoF位姿信息。PVN3D是基于RGB-D数据的位姿估计网络,最初,运用ResNet34以及PointNet++特征提取网络,从RGB图像和点云数据中提取RGB特征与几何特征;然后利用基于DenseFusion特征融合网络将RGB特征与几何特征融合,形成RGB-D融合特征。同时,利用多层感知机(multi-layer perceptron, MLP)生成M_k、M_s以及M_c模块。最后,将融合特征分别输入3个模块中,分别用于目标关键点预测、目标物体实例分割以及目标中心点预测。

目标物体的6DoF位姿估计方法通常需要结合目标检测或实例分割,提取出目标物体的感兴趣区域(region of interest, ROIs),再对ROIs内的目标物体进行位姿估计,PVN3D同时完成多类物体的多个实例对象的分割与位姿估计任务。为达此目的,该方法对实例分割模块M_s、中心点预测模块M_c及关键点预测模块M_k进行联合优化,提升模型性能。实例分割模块M_s引导网络同时获取全局与局部特征,这些特征能够辅助关键点预测模块M_k确定的平移信息,帮助实例分割模块区分外同一类别的目标物体;同时中心点预测模块M_c辅助M_s实现对不同实例的区分。PVN3D利用监督学习方法,对3个模块M_k、M_s以及M_c进行了协调优化,其最终的损失函数为

(1)${L}_{\mathrm{a}\mathrm{l}\mathrm{l}}={\lambda }_{1}{L}_{\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{i}-\mathrm{t}\mathrm{a}\mathrm{s}\mathrm{k}}+{\lambda }_{2}{L}_{\mathrm{s}\mathrm{e}\mathrm{m}\mathrm{a}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{c}}+{\lambda }_{3}{L}_{\mathrm{c}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{x}\mathrm{t}}$

式(1)中:L_all为总损失函数;λ₁、λ₂、λ₃为损失项的权重系数;L_muli-task为任务损失项;L_semantic为语义损失项;L_centext为上下文损失项。在YCB-Video和LineMod数据集里,PVN3D展现出卓越性能,并且在面对光照、噪声以及少量遮挡情况时,具备更强的鲁棒性。

2.2 多视角位姿估计

在对称结构及存在相互遮挡的场景中,PVN3D的定位精度明显降低,难以满足复杂机械臂抓取场景下任务中对位姿估计的要求,如图1所示。为此,将PVN3D方法推广到多视角场景,并提出一种依托多视角关键点融合的位姿估计算法。在处理单视角下的RGB与深度图像时,首先使用PVN3D对目标物体进行实例分割,然后计算该视角中物体模型关键点对应的场景关键点的三维坐标。

在离线阶段,通过应用最远点采样算法提取从物体的点云表面提取关键特征点。首先,选取物体的中心点作为采样点加入关键点集合;随后,选取与集合里所有关键点距离最远的点当作新的模型关键点,把它添加至模型关键点集合。重复上述步骤,直至选取n个模型关键点(本文中n=9),如图2所示。以模型中心点作为起始的模型关键点,与之对应的场景关键点借助中心点预测模块所预测出的目标物体中心点来呈现。

在利用PVN3D完成单视角场景下的各目标物体场景关键点获取后,对单视角下获取的每个关键点进行评分、滤波与加权处理。假定视角k中第i个物体上第j个场景关键点记为k${p}_{j}^{k,i}$,其中k∈[1,M],i∈[1, N],j∈[1,9],M和N分别为视角和模型关键点的总数。分别统计第k个视角下,实例分割中属于第i个物体的点云数目和投票聚类结果中落在以关键点k${p}_{j}^{k,i}$为中心、以聚类半径r为半径的球体内的点云数目,分别记为n^k^,ⁱ和${n}_{j}^{k,i}$,则关键点k${p}_{j}^{k,i}$的评分为

(2)${\mathrm{f}}_{j}^{k,i}=\frac{{n}_{j}^{k,i}}{{n}^{k,i}}$

式(2)中:f${}_{j}^{k,i}$表示视角k中第i个物体上样本j的出现频率;评分f${}_{j}^{k,i}$∈[0,1]用于表征模型关键点k${p}_{j}^{k,i}$位姿预测的准确性;${n}_{j}^{k,i}$为总频率;n^k^,ⁱ为总数量。利用关键点评分对场景关键点做进一步滤波和加权处理,采用评分阈值f_error、f_correct将关键点划分为S_error、S_uncertaint、S_correct共3个不同的集合,表达式为

(3)$\left\{\begin{array}{ll}{\mathrm{f}}_{\mathrm{j}}^{k,i}<{f}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}},& \mathrm{k}{p}_{j}^{k,i}\in {S}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}\\ {\mathrm{f}}_{\mathrm{j}}^{k,i}\ge {f}_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}},& \mathrm{k}{p}_{j}^{k,i}\in {S}_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}}\\ \mathrm{其}\mathrm{他},& \mathrm{k}{p}_{j}^{k,i}\in {S}_{\mathrm{u}\mathrm{n}\mathrm{c}\mathrm{e}\mathrm{r}\mathrm{t}\mathrm{a}\mathrm{i}\mathrm{n}}\end{array}\right.$

式(3)中:属于集合S_error中的关键点评分小于可信任阈值门限f_error,直接滤除,以免对后续平均偏移聚类结果产生干扰,而属于S_correct集合的关键点大于等于完全可信赖阈值门限f_correct,属于S_right集合中的关键点被可以被认定为准确关键点,而剩余关键点的评分满足:f_error≤f^k^,ⁱ _j≤f_correct,属于S_uncertaint集合,对此类集合中的关键点,根据其评分f^k^,ⁱ _j和目标物体实例分割点云数目n^k^,ⁱ进行加权处理。采用式(4)对S_uncertaint集合中的场景关键点进行加权处理,表达式为

(4)${w}_{\mathrm{j}}^{k,i}=\mathrm{e}\mathrm{x}\mathrm{p}\left[\right({f}_{\mathrm{j}}^{k,i}-{\stackrel{-}{f}}_{j}^{i}){n}_{\mathrm{j}}^{k,i}/\lambda {\stackrel{-}{n}}^{i}]$

式(4)中: w^k,i_j为模型关键点kp^k,i_j的权值;$\mathrm{ }{\stackrel{-}{f}}_{j}^{i}=1/m\stackrel{k=m}{\sum _{k=0}}{{f}^{k,i}}_{j}$为第i个物体上第j个关键点所有视角下评分f^k,i_j的均值;$\mathrm{ }{\stackrel{-}{n}}^{i}=1/\mathrm{n}\stackrel{k=m}{\sum _{k=0}}{{n}^{k,i}}_{j}$为n^k,i在所有视角下的均值; λ作为一个权重系数,其作用在于调整视角之间权重差异的幅度, λ一般为0.05~0.2。w^k,i_j同时考虑f^k,i_j以及n^k,i,当${{f}^{k,i}}_{j}>{{\stackrel{-}{f}}^{i}}_{j}$时, n^k,i越大会使关键点w^k,i_j的权重更高,反之,n^k,i越大则会使关键点w^k,i_j的权重更低。

通过评分f^k^,ⁱ _j和权重w^k^,ⁱ _j来投票出最终关键点,针对物体i上的关键点j,遍历其所有视角下的关键点kp^k^,ⁱ,其中k=0,1,…,m,若其中存在属于S_correct集合的关键点,则物体i上的关键点j的最终场景关键点为所有属于S_correct集合中的关键点的均值,即$k{p}^{k,i}=1/N\stackrel{N}{\sum _{k=0}}k{p}^{k,i},$其中kp^k^,ⁱ∈S_correct,N为属于S_correct关键点的总数;当不存在属于S_correct集合的关键点,而存在属于S_correct集合中的关键点时,将利用其权重w^k^,ⁱ _j对属于S_uncertaint集合中的关键点进行平均偏移聚类,获得聚类中心作为最终关键点,而S_error集合内的关键点则不会参与此次聚类过程;当kp^k^,ⁱ∈S_error时,将得分最高的f^k^,ⁱ _j确定为该场景的最终关键标识。获取物体i上所有的最终场景关键点kp^k^,ⁱ后,通过对应物体坐标系下的模型关键点,利用最小均方误差拟合算法即可计算出多视角下的位姿参数(R, t)。

3 实验结果及分析

通过开源数据集YCB-Video和实验室实际抓取数据验证提出的多视角场景重建与位姿估计算法的有效性,YCB-Video数据集用于算法的有效性,实验室实际抓取数据用于验证算法的泛化性。

3.1 YCB-Video位姿估计实验

以与PVN3D一致的测试集展开验证工作,该测试集中涵盖了YCB-Video数据集中的所有21个物体,共计2 949帧。在该测试集中,重点聚焦于存在遮挡以及对称情况的物体,具体包括tomato soup can (005)、potted meat can (010)、bowl (024)、wood block (036)、large clamp (051) 以及 extra large clamp (052)。与PVN3D相同,采用平均距离偏差(average distance of model points, ADD)和对称物体平均距离偏差(average closest point distances, ADD-S)作为目标物体6DoF位姿估计误差评估标准。物体模型的点云数据经过模型预测出的位姿(R, t)变换转换为预测点云,真实位姿经过(R^*, t^*)转换为真实点云。ADD对模型预测位姿的误差进行评估,其方式是算出预测点云与真实点云对应点之间的平均欧式距离,表达式为

(5)$\mathrm{A}\mathrm{D}\mathrm{D}=\frac{1}{m}\sum _{x\in O}\Vert (R{x}_{1}+t)-(R{x}_{2}+t)\Vert $

式(5)中:O为模型点云;x为模型点云中的任一点;m为模型点云中点的总数。ADD-S与ADD类似,通过计算预测点云到真实点云最近邻点之间的平均欧式距离来评估预测误差,ADD-S指标用于衡量模型在对称物体位姿估计中产生的误差,表达式为

(6)$\mathrm{A}\mathrm{D}\mathrm{D}-\mathrm{S}=\frac{1}{m}\sum _{{x}_{1}\in O}\underset{{x}_{2}\in O}{\mathrm{m}\mathrm{i}\mathrm{n}}\Vert (R{x}_{1}+t)-({R}^{\mathrm{*}}{x}_{2}+{t}^{\mathrm{*}})\Vert $

为了验证位姿估计方法的表现,采用了与PVN3D相一致的评估方式,采用ADD(S) AUC (the area under the accuracy-threshold curve, AUC)和ADD-S AUC两种评估方式,二者的区别在于ADD(S) AUC对非对称物体计算ADD距离和对称物体计算ADD-S距离,而ADD-S AUC则统一计算ADD-S距离。

图3和图4展示了PVN3D与所提出的多视角位姿估计算法在处理对称物体和遮挡场环境中的估计效果。图3、图4中不同颜色的2D点,源自将物体的点云模型经过预测的位姿变换到相机坐标系后,通过相机内参投影到图像平面上,进而反映了各种算法在位姿估计上的定性表现。

通过与位姿估计真实值进行对比可知,在面对严重遮挡及对称物体时,PVN3D算法会出现目标物体的姿态预测值偏离真实值的情况,由于严重遮挡导致目标物体丢失大部分纹理及几何信息,同时对称物体会带来表面相似性干扰,使得PVN3D在进行场景关键点投票时,无法准确定位出全部9个关键点的位姿,总会存在部分场景关键点因上述干扰发生偏离现象。因此在利用场景关键点解算目标物体的位姿时,姿态容易产生较大偏移。本文方法通过对场景关键点进行置信度评分、加权及平均偏移聚类实现多视角场景关键点的融合,精准定位场景关键点,提高模型在遮挡及对称目标物体的泛化能力,在位姿估计精度上有明显的提高。

对比方法POSCNN、DOPE、PVN3D以及本文算法在YCB-Video数据集21个物体共2 949帧测试集上的量化评估结果如表1所示。从中能够发现,基于RGB的位姿估计PoseCNN算法,在准确率方面,相较于基于RGB-D的DenseFusion、PVN3D及多视角位姿估计算法,有较大差距。并且,直接回归目标位姿网络DenseFusion的估计精度,相比基于关键点的PVN3D要低一些。所以,相较于直接对目标位姿进行回归,直接对模型关键点进行投票会得到更为准确的结果。此外,就对称物体及遮挡物体,当非对称物体发生少量遮挡时,PVN3D表现出较强的鲁棒性,依然能较为准确地估计出目标位姿;但当对称物体发生少量遮挡或非对称物体发生遮挡时,PVN3D在姿态估计上往往表现较差。在关键点预测环节,一些关键点的预测结果与真实值之间存在较大差距,进而导致整体姿态与真实情况出现明显偏差。与之不同的是,多视角位姿估计算法在多数对称物体以及大面积遮挡的场景当中,基本上都展现出了较为出色的性能。

从量化指标来看,基于多视角融合的位姿估计算法相比原始PVN3D模型在对称及遮挡物体(用*表示)tomato soup can (005)、potted meat can (010)、bowl (024)、wood block (036)、large clamp (051)以及extra large camp (052)上平均提升5.2%,最高提升8.8%,最低提升2.4%。在整个测试集的平均性能相比原始PVN3D在ADD(S) AUC和ADDS AUC指标提高2.4%和1.8%。

3.2 场景关键点置信度评分

场景关键点置信度评分过程如图5所示,假定图5(a)和图5(b)分别为视角k下的RGB图像及场景点云,同时物体Master Chef Can记为物体i,如图5(a)中红色矩形框所示。令物体i上第j个场景关键点为$k{p}_{j}^{k,i}$,图5(c)中的绿色点云为实例分割结果。其属于第i个物体的场景点云投票出的场景关键点$k{p}_{j}^{k,i}$的空间位姿,绿色点云的数目即为n^k,i。然后,对场景关键点$k{p}_{j}^{k,i}$的投票结果进行聚类,如图5(d)所示,聚类中心即为单视角下场景关键点$k{p}_{j}^{k,i}$的最终位姿,图中红色点云即为聚类结果中处于以场景关键点$k{p}_{j}^{k,i}$为中心以r为半径的球体内的点,本文研究中r=0.02。图5(d)中红色点云数目与绿色点云数目的比值即为场景关键点$k{p}_{j}^{k,i}$的置信度评分。

3.3 置信度评分

融合多视角RGB-D数据的6DoF位姿估计评估采用统计的方法确定置信度评分的阈值F_error和F_correct。具体来说,首先从YCB数据集中随机抽取100帧数据用于构建数据集,计算各场景关键点的置信度评分,以及场景预测关键点与实际关键点的平均欧氏距离。为避免偶然因素的影响,对统计过程重复进行了10次,并求取各次结果的平均值。场景关键点与真实关键点之间的平均欧式距离随置信度评分变化的曲线,如图6所示。整体而言,尽管该曲线存在一定波动,但随着置信度评分的提升,平均欧式距离呈现下降趋势。其中特别地,当置信度评分处于0.1~0.2区间时,由于模型预测出的场景关键点较为有限,统计误差较大,从而导致曲线出现明显波动;当置信度评分为0.9时,场景预测关键点与实际关键点的平均距离控制在2cm内,说明在此情况位姿预测更精准。因此将置信度评分0.9作为完全可信的阈值门限F_correct。同时,当置信度评分低于0.5时,聚类中心球体内的点云数量不足以有效参与投票,且预测关键点与真实关键点的距离超过4 cm,因此选择置信度评分0.5作为可信任阈值门限F_error。

3.4 机械臂抓取实验

为了验证多视角场景重建和物体位姿估计算法的泛化能力,将融合多视角RGB-D数据的6DoF位姿估计算法部署到AUBO七自由度机械臂平台上进行了真实场景实验测试。AUBO机械臂构造原理模拟了人类手臂:从上至下依次是具备三自由度的类拟腕关节、拥有一自由度的拟肘关节和具备三自由度的拟肩关节。冗余自由度使得机械臂在姿态控制更灵活。即同一末端位姿可由不同的机械臂姿态实现,从而在避开让场景中障碍物的同时提升自主抓取的灵活性与可靠性。此外,实验平台还配置了基于Ubuntu系统和Intel RealSense D435作为Eye-in-Hand RGB-D相机。以番茄汤罐头为抓取对象,在有障碍物场景和无障碍的两种场景下,通过多次随机变换目标物体位姿并重复多组抓取实验,实验结果如图7所示,充分验证了算法的泛化能力。

4 结论

针对机械臂抓取任务中常遇到的物体对称性和遮挡等问题,提出了一种利用多视角RGB-D数据融合的六自由度位姿估计模型。该模型首先运用单视角的三维关键点投票网络,在各个视角下获取场景的3D关键点;随后,通过对这些关键点进行置信度评分、加权以及均值偏移聚类,从而融合构建出一个多视角下的场景关键点集合,并据此计算出目标物体的最终位姿。实验部分在YCB-Video标准数据集以及自主抓取实验中对本算法的有效性与精度进行了验证。

未来的研究方向将进一步研究在更复杂和多变的环境中应用这一位姿估计模型,例如高动态场景或包含多种物体和干扰的环境。改进模型的适应性,将增强其在实际应用中的广泛性。同时,除了估计单一目标的位姿,未来将探索同时处理多个目标物体位姿估计的方法。这个研究领域将需要创新的算法来分离和识别重叠的物体,从而确保在复杂场景中也能准确完成任务并推动机器人抓取技术在工业和日常生活中的实际应用。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Du G, Wang K, Lian S, et al. Vision-based robotic grasping from object localization, object pose estimation to grasp estimation for parallel grippers: a review[J]. Artificial Intelligence Review, 2021, 54(3): 1677-1734.

[2]	雷志明, 李勇, 双丰, 等. 基于 RGB 图像的机械臂目标抓取位姿估计算法[J]. 计算机集成制造系统, 2023, 29(10): 3296.

[3]	Lei Zhiming, Li Yong, Shuang Feng, et al. Pose estimation algorithm for robot arm target grabbing based on RGB image[J]. Computer Integrated Manufacturing Systems, 2023, 29(10): 3296.

[4]	张日红, 陈德照, 张瑞华, 等. 多机械臂协同采摘技术研究综述[J]. 科学技术与工程, 2025, 25(15): 6155-6168.

[5]	Zhang Rihong, Chen Dezhao, Zhang Ruihua, et al. Review of research on cooperative picking technology with multiple robotic arms[J]. Science Technology Engineering, 2025, 25(15): 6155-6168.

[6]	Holen H KR, Smith T, Egeland O. Visual estimation of relative ship-crane movement from point and line correspondences[J]. Journal of Offshore Mechanics Arctic Engineering, 2026, 148(2): 021402.

[7]	He T, Fang Y, Li K, et al. Large-scale point cloud completion through registration and fusion of object-level reconstructions[J]. Applied Sciences, 2026, 16(1): 554.

[8]	Jovhari N, Sedaghat A, Shah-Hosseini R, et al. Robust retinal image matching: a modality-resistant descriptor using directional anisotropic texton-like features and evaluation across diverse datasets[J]. Journal of Imaging Informatics in Medicine, 2026(1): 1-24.

[9]	Yu Z, Wang H, Wu Y, et al. A convenient height-filtering-based strategy for multi-source forest lidar point cloud registration[J]. Smart Agricultural Technology, 2026, 13: 101790.

[10]	He Y, Wang S, Wu C, et al. PGA6D: 6D pose estimation for grasping and assemblying based on keypoints voting[J]. Machine Vision Applications, 2026, 37(1): 11.

[11]	Ran H, Chen D, Chen Q, et al. 6-DoF grasp estimation method that fuses RGB-D data based on external attention[J]. Journal of Visual Communication Image Representation, 2024, 101: 104173.

[12]	De Roovere P, Daems R, Croenen J, et al. CCPose: high-precision six-dimensional pose estimation for industrial objects[J]. Machine Vision Applications, 2026, 37(1): 2.

[13]	Peng S, Liu Y, Huang Q, et al. PVNet: pixel-wise voting network for 6DoF pose estimation[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2019: 4561-4570.

[14]	Wang C, Xu D, Zhu Y, et al. Densefusion: 6D object pose estimation by iterative dense fusion[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2019: 3343-3352.

[15]	Chen W, Jia X, Chang H, et al.G2l-net: global to local network for real-time 6D pose estimation with embedding vector features[C]. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2020: 4233-4242.

[16]	He Y, Sun W, Huang H, et al.PVN3D: a deep point-wise 3D keypoints voting network for 6DoF pose estimation[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Piscataway: IEEE, 2020: 11632-11641.

[17]	Lin H, Liang S, Chen Y. Robotic grasping with multi-view image acquisition and model-based pose estimation[J]. IEEE Sensors Journal, 2020, 21(10): 11870-11878.

[18]	Liu Y, Zhang C Dong X, et al. Point cloud-based deep learning in industrial production: a survey[J]. ACM Computing Surveys, 2025, 57(7): 1-36.

[19]	Zhu Z, Peng S, Larsson V, et al. NICER-SLAM: neural implicit scene encoding for RGB SLAM[C]. International Conference on 3D Vision (3DV). Piscataway: IEEE, 2024: 42-52.

[20]	Placed J A, Strader J, Carrillo H, et al. A survey on active simultaneous localization and mapping: state of the art and new frontiers[J]. IEEE Transactions on Robotics, 2023, 39(3): 1686-1705.

[21]	Luo F, Zhu Y, Fu Y, et al. Sparse RGB-D images create a real thing: a flexible voxel based 3D reconstruction pipeline for single object[J]. Visual Informatics, 2023, 7(1): 66-76.

[22]	Zhang X, Jiang X, Han J, et al. Path planning method for stacking parts of industrial robots guided by 3D vision[J]. Journal of Computers, 2024, 35(4): 225-240.

[23]	Wang C, Pei Z, Qiu S, et al. RGB-D-based stair detection and estimation using deep learning[J]. Sensors, 2023, 23(4): 2175.

[24]	Tang T, Ho C C, Nadarajan G. Markerless feature-registration-based image processing framework for oil palm fresh fruit bunch robotic harvester[C]// International Workshop on Advanced Imaging Technology (IWAIT). Bellingham: SPIE, 2025: 127-132.

[25]	Huang L, Bai J, Guo J, et al. On the error analysis of 3d gaussian splatting and an optimal projection strategy[C]// European conference on computer vision (ECCV). Cham: Springer, 2024: 247-263.

[26]	Yang H, Wang Y, Yin X, et al. A 6-dimensional pose estimation method combining sparse viewpoint classification initialization and optical flow-guided iterative refinement[J]. Engineering Applications of Artificial Intelligence, 2025, 159: 111814.

[27]	Luo J, Cai J, Li J, et al. Detection and pose measurement of underground drill pipes based on GA-PointNet++[J]. Applied Intelligence, 2025, 55(2): 132.

[28]	Rajič F, Xu H, Mihajlovic M, et al. Multi-view 3D point tracking[C]// IEEE/CVF International Conference on Computer Vision (ICCV). Piscataway: IEEE, 2025: 59-68.

[29]	Lin Y, Tremblay J, Tyree S, et al. Multi-view fusion for multi-level robotic scene understanding[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Piscataway: IEEE, 2021: 6817-6824.