基于视觉感知的机械臂多维双态手势交互系统

张家建; 吴翔; 李博; 王俊超; 暴东豪

doi:10.12404/j.issn.1671-1815.2506127

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (19) :8005-8018 DOI: 10.12404/j.issn.1671-1815.2506127

第二十八届中国科协年会学术论文

基于视觉感知的机械臂多维双态手势交互系统

作者信息 +

Multi-dimensional Dual-state Gesture Interaction System for Robotic Arms Based on Visual Perception

Author information +

文章历史 +

摘要

针对传统机械臂在复杂场景下交互效率低、控制方式不够直观的问题,设计了一种基于视觉感知的多维手势识别机械臂交互控制系统,该系统可实现动静态手势的3种交互控制功能:手部二维关节姿态的静态手势交互、手部末端三维运动的动态手势交互,以及手部运动轨迹的跟随控制交互,从而达成机械臂的直观高效操控。其中,静态手势关节交互采用改进的YOLO(you only look once)结合MediaPipe框架,通过检测手部关键点实现关节精准控制,识别准确率达93.9%;动态手势末端运动交互借助3DResNet与双向长短时记忆网络(bidirectional long short-term memory,Bi-LSTM)提取动态手势的时空特征,识别准确率达93.87%,可驱动机械臂末端按预定义指令运动;手部运动轨迹跟随控制交互利用深度相机捕获三维坐标,结合卡尔曼滤波和滑模控制器实现平滑轨迹跟踪,误差控制在4.5 mm以内。通过在UR5和Dobot机械臂上开展仿真与实物实验,验证了这3种交互功能的有效性与准确性,为机械臂人机交互提供了高效、自然且跨平台的解决方案。

Abstract

To address the issues of low interaction efficiency and non-intuitive control methods of traditional robotic arms in complex scenarios, a robotic arm interaction control system based on multi-dimensional gesture recognition under visual perception was designed. Three types of interaction control functions were accomplished, including static gesture interaction for the two-dimensional joint posture of the hand, dynamic gesture interaction for the three-dimensional movement of the hand’s end, and following control interaction for the hand’s movement trajectory. In this way, intuitive and efficient robot manipulation was enabled.The static gesture joint interaction was realized by combining an improved YOLO (you only look once) with the MediaPipe framework to achieve precise joint control through the detection of hand key points, with an identification accuracy rate of 93.9%. The dynamic gesture end movement interaction was implemented using 3DResNet and Bi-LSTM(bidirectional long short-term memory) networks to extract the spatiotemporal features of dynamic gestures, achieving an identification accuracy rate of 93.87%, and was used to drive the robotic arm’s end to move according to predefined instructions. The hand movement trajectory following control interaction was achieved by capturing three-dimensional coordinates with a depth camera and combining Kalman filtering and sliding mode controllers to ensure smooth trajectory tracking, with an error controlled within 4.5 mm.Through simulation and physical experiments conducted on UR5 and Dobot robotic arms, the effectiveness and accuracy of these three interaction functions are verified, providing an efficient, natural, and cross-platform solution for human-robot interaction.

Graphical abstract

关键词

手势识别 / 目标检测 / 机械臂控制 / 人机交互

Key words

gesture recognition / object detection / robot control / human-computer interaction

引用本文

引用格式 ▾

张家建, 吴翔, 李博, 王俊超, 暴东豪. 基于视觉感知的机械臂多维双态手势交互系统[J]. 科学技术与工程, 2026, 26(19): 8005-8018 DOI:10.12404/j.issn.1671-1815.2506127

ZHANG Jia-jian, WU Xiang, LI Bo, WANG Jun-chao, BAO Dong-hao. Multi-dimensional Dual-state Gesture Interaction System for Robotic Arms Based on Visual Perception[J]. Science Technology and Engineering, 2026, 26(19): 8005-8018 DOI:10.12404/j.issn.1671-1815.2506127

登录浏览全文

4963

注册一个新账户忘记密码

随着自动化技术的发展,机器人已从传统流水线扩展到智能制造、医疗辅助、服务和危险环境等多个领域。机器人任务越来越复杂,不仅要完成高精度重复操作,还需适应动态环境并与人类自然交互。在现代工业中,机器人需要快速理解和响应操作指令,提高效率和安全性^[1]。

传统人机交互多依赖操纵杆、按钮或预设程序,但预设程序难以应对实时变化,操纵设备需额外硬件且操作复杂,在远程、高危或高精度场景下效率低下。此外,王畅等^[2] 针对全触屏交互模式进行研究,指出在复杂操作情境下触控交互可能带来更高的认知负荷与操作风险,进一步表明传统交互方式在可靠性与安全性方面仍存在明显不足。

近年来,计算机视觉和人工智能的发展推动了非接触式交互^[3],尤其是视觉手势识别因其直观、自然优势受到重视。相比按键或语音,手势控制无需复杂学习,不易受环境噪声影响,无需佩戴额外设备,安全便捷且成本低。

在工业机器人领域,手势交互可实现远近程控制,完成搬运、装配等任务,降低操作难度,提高效率^[4]。在高风险环境下能减少人员暴露,提升安全性,在柔性制造中增强任务适应力,提升生产智能化水平。例如,Pavithra等^[5]通过手势控制机械臂替代人工,用于危险或受限环境中的作业,以避免人员直接暴露于放射性或有害区域;Zhang 等^[6]实现了手势驱动的远程/遥操作系统,使操作人员通过自然手势即可控制机械臂完成搬运和装配任务,从而显著提高系统在装配、搬运等任务下的效率与适用性。

该技术主要依赖计算机视觉、毫米波雷达和超声波等。视觉方法基于深度学习发展迅速,如 MediaPipe Hands 和 Kinect 实现了高效手势识别;毫米波和超声波在复杂环境中更具适应性。多模态融合是近年来热点,结合视觉、惯性测量单元(inertial measurement unit,IMU)、肌电等信号,有效提升动态手势识别的准确性和鲁棒性,广泛应用于智能制造与人机协作。

Peral等^[7]提出结合卷积特征与时间建模的轻量手势识别方法,提升了机器人对自然手势的响应速度,增强人机交互的实时性,但在复杂背景下鲁棒性有限。He等^[8]结合改进粒子群优化算法(particle swarm optimization,PSO)与核相关滤波算法(kernelized correlation filter,KCF),实现平稳的动态手势追踪,提高了交互连续性与稳定性,适用于中低速手势控制。Xu等^[9]融合彩色-深度(red green blue-depth,RGB-D)数据构建鲁棒识别网络,提升复杂环境下的识别准确性,增强了人机交互系统的实用性,但依赖专用设备。Jia等^[10]采用手部骨架实现非轨迹识别,简化处理流程,适合自然直观的交互方式,但对传感器精度依赖程度高。郭剑等^[11]利用Vision Transformer处理毫米波点云,提升远距复杂手势识别能力,拓展了非视觉交互方式,但计算资源消耗大。Zhang等^[12]利用Wi-Fi实现少样本手势与身份联合识别,适用于隐私敏感或无光环境的人机交互,但易受环境干扰影响稳定性。Wu等^[13]提出的 YOLO (you only look once)与三维 ResNet-LSTM 融合网络(YOLO and 3D ResNet-LSTM Network,Yo3RL-Net)通过两阶段端到端融合架构实现高精度的手部检测与手势识别,在复杂光照与姿态变化下仍保持稳定表现,进一步提升了视觉交互系统的鲁棒性。郑涵等^[14]采用改进快速区域卷积神经网络(faster region-based convolutional neural network,Faster R-CNN)提升了手部关键点检测精度,使复杂背景下的手势定位更稳定可靠。

中国机器人市场近年来增长迅猛。据统计,2024—2025 年中国机器人市场规模与销量显著增长,全球市场占据近半份额,轻量化、小负载机器人成为主流。然而,目前大多数商用或研究系统仍依赖预设轨迹、离散指令或人工示教,其交互方式固定、不够灵活,在复杂、多变的生产/服务场景中控制效率和适应性仍然有限。基于此,将“视觉感知、多维手势识别和自然人机交互”引入机器人控制体系,具有明显的现实必要性与产业应用价值。

为了探索基于手势姿态识别的人机交互在工业机器人控制中的应用,设计一种基于视觉的手势识别系统,结合机器人运动控制实现实时手势操控,提高机器人控制的灵活性与自然交互能力。随着制造业柔性化、小批量多品种生产、人工成本上升、劳动力短缺等趋势,机器人系统正从传统大规模固定自动化向灵活、智能、安全、人机协作方向转型。所提出的交互控制系统有望扩大机器人在中小企业、柔性生产线、服务/装配/检测等多样场景中的适用范围,从而对中国机器人产业的普及、智能制造升级与自动化转型发挥积极推动作用。

1 交互系统概述

本系统是一种通过手势识别实现机器人控制的人机交互系统,旨在提升人机交互的自然性与智能化水平。系统支持3种交互控制模式:静态手势关节交互、动态手势末端运动交互以及手部运动跟随控制交互,以适应不同的应用场景和交互需求。在静态手势关节交互模式中,系统基于改进的YOLO网络并结合MediaPipe框架实现对特定静态手势的识别,进而映射为对应的机器人关节角控制信号,实现关节级别的精细交互。在动态手势末端运动交互模式中,系统引入3DResNet提取视频序列中的时空特征,并结合双向长短期记忆网络(bidirectional long short-term memory,Bi-LSTM)对时间序列信息进行建模,提升对动态手势的识别准确率和鲁棒性。识别结果将被映射为预定义的机器人任务指令。在手部运动跟随交互模式中,系统利用深度相机(如RealSense)实时采集手部的三维空间轨迹信息,通过卡尔曼滤波器对采集的轨迹进行平滑与去噪处理,从而生成稳定的运动路径。随后,系统将手部轨迹映射至机器人末端执行器的空间轨迹,实现对手部运动的同步跟随控制,增强交互的直观性与灵活性。

系统开始运行时可以先选择交互控制模式,随后进行手部定位检测,在此基础上开展手势识别(包括静态手势识别、动态手势识别、手部三维信息获取),最终生成相应的控制指令以驱动机械臂,实现高效、直观的人机交互。系统框架如图1所示。

为验证本系统在不同机器人平台上的兼容性,分别在 UR5(六自由度)机械臂和 Dobot(四自由度)机械臂上进行了实验。实验仿真平台(图2)由联想ThinkBook 16+ 搭建,配备 Intel(R) Core(TM) i5 处理器与 NVIDIA GeForce RTX 2050 独立显卡,结合 Orbbec Femto 3D 深度摄像头以及机械臂仿真软件 CoppeliaSim 4.1.0。CoppeliaSim 提供了丰富的机器人模型和仿真环境,支持多类型机器人的建模与控制,为本系统的仿真实验提供了高度灵活的测试平台。由于实际设备条件限制,实物实验部分仅在 Dobot 机械臂上完成。

2 手部二维关节姿态的静态手势机械臂交互

2.1 基于MediaPipe的静态手势识别

静态手势识别分两阶段:先利用基于YOLO的框架从图像提取特征,检测手部位置,确定感兴趣区域(region of interest,ROI)并分离出手部;再用MediaPipe检测手部关键点,通过计算手指弯曲角度识别静态手势。识别流程如图3所示。

在手部检测阶段,采用了 MBAB-YOLO^[15],以增强小目标(即手部)检测的精度与鲁棒性。该算法在 YOLO 架构基础上,引入了多分支注意力增强模块(multi-branch attention block, MBAB)和轻量化特征提取结构,该模块通过在特征提取阶段引入通道注意力与空间注意力的联合分支,实现了对关键区域特征的自适应强化,从而有效提升了模型在复杂背景下对手部边界与局部关键点的区分能力。MBAB模块由3个部分组成:轻量化卷积分支用于提取局部纹理特征;通道注意力分支通过全局平均池化计算特征响应权重,以突出重要通道信息;空间注意力分支利用卷积融合不同尺度的特征图,从而增强目标区域的空间感知能力。实现了对关键区域特征的自适应强化,主要结构参数包括:输入尺寸为640×640,主干网络为CSPDarknet并在第3层与第5层加入MBAB模块,注意力模块卷积核大小为3×3,通道压缩率r=16,检测头采用路径聚合网络(path aggregation network,PAN)-FPN结构,类别输出为单类(手部),激活函数为Sigmoid线性单元激活函数(sigmoid linear unit,SiLU),损失函数为完全交并比损失(complete intersection over union,CIoU)与二元交叉熵损失(binary cross entropy,BCE)的加权组合。

静态手势识别通过分析手部21个关键点的位置,判断手指的伸展或弯曲状态。如图4所示,MediaPipe 提供的关键点覆盖各手指关节位置,为计算关节角度奠定基础,从而准确识别手指弯曲程度。

以右手拇指为例,包括根部(关键点1)、第一关节(关键点2)、第二关节(关键点3)和指尖(关键点4)4个关键点。通过计算相邻两关节形成的二维向量夹角θ(利用坐标和向量点积)来判断拇指是否伸展或弯曲,其他手指的判断方法相同。计算公式为

(1)A=P₄-P₃

(2)B=P₂-P₀

(3)cosθ=$\frac{\mathit{A}\mathit{B}}{\left|\mathit{A}\right|\left|\mathit{B}\right|}$

式中:P_i(x_i,y_i)为关键位置坐标。

根据手指结构、活动范围和实验数据,设置了3个关键夹角阈值:49°、53°和65°^[16]。手指自然伸展时夹角一般在0°-50°,低于49°判定为伸直;夹角大于65°多为完全弯曲。拇指由于活动范围更大,自然状态下与掌心约成45°,完全伸展时仍存在一定夹角,因此设定53°为拇指伸直与弯曲的判断界限。结合65°阈值可进一步区分拇指的不同静态姿态。

2.2 静态手势识别算法对比实验

静态手势根据第2.1节中手指的弯曲情况设定,手指弯曲状态与静态手势对应关系如表1所示。

实验选择在handpose_x_gesture^[17]数据集测试对上述静态手势的识别率。对比了YOLO+MediaPipe、MediaPipe两种模型的识别率,以正确率A作为评价标准,其计算方式为

(4)A=$\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}$

式(4)中:TP(true positive)为真阳性,指模型正确预测为手势类别的样本数;TN(true negative)为真阴性,指模型正确预测为非手势类别的样本数;FP(false positive)为假阳性,是模型误将非手势样本预测为手势的样本数;FN(false negative)为假阴性模型未正确识别出手势样本的数量。具体的检测结果如表2所示。

由表2对比可知,YOLO+MediaPipe在手势识别任务中整体正确率93.9%优于单独MediaPipe的92.7%。具体到手势1正确率95.3%对比92.4%,手势3为93.8%对比93.1%,手势5达到95.9%对比93.2%。这种提升源于YOLO提供的更精确手部定位,有效增强关键点检测稳定性,尤其在复杂手势场景中表现出更强鲁棒性。

2.3 交互功能设计与验证

该交互模式采用双手协同:左手控制机械臂各关节,右手拇指与水平方向的夹角α决定对应关节的旋转方向和速度,夹角越大,速度越快。具体手势与控制命令如表3所示。为确保系统稳定,夹角每0.02 s读取一次,且相邻两次夹角变化超过2°时才视为有效命令。

如图5和图6所示分别展示了在UR5机械臂以及Dobot机械臂上,操作者的左手做出手势0时,控制机械臂第0个关节轴进行运动。

3 手部末端三维动态手势识别的动态手势机械臂交互

3.1 基于残差网络和LSTM的动态手势识别

动态手势识别同样分两阶段。首先,基于YOLO的框架分离手部区域,将分割后的帧传入下一阶段;然后,利用3D-CNN与LSTM框架分析手势的时空特征,预测标签,并以置信度最高的标签作为视频序列的识别结果。

构建了基于三维卷积网络的3DResNet,由3D卷积层和残差框架组成,如图7所示。

在输入数据预处理后,送入带残差结构的三维卷积神经网络(3D convolutional neural network,3D-CNN)提取时空特征。该残差模块的主路径由三层卷积组成:先用 1×1×1卷积降维,使 3×3×3卷积能在更小的特征空间中高效运算,最后再用 1×1×1卷积升维。每层卷积后都接批量归一化和 ReLU 激活,以优化训练效果并增强非线性表达能力。如图7所示为跨层连接方式。如果x和F(x)的维度不匹配,1×1×1卷积会先调整x的维度,然后再将其传递到输出。残差网络可以表示为

(5)H(x_l)=F(x_l)+x_l

式(5)中:x_l和H(x_l)分别为第l层的输入和输出;F(x_l)为主路径的残差映射函数。

3D-CNN能提取图像的空间特征和短期时序特征,但对长序列效果有限,因此结合长短期记忆网络(long short-term memory,LSTM)^[18]捕捉动态手势的时序信息。单向LSTM只利用过去信息,忽略未来上下文,难以区分起始和结束相似的手势。Bi-LSTM则同时考虑前后时序,更好地理解动态手势,特别适合处理起始与结束相似但结果不同的手势。

具体做法是将3D-CNN提取的特征向量输入Bi-LSTM正向模块,再反向输入同一数据段,最后融合两者输出。训练时采用50% Dropout防止过拟合,使用交叉熵损失函数,并通过Adam优化器进行优化。

3.2 动态手势识别算法对比

实验数据集使用20bn-jester^[19]数据集。选取上述7个手势的部分进行实验。在动态手势识别中,选用正确率A、精确率P、召回率R以及F₁分数作为本实验的评价指标。

F₁分数是精确率与召回率的调和平均,综合衡量二者表现。在动态手势识别中,F₁分数能全面评估模型对各类手势的识别能力,尤其在类别不平衡时,能更准确反映模型的整体性能。其计算公式为

(6)F₁=$\frac{2\mathit{P}\mathit{R}}{\mathit{P}+\mathit{R}}$×100%

式(6)中:P为精确率,表示预测为某个类别的样本中实际属于该类别的数量;R为召回率,表示实际属于某个类别的样本中被正确识别的数量。

根据上述指标,实验分别对3DCNN^[20]、3DCNN+Bi-LSTM^[21]、3DResNet-Bi-LSTM和YOLO+3DResNet-Bi-LSTM这4种模型进行了实验对比。对比结果如表4所示。

提出的融合模型对动态手势的平均识别正确率超过93.87%,比原始3DCNN提升约11.5%。引入残差网络不仅加快了训练速度,还显著提升了识别性能。此外,将目标检测网络整合进识别流程后,能高效提取手部位置并送入识别网络,相比未集成的方式,正确率提高了2.5%,验证了方法的有效性。

3.3 交互功能设计与验证

首先,YOLO网络对输入的RGB图像进行实时手部检测和定位;然后,3DResNet提取手势的时空特征,捕捉动态变化;最后,Bi-LSTM网络分析手势的时间序列,识别动态手势的趋势与方向。设定了动态手势与机械臂运动控制指令的对应关系,如表5所示。

如图8展示了在UR5机械臂上,操作者向下挥手时,机械臂沿Z轴负方向移动;如图9则展示了在Dobot机械臂上,操作者向上挥手时,机械臂沿Z轴正方向移动。

4 基于手部运动的跟随控制交互

4.1 手部三维坐标获取

首先,使用YOLO算法处理彩色图像,实时检测并定位手部,输出手部矩形边框,并提取中心点坐标作为手部质心的像素位置。随后,利用深度摄像头从深度图中获取该像素对应的深度值,表示手部到摄像头的实际距离。结合像素坐标和深度信息,最终获得手部的三维空间坐标,如图10所示。

如表6所示为记录的手部中心点在图像中的像素坐标及其对应的深度距离。其中,前一列“手部中心点像素坐标”表示手在二维图像中的像素坐标,后一列“手部中心点深度距离”表示相机测得的该点到摄像头的空间距离。

相机获取的手部数据通常以像素坐标系表示。为转换为现实世界的实际位置(世界坐标系),结合深度摄像头获取深度值Z,利用坐标转换公式将像素坐标转换为世界坐标。具体转换通过相机内参矩阵K(包含焦距f、dx/dy等参数)和外参矩阵[R|T]实现,最终世界坐标(X_w,Y_w,Z_w)可表示为

(7)X_c=$\frac{\mathit{u}-{\mathit{x}}_{\mathrm{c}}}{{\mathit{f}}_{\mathit{x}}}$Z, Y_c=$\frac{\mathit{v}-{\mathit{y}}_{\mathrm{c}}}{{\mathit{f}}_{\mathit{y}}}$Z, Z_c=Z

(8)$\left(\begin{array}{l}{\mathit{X}}_{\mathrm{w}}\\ {\mathit{Y}}_{\mathrm{w}}\\ {\mathit{Z}}_{\mathrm{w}}\end{array}\right)$=R$\left(\begin{array}{l}{\mathit{X}}_{\mathrm{c}}\\ {\mathit{Y}}_{\mathrm{c}}\\ {\mathit{Z}}_{\mathrm{c}}\end{array}\right)$+T

式中:(x_c,y_c)为光心像素坐标,f_x=f/dx、f_y=f/dy为归一化焦距。

4.2 基于卡尔曼的手部三维轨迹滤波

为实时捕捉手势轨迹,系统每0.02 s记录一次手部空间坐标。但受肌肉微颤和环境干扰影响,轨迹数据存在抖动和噪声。为提高平滑度、降低误差,采用卡尔曼滤波^[22]处理轨迹,减少高频噪声并使轨迹更平滑,同时使用中值滤波^[23]、均值滤波^[24]进行了实验对比。

卡尔曼滤波是动态滤波方法,结合运动模型与测量数据平滑轨迹,通过预测和校正估计系统状态以降低误差、提高精度,具有最优估计、实时处理等优点,包含预测与更新两阶段。

(1)预测阶段:根据上一时刻的轨迹点和运动模型预测当前时刻的轨迹点。假设手部运动遵循匀速运动模型,预测公式为

(9)${\hat{\mathrm{x}}}_{\mathrm{t}}$=x_t_-1+v_t_-1Δt

式(9)中:

${\hat{\mathit{x}}}_{\mathit{t}}$

为t时刻预测的轨迹点;x_t_-1为t-1时刻的轨迹点;v_t_-1为t-1时刻的速度;Δt为时间间隔(本研究中为0.02 s)。同时,更新预测误差协方差矩阵P_t为

(10)P_t=AP_t_-1A^T+Q

式(10)中:A为状态转移矩阵;P_t-1为t-1时刻的误差协方差矩阵;Q为过程噪声协方差矩阵。

更新阶段的卡尔曼增益K_t:

(11)K_t=P_tH^T(HP_tH^T+R)^-1

式(11)中:H为观测矩阵;P_t为预测阶段得到的误差协方差矩阵;R为测量噪声协方差矩阵。更新后的轨迹点为

(12)x_t=${\hat{\mathrm{x}}}_{\mathrm{t}}$+K_t(z_t-${\hat{\mathrm{H}\mathrm{x}}}_{\mathrm{t}}$)

式(12)中:z_t为 t时刻的观测轨迹点。

更新误差协方差矩阵为

(13)P_t=(I-K_tH)P_t

式(13)中:I为单位矩阵。

卡尔曼滤波能够在噪声较大的情况下仍保持较高的轨迹精度,且能够动态地优化轨迹点,因此非常适合用于实时手势轨迹的跟踪。

如图11所示为手部在三维空间中的原始轨迹与3种滤波方法的对比。

由图11可知,原始轨迹[图11(a)]存在明显抖动,曲线不平滑;均值滤波[图11(b)]虽能平滑轨迹,但细节易丢失,转弯处滞后明显;中值滤波[图11(c)]可去除突变噪声,但平滑性差,关键点易变形;卡尔曼滤波[图11(d)]能平滑轨迹并准确预测趋势,兼顾去噪与连续性,无明显滞后和失真,效果最佳,适合手势轨迹平滑处理。

4.3 指数趋近率的滑模控制器

为了使机械臂能够更准确地跟随手部进行运动,需要设计一个控制器来确保其稳定且高效地按照预定轨迹运行。由于UR5机械臂动力学复杂且受负载、环境和不确定性影响,精密操作对实时性要求高。滑模控制具备对参数变化和外部扰动的强适应性,能在复杂环境下保证高精度轨迹跟踪,因此选用以速度雅可比矩阵为被控对象的滑模控制^[25]作为最优方案。

(1)误差定义。

①位置误差:设期望位置为x_d(t),实际位置为x(t),则位置误差e_x(t)为

(14)e_x(t)=x_d(t)-x(t)

②速度误差:期望速度为v_d(t),实际速度为v(t),则速度误差e_v(t)为

(15)e_v(t)=v_d(t)-v(t)

(2)滑模面设计。滑模面的设计通常基于误差和误差的导数。定义滑模面s(t)为

(16)s(t)=ce_x(t)+λe_v(t)

式(16)中:c和λ为设计参数,c调节滑模面对位置误差的反应,λ调节速度误差的响应,通过c和λ可以控制误差收敛的速度和系统的鲁棒性。

(3)指数趋近律设计。为提高系统状态向滑模面的收敛速度,并增强系统对外部扰动与模型不确定性的鲁棒性,设计指数趋近律为

(17)$\stackrel{·}{\mathit{s}}$=-ks-ηsign(s)

式(17)中:

$\stackrel{·}{\mathit{s}}$

为滑模面s的时间导数,表示滑模面的变化率;k为趋近率参数,用于控制误差收敛到滑模面s=0的速度,本实验中k=0.1;η为趋近律的增益参数;sign(s)为滑模面s的符号函数。

(4)关节速度计算。速度雅可比矩阵(Jacobian Matrix)为末端执行器的线性速度和关节速度之间的关系,表示为

(18)$\stackrel{·}{\mathit{x}}$(t)=Jac[q(t)]$\stackrel{·}{\mathit{q}}$(t)

式(18)中:q(t)为关节角度;

$\dot{\mathit{q}}$

(t)为关节速度;Jac[q(t)]为速度雅可比矩阵。则有

(19)$\stackrel{·}{\mathit{q}}$(t)=Jac^-1[q(t)]v(t)

式(19)中:Jac^-1[q(t)]为雅可比矩阵的逆矩阵,它将末端执行器速度转换为关节速度。

(5)关节角度。在得到关节速度后,使用欧拉法进行积分,更新关节角度

(20)q(t+1)=q(t)+$\stackrel{·}{\mathit{q}}$(t)Δt

式(20)中:Δt为每次仿真步长;q(t)为当前关节角度;

$\dot{\mathit{q}}$

(t)为计算出来的关节速度。

(6)控制器设计指数趋近率控制的目的是让系统以指数速率快速收敛到滑模面,并保持稳定的滑动模态运动。在该控制策略中,控制率的表达式为

(21)v(t)=v_d(t)+$\frac{1}{\mathit{c}}$ηsign[s(t)]

式(21)中:v_d(t)为目标速度;

$\frac{1}{\mathit{c}}$

ηsign[s(t)]为切换控制项,用于驱动系统状态快速收敛到滑模面,本实验中c=5,η=0.000 2,λ=1。

在控制器设计中,关键参数的选择对系统的响应速度与稳定性具有重要影响。根据仿真结果与系统动力学特性,对滑模面及控制律参数进行了系统优化。滑模面系数c决定系统对误差变化的响应灵敏度。经多组仿真测试(c∈[0.5,10]),取c=5可兼顾快速响应与抖振抑制。趋近率参数η控制系统对滑模面的收敛速度,过大易引起高频振荡,过小则降低响应速度。综合比较误差收敛曲线后,选取η=2×10^-4以保证平稳快速收敛。阻尼因子 λ用于雅可比伪逆计算中抑制奇异位形下的数值不稳定,通过区间测试(λ∈[0.5,2])确定λ=1可获得较优的稳定性与精度。参数调节遵循“先固定 λ,再优化c与η”的原则, 随后根据误差收敛曲线进一步优化k与α,以减小末端误差震荡。

在 MATLAB 平台上进行了机械臂运动学仿真实验,以验证所设计控制器的准确性。实验将该控制器的位置跟踪效果与 PID(proportional-integral-derivative) 控制器进行了对比分析,具体通过对比两者的位置跟踪误差曲线来呈现结果,实验结果如图12、图13所示。

由图12、图13可知,PID与滑模控制器在轨迹跟踪中机械臂末端三轴位置误差随时间变化。PID控制下,x轴误差较小(多在±0.5 mm内),但y、z轴误差较大,z轴最大超2.5 mm;相比之下,滑模控制三轴误差更小且更稳定,y、z轴误差明显减小,z轴最大误差控制在1.5 mm内,体现出其在大误差处理和系统鲁棒性方面的优势。

为验证所设计控制器在实际手部运动跟随任务中的有效性,进一步进行了机械臂末端对手部轨迹的跟踪实验,结果如图14所示。

同时,为定量评价跟踪性能,引入了均方根误差(root mean square error,RMSE)曲线及瞬时误差作为量化指标。其中,RMSE反映了机械臂末端相对于期望轨迹的平均偏离程度。如图15所示实验结果表明,轨迹跟踪的 RMSE 为 2.757 mm,且在允许误差为 4.5 mm 的条件下,跟踪成功率达到 96.38%,表明控制器能够实现高精度、稳定的手部运动跟随。

4.4 交互功能设计与验证

在该模式下,机械臂末端运动会按比例缩放手部动作,以适应不同应用场景。由于手部运动范围通常大于机械臂,需引入比例因子,确保机械臂合理跟随手部轨迹。

如图16所示为UR5机械臂平台上,操作者手部从左向右移动时,机械臂能够实时做出跟随动作;如图17所示为Dobot机械臂平台上,操作者手部从右向左移动时,机械臂同样能够进行跟随响应。

为了实现完整的人机交互控制,系统结合静态手势识别实现抓取与放置:检测到“握拳”手势时,机械臂执行抓取操作;检测到“张开五指”手势时,机械臂执行放置操作。

5 结论

设计了一种基于视觉手势识别的人机交互系统,显著提升了交互操作的自然性、精准性和智能化水平。系统交互功能的特点总结如下。

(1) 多模式交互控制:系统设计了3种交互模式,包括静态手势关节控制、动态手势指令控制和手部运动轨迹跟随控制,分别实现关节精细操作、预定义任务指令执行和运动路径实时跟随,满足复杂场景下多样化的交互需求。

(2) 高效手势识别与指令映射:静态手势识别利用YOLO与MediaPipe技术实现精准的手部关键点检测,平均准确率达93.9%,支持关节级别的精细控制;动态手势识别融合3DResNet与Bi-LSTM,准确率达93.87%,确保动态指令的鲁棒与实时映射。

(3) 平滑手部轨迹与控制优化:手部运动跟随模式采用卡尔曼滤波处理三维轨迹数据,相较均值与中值滤波,显著提升轨迹平滑性与连续性;结合指数趋近率滑模控制器,机械臂轨迹跟踪误差控制在4.5 mm以内,确保精准的运动跟随。

(4) 跨平台交互功能验证:通过在UR5和Dobot机械臂上的仿真与实物实验,验证了交互功能的兼容性与可靠性,静态手势、动态手势及手部轨迹均能高效转化为机器人控制指令,显著提升人机交互的直观性与实用性。

本系统打破传统手势控制系统单一“命令映射”的限制,将静态手势关节控制、动态手势指令控制、手部三维运动轨迹跟随控制3种交互控制模式统一融合,实现了对机械臂从关节级精细动作、末端指令控制,到连续三维手部轨迹跟随的完整、多层级、多自由度控制能力。相比多数现有仅支持离散命令或静态手势控制的系统,本研究在控制灵活性、功能丰富性、适应多种应用场景等方面具备显著提升。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	刘少山, 甘一鸣, 韩银和. 机器人计算发展研究[J]. 中国科学院院刊, 2024, 39(11): 1956-1965.

[2]	Liu Shaoshan, Gan Yiming, Han Yinhe. Research on the development of robot computing[J]. Bulletin of the Chinese Academy of Sciences, 2024, 39(11): 1956-1965.

[3]	王畅, 张岩, 赵晨, 等. 新型全触屏人机交互模式对驾驶风险的影响特性[J]. 科学技术与工程, 2023, 23(22): 9673-9679.

[4]	Wang Chang, Zhang Yan, Zhao Chen, et al. The influence characteristics of a new full-touchscreen human-machine interaction mode on driving risk[J]. Science Technology and Engineering, 2023, 23(22): 9673-9679.

[5]	姚鑫. 基于语音识别的多模态人机交互系统关键技术研究[J]. 自动化与仪器仪表, 2023(11): 222-225.

[6]	Yao Xin. Research on key technologies of multimodal human-computer interaction system based on speech recognition[J]. Automation and Instrumentation, 2023 (11): 222-225.

[7]	龙樟, 卢成娅, 李国鹏, 等. 视觉手势识别的移动机器人手势控制系统设计[J]. 机械科学与技术, 2022, 41(8): 1247-1253.

[8]	Long Zhang, Lu Chengya, Li Guopeng, et al. Design of a mobile robot gesture control system based on visual gesture recognition[J]. Mechanical Science and Technology, 2022, 41(8): 1247-1253.

[9]	Pavithra R, Shreeja P, Sirisha M V K, et al. Gesture control of robotic arm for hazardous environment[J]. International Journal of Engineering Trends and Technology, 2018, 57(1): 1822.

[10]	Zhang W, Cheng H, Zhao L, et al. A gesturebased teleoperation system for compliant robot motion[J]. Applied Sciences, 2019, 9(24): 5290.

[11]	Peral M, Sanfeliu A, Garrell A. Efficient hand gesture recognition for human-robot interaction[J]. IEEE Robotics and Automation Letters, 2022, 7(4): 10272-10279.

[12]	He D, Yang Y, Wu R. Design of human-computer interaction gesture tracking model based on improved PSO and KCF algorithms[J]. IEEE Access, 2024, 12: 39913-39925.

[13]	Xu J, Wang H, Zhang J, et al. Robust hand gesture recognition based on RGB-D data for natural human-computer interaction[J]. IEEE Access, 2022, 10: 54549-54562.

[14]	Jia L, Zhou X, Xue C. Non-trajectory-based gesture recognition in human-computer interaction based on hand skeleton data[J]. Multimedia Tools and Applications, 2022, 81(15): 20509-20539.

[15]	郭剑, 张姝, 王书轩, 等. 基于Vision Transformer的毫米波雷达手势识别算法[J]. 现代雷达, 2023, 45(12): 79-86.

[16]	Guo Jian, Zhang Shu, Wang Shuxuan, et al. Gesture recognition algorithm for millimeter-wave radar based on Vision Transformer[J]. Modern Radar, 2023, 45(12): 79-86.

[17]	Zhang R, Jiang C, Wu S, et al. Wi-Fi sensing for joint gesture recognition and human identification from few samples in human-computer interaction[J]. IEEE Journal on Selected Areas in Communications, 2022, 40(7): 2193-2205.

[18]	Wu X, Ma Y, Zhang S, et al. Yo3RL-Net: a fusion of two-phase end-to-end deep net framework for hand detection and gesture recognition[J]. Alexandria Engineering Journal, 2025, 12: 177-189.

[19]	郑涵, 田猛, 赵延峰, 等. 基于改进Faster R-CNN的手部位姿估计方法[J]. 科学技术与工程, 2023, 23(3): 1160-1167.

[20]	Zheng Han, Tian Meng, Zhao Yanfeng, et al. Hand pose estimation method based on improved Faster R-CNN[J]. Science Technology and Engineering, 2023, 23(3): 1160-1167.

[21]	Zhang J, Meng Y, Yu X, et al. MBAB-YOLO: a modified lightweight architecture for real-time small target detection[J]. IEEE Access, 2023, 11: 78384-78401.

[22]	乔景慧, 李洪达, 陈宇曦, 等. 机理与数据驱动的软体手弯曲角度软测量模型[J]. 电子测量与仪器学报, 2023, 37(6): 147-158.

[23]	Qiao Jinghui, Li Hongda, Chen Yuxi, et al. Mechanism and data-driven soft measurement model of soft hand bending angle[J]. Journal of Electronic Measurement and Instrumentation, 2023, 37(6): 147-158.

[24]	Mittal A, Zisserman A, Torr P H S. Hand detection using multiple proposals[C]// Proceedings of the British Machine Vision Conference. Dundee: BMVA Press, 2011: 75.

[25]	Panda A K, Manikandan M S, Ramkumar B. Bidirectional LSTM based sequence classification approach for human presence detection using channel state information[C]// 2023 International Conference on Microwave, Optical, and Communication Engineering (ICMOCE). New York: IEEE, 2023: 1-6.

[26]	Materzynska J, Berger G, Bax I, et al. The jester dataset: a large-scale video dataset of human gestures[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision Workshops. Seoul: IEEE, 2019: 2874-2882.

[27]	Elangovan T, Arockia Xavier Annie R, Sundaresan K, et al. Hand gesture recognition for sign languages using 3DCNN for efficient detection[C]// Computer Methods, Imaging and Visualization in Biomechanics and Biomedical Engineering II. Berlin: Springer International Publishing, 2022: 215-233.

[28]	Chandrabanshi V, Domnic S. A novel framework using 3D-CNN and BiLSTM model with dynamic learning rate scheduler for visual speech recognition[J]. Signal, Image and Video Processing, 2024, 18(6): 5433-5448.

[29]	Prasanth N, Shrivastava K, Sharma A, et al. Gesture-based mouse control system based on MPU6050 and Kalman filter technique[J]. International Journal of Intelligent Systems Technologies and Applications, 2023, 21(1): 56-71.

[30]	强丽丽. 图书馆自动寻物机器人移动轨迹智能检测与跟踪研究[J]. 机械设计与制造工程, 2023, 52(5): 43-48.

[31]	Qiang Lili. Research on intelligent detection and tracking of movement trajectory of automatic object finder robot in library[J]. Mechanical Design and Manufacturing Engineering, 2023, 52(5): 43-48.

[32]	赵贡美, 顾先宇. 基于红外传感器的运动动作轨迹重构方法[J]. 激光杂志, 2021, 42(9): 155-160.

[33]	Zhao Gongmei, Gu Xianyu. Motion trajectory reconstruction method based on infrared sensor[J]. Journal of Lasers, 2021, 42(9): 155-160.

[34]	Medina L, Guerra G, Herrera M, et al. Trajectory tracking for non-holonomic mobile robots: a comparison of sliding mode control approaches[J]. Results in Engineering, 2024, 22: 102105.