一种基于力-视觉融合感知的超柔电极植入异常状况识别方法

刘超; 韩博; 陈汉威; 杨凯杰; 王隆春; 刘景全; 盛鑫军

doi:10.12404/j.issn.1671-1815.2508478

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (19) :8039-8048 DOI: 10.12404/j.issn.1671-1815.2508478

第二十八届中国科协年会学术论文

一种基于力-视觉融合感知的超柔电极植入异常状况识别方法

刘超 ¹ ,
韩博 ¹ ,
陈汉威 ¹ ,
杨凯杰 ² ,
王隆春 ² ,
刘景全 ² ,
盛鑫军 ¹^,^*

作者信息 +

Force-vision Fusion-based Recognition Method for Abnormal Events in Ultra-flexible Microelectrode Implantation

Author information +

文章历史 +

摘要

超柔电极是以纳米厚度聚合物为基底的脑机接口器件,通常采用“缝纫机”式植入:微针在视觉引导下将电极快速注入目标脑区后即刻撤回,仅留独立漂浮的电极长期记录神经活动。视觉定位误差、电极结构脆弱及长距离运送易致钩取失败、断裂与脱落等异常,现有系统很少关注异常状况的实时自动识别方法,降低了自动植入的可靠性。为了解决该问题,提出一种基于力-视觉融合感知的异常状况识别方法,利用互补的高频低信噪比的力信号与低频高信噪比的视觉信号识别异常状况是否发生和异常状况的类型。具体地,根据力信号与初始值之差的绝对值和力信号的变化率实时地识别异常状况是否发生,然后使用结构化文本与低秩自适应方法微调的视觉语言模型识别异常状况类型,最后根据异常状况类型调整植入操作。实验结果表明,提出的方法能够有效识别异常状况的发生时刻及其类型,不仅避免了未携带电极的微针插入大脑而导致的不必要损伤,还能够在钩取失败后通过再次钩取减少电极浪费和植入时间。

Abstract

Ultra-flexible electrodes are nanometer-thick polymer-based brain-computer interface devices implanted via a “sewing machine” paradigm: microneedles rapidly inject the electrode into the target brain region under visual guidance and immediately withdraw, leaving only the independently floating electrode for long-term neural recording. Visual positioning errors, fragile structure, and long-distance transport can easily cause abnormalities such as hooking failure, fracture, and detachment. However, existing implantation systems pay little attention to real-time automatic identification of abnormal events, which undermines the reliability of automated implantation. To solve the problem, a force-vision fusion-based method was proposed for abnormal events identification, which leveraged the complementary characteristics of high-frequency, low-signal-to-noise-ratio (SNR) force signals and low-frequency, high-SNR visual signals. Specifically, it first identified abnormal events in real time by evaluating the change rate of force and the absolute deviation of the force signal from its initial value. Then, it identified the type of abnormal events with a vision-language model, which was fine-tuned with the low-rank adaptation method and structured textual prompt. Finally, the operation was adjusted according to the identified event type. Experimental results show that the proposed method accurately identifies both the timing and type of abnormal events. It not only prevents unnecessary tissue damage caused by inserting a microneedle without an attached microelectrode, but also enables re-hooking and insertion after hooking failure, thereby avoiding microelectrode waste and shortening implantation time.

Graphical abstract

关键词

脑机接口 / 超柔电极植入 / 异常状况识别 / 力-视觉融合感知 / 视觉语言模型

Key words

brain-machine interface / flexible microelectrode implantation / abnormal events identification / force-vision fusion perception / vision language model

引用本文

引用格式 ▾

刘超, 韩博, 陈汉威, 杨凯杰, 王隆春, 刘景全, 盛鑫军. 一种基于力-视觉融合感知的超柔电极植入异常状况识别方法[J]. 科学技术与工程, 2026, 26(19): 8039-8048 DOI:10.12404/j.issn.1671-1815.2508478

LIU Chao, HAN Bo, CHEN Han-wei, YANG Kai-jie, WANG Long-chun, LIU Jing-quan, SHENG Xin-jun. Force-vision Fusion-based Recognition Method for Abnormal Events in Ultra-flexible Microelectrode Implantation[J]. Science Technology and Engineering, 2026, 26(19): 8039-8048 DOI:10.12404/j.issn.1671-1815.2508478

登录浏览全文

4963

注册一个新账户忘记密码

超柔电极是一种新兴的侵入式脑机接口器件^[1-2]。凭借低弹性模量、高生物相容性及微米级宽度的特性,超柔电极相较于传统刚性电极,具有更小的植入损伤与更高的信噪比。超柔电极的植入通常采用“缝纫机”植入范式,该范式包含3个阶段:首先,由机器人驱动微针穿过超柔电极末端的微孔;随后,微针携带超柔电极移动至脑表面并插入脑组织;最后,微针迅速回撤,使超柔电极滞留于脑组织内。由于超柔电极具有微米级尺寸与易损结构,手动或遥操作方式下的植入过程往往耗时较长且易产生误差。因此,构建具备闭环自动植入能力的超柔电极植入平台,是实现其高效精准植入的关键前提。

近年来,研究者提出了多种基于视觉感知的超柔电极自动化植入系统,这些系统可划分为两类。第一类是面向超柔电极全植入流程的植入平台。Hanson等^[3]率先提出“缝纫机”植入范式,并设计了一种基于显微视觉的机器人系统,实现了超柔电极的植入。随后,Musk^[4]公布了该系统的活体实验结果,但未对其自动化方法进行详细描述。此外,该系统缺乏植入异常状况的识别能力,若电极钩取失败或脱落,系统可能继续执行插入操作,进而造成不必要的组织损伤。Wei等^[5]设计了一种简易的半自动植入系统,通过显微相机观察微针、超柔电极及脑表面,并通过遥控操作控制微针移动。但该方法对实验员的操作熟练度要求较高。另外,低帧率显微相机在微针运动过程中拍摄的图像通常存在严重的运动模糊,这使得仅依赖视觉感知难以实时高精度地识别异常状况。

第二类研究主要聚焦于基于显微视觉的超柔电极自动钩取或插入等关键步骤。Liang等^[6]提出一种神经网络模型,用于微针与超柔电极的关键点定位及角度估计,以引导钩取操作。为减少神经网络模型对大规模标注数据的依赖,Qin等^[7]提出基于度量学习的少样本分割方法,在仅20个样本的条件下实现了微针与超柔电极关键点的准确定位。An等^[8]通过空气-液体界面约束超柔电极的自由度,实现了单目相机引导下的自动钩取。Han等^[9]设计了可清晰成像多线超柔电极的显微视觉系统,并结合数据增强与度量学习提出少样本分割方法,完成了多线超柔电极的关键点定位。在此基础上,Han等^[10]构建了宏观-微观融合的显微视觉系统,提出基于血管分割的自动插入方法,实现了超柔电极的自主插入。上述研究均提及由视觉感知误差导致的植入异常,但鲜见针对植入异常状况自动识别的系统性探讨,其主要难点有二:一是异常状况复杂多样,相关样本却极为有限;二是仅依赖视觉感知的超柔电极植入手术机器人,难以应对低帧率显微图像中出现的严重运动模糊。

因此,现有超柔电极自动化植入研究仍面临两项关键挑战:其一,系统多依赖低帧率显微相机获取视觉信息,缺乏高频反馈机制,难以及时感知植入过程中的异常状况;其二,异常状况的自动识别与反馈机制尚不完善,这导致实验员需在植入过程中持续监控并修正机器人操作,进而限制了全流程自动化植入系统的可行性。

在显微操作领域,为感知末端执行器与操作对象间的接触信息并补偿末端执行器的运动误差,力信号常被用作视觉信号的互补模态^[11]。Zhang等^[12]采用磁性可编程软材料设计了一种微夹爪,通过磁场强度与夹爪末端形变估计其受力情况。Zhou等^[13]提出了一种集成力传感器的脑机接口电极,用于获取植入过程中电极末端在竖直方向的作用力。He等^[14]设计了一种集成压电模块的穿刺微针,该微针不仅可测量竖直方向的受力,还能产生振动以降低植入过程中的组织损伤。然而,这些力感知方法大多仅适用于二维平面操作,或依赖具有特定结构的末端执行器,难以直接应用于超柔电极的植入任务。

文献[9-10]提出了一种基于视觉感知的超柔电极植入平台,实现了超柔电极的开环自动钩取与插入。在此基础上,进一步聚焦于植入过程中异常状况的识别与处理,旨在通过感知-决策闭环提升操作可靠性。首先基于先前设计的两通道力传感器^[15],系统分析了正常植入与典型异常状况下力信号的变化特征,进而提出一种利用单通道或双通道高频力信号实时判别异常发生的方法。同时,为准确辨识异常的具体类型,引入预训练视觉语言模型,通过设计结构化文本提示与显微图像输入生成植入状态的结构化描述,仅需少量样本微调即可实现类型的可靠识别。在上述工作的基础上,构建一种力-视觉融合感知的异常应对策略:由高频、低信噪比的力信号快速触发异常检测,再借助低频、高信噪比的视觉信号确认异常类型,并依据识别结果动态调整后续自动植入动作,从而形成完整的闭环反馈控制。未来工作将致力于融合更多模态信息,并探索该策略在复杂植入场景和长期活体实验中的泛化能力与稳定性。

1 基于力-视觉感知的植入平台

1.1 硬件平台

如图1所示为“缝纫机”植入范式的完整流程,包括钩取、插入和回撤3个阶段。钩取阶段,机器人驱动微针穿过超柔电极末端的微孔,借助摩擦力使二者紧密结合;插入阶段,机器人继续驱动微针抵达脑表面,并向下刺入脑组织;回撤阶段,机器人快速向上回撤微针,使微针与电极分离。为了快速高精度地实现上述操作,设计了一种如图2所示的机器人平台。该平台由三部分组成:用于驱动微针的 SCARA机械臂 (selective compliance assembly robot arm)、末端安装显微相机的 JAKA Zu3 工业机械臂,以及固定在工作台上的超柔电极。两个力传感器安装在SCARA机械臂末端与微针之间,作为末端执行器与微针的连接件,分别用于测量微针在竖直和水平方向上的受力,其结构细节见文献[15]。所用力传感器量程为1 N,灵敏度为2 m·N,输出频率为100 Hz。根据力传感器的工作原理,受到拉力时输出值减小,受到压力时输出值增大。植入操作前对力传感器进行了归零设置,即微针静止状态下的力传感器输出设为0 N。因此,竖直方向传感器在受到向下作用力时输出为负值;水平方向传感器在受到指向SCARA机械臂方向的作用力时输出为负值,反之亦然。显微相机(ME2P-1220-9GC-P)的像素尺寸为1.85 μm×1.85 μm,分辨率为5 496×3 672,配套物镜(XF-MH075X82)的放大倍率为1。超柔电极末端微孔为直径50 μm的圆形结构,微针直径为125 μm,末端呈圆锥形。

1.2 超柔电极正常植入过程的力信号和图像

如图3所示为超柔电极正常植入过程中对应的力信号与关键帧图像。为了根据脑表面的血管分布选择合适的插入位点,微针在完成钩取操作后保持静止一段时间再执行插入操作。方便起见,水平和竖直方向的力传感器初始值(静态力)分别被设置为0 N和-0.4 N。本文后续的力信号图沿用该可视化设置,但在实际力信号计算中,两个力传感器的初始值均统一设置为0 N。方便起见,微针受到的竖直和水平方向上的力分别f_V和f_H,初始值记作f_V,0和f_H,0。

从图3中可以看出,在钩取过程中,微针在竖直方向上受到向上的力,在水平方向上受到指向治具方向的力。这是由于超柔电极通过高分子薄膜固定在治具上,微针将超柔电极从治具上剥离时需要克服超柔电极与高分子薄膜之间的黏附力。在钩取完成并进入静止状态后,微针在竖直和水平方向上的受力缓慢向初始值收敛,其原因在于高分子薄膜与绷紧的超柔电极仍在持续分离,随着超柔电极逐渐松弛,微针所受力逐步减小并趋于稳定。稳定后的竖直和水平方向上的力记作记作f_V,S和f_H,S。微针受到向上的插入力,同时在水平方向上受到远离治具方向的阻力,这是由于微针在超柔电极拉力作用下产生轻微形变,从而在插入时产生反向的水平分力。在回撤过程中,微针所受力迅速减小并回落至初始值附近,随后基本保持不变。植入结束后微针受力与初始值存在轻微差异,其主要原因是机构运动引起的力传感器零点漂移。

2 力-视觉融合的异常状况识别方法

超柔电极植入过程中常见的异常状况主要包括穿孔失败、电极断裂和电极脱落。如图4所示为这三类异常状况对应的图像及其发生前后的力信号特征。为实现对上述异常状况的实时、高准确率识别,提出了一种基于力-视觉融合感知的超柔电极植入异常状况识别方法,其整体框架如图5所示。在自动植入过程中,首先利用高频率的力信号对异常状况是否发生进行快速判别;当检测到异常发生时,再引入低频率的视觉信号进行二次识别,并输出最终的异常类型判定结果。本节将首先分析异常状况与正常植入状态下力信号和视觉特征的差异,随后分别介绍基于力感知和基于视觉感知的异常状况识别方法。

2.1 超柔电极植入异常状况的力信号和图像

从图4中可以发现,这三类异常状况均发生在钩取阶段,其对应的力信号表现出两个显著特征。首先,在异常状况发生后,力信号会迅速衰减并回落至接近初始值,随后趋于稳定。稳定后竖直和水平方向上的力记作f_V,abn和f_H,abn。与微针成功携带超柔电极且处于静止状态时的受力相比,异常状况下稳定阶段的受力与初始值之间的绝对差明显更小,即

(1)$\left|{\mathit{f}}_{\mathrm{a}\mathrm{b}\mathrm{n}}-{\mathit{f}}_{0}\right|$<$\left|{\mathit{f}}_{\mathrm{S}}-{\mathit{f}}_{0}\right|$

这一特性可用于区分两种状态。其次,力信号的峰值幅值具有较强的随机性,其主要来源于超柔电极装配过程中的随机误差。因此,仅依赖力信号峰值难以可靠判断异常状况是否发生。

此外,图4还表明,不同类型异常状况在显微图像中的特征存在明显差异。发生穿孔失败时,微针与超柔电极仍保持接触,但超柔电极在受力作用下会产生较大变形;而在电极断裂或脱落时,微针与超柔电极不再接触,视野中通常难以同时观测到二者。在一般的超柔电极植入实验中,由于显微相机随微针同步移动,电极断裂或脱落后,视野中往往仅剩微针。值得注意的是,穿孔失败后超柔电极通常可以恢复至钩取前的状态,从而允许再次钩取操作;而电极断裂或脱落则无法恢复。因此,将穿孔失败与电极断裂或脱落区分为两类异常状况,有助于减少超柔电极的浪费并缩短重新装配新电极所需的时间。

2.2 基于力的异常状况识别方法

根据上述力信号的特征,提出了一种利用当前力与静态力之差的绝对值和力信号的变化率的单通道力异常识别方法。

算法1给出了单通道力信号的异常状况识别方法,主要基于两个判别指标。第一个指标为当前力与静态力之差的绝对值,即

(2)

$\left|{\mathit{f}}_{\mathit{i}}-{\mathit{f}}_{0}\right|$

式(2)中:f_i为i时刻的受力。

第二个指标为力信号的变化率,其通过对最近一段力信号进行一次函数拟合,并取拟合斜率的绝对值来表示,即

(3)k=LR₁(S_f,N_w)

式(3)中:LR₁(·)为最小二乘法拟合一次函数并输出斜率;S_f为力信号数值的集合;N_w为用于拟合直线的力信号采样窗长,设置为10个采样点。

当上述两个指标均小于预设阈值时,说明在过去一段时间内力信号变化缓慢且与初始值偏离较小,这表明异常状况很可能已经发生。

为了避免噪声导致的错误识别,只有当竖直和水平方向两个通道的力信号均被判定为异常,且该状态持续时间不小于设定阈值时,系统才会进一步触发基于视觉的异常状况识别。该持续时间对应的采样点数量记为δ_T,它对于识别准确率和实时性的影响在第3.2节中进行了讨论。需要指出的是,两通道力异常识别并不要求水平方向和竖直方向的力变化方向一致,从而有效避免了机械结构差异和通信延迟导致的双通道力变化不同步问题。此外,为防止在微针尚未与超柔电极接触时误触发异常判定,采用相反的判别逻辑来识别钩取操作的开始,即:当前力与初始值之差的绝对值以及力信号变化率均大于相应阈值时,判定钩取过程已经开始。

2.3 基于视觉的异常状况识别方法

如图6所示为基于视觉语言模型(vision-language model,VLM)的视觉异常状况识别方法。传统视觉语言模型通常以自然语言形式生成对图像内容的整体描述^[16],这但这种方式在本任务中存在两点不足:其一,生成的描述难以直接用于判定异常状况是否发生;其二,难以评估描述结果是否受到噪声干扰,以及进一步区分不同类型的异常状况。针对上述问题,提出了一种面向超柔电极植入异常状况的结构化文本输入与输出策略。具体而言,作为生成条件的文本提示包含3个是非问题,分别为“图像是否存在严重运动模糊”“植入状态是否异常”和“微针与超柔电极是否相互接触”。模型输出对应3个二值回答,仅取“是”或“否”,从而直接用于逻辑判定与状态分析。若图像受到严重运动模糊干扰,则认为当前识别结果置信度不足,系统将使用下一帧图像重新进行识别。其余两个回答可与基于力信号的识别结果相结合,构成5种可能的植入状态,如表1所示。当识别结果为异常状况不确定时,系统控制微针和显微相机保持静止,并重新采集图像,通过视觉方法再次判断,最终以静止图像的识别结果为准。第3.3节进一步讨论了运动模糊图像与静止图像在识别准确率上的差异。当识别结果为钩取失败时,机器人将执行再次钩取操作;当检测到电极脱落或断裂时,则指令机器人更换并钩取下一根电极。下面将介绍用于生成上述视觉异常识别结果的视觉语言模型。

由图5可知,结构化的文本提示词和当前帧图像分别经过分词器(tokenizer)和视觉编码器(vision encoder)映射到嵌入空间,即

(4)emb_t=E_t(c_t)

(5)emb_v=E_v(I)

式中:c_t和I分别为输入的文本提示词和图像;E_t和E_v分别为分词器和视觉编码器;emb_t和emb_v分别为文本和视觉嵌入。

文本与视觉嵌入被输入到解码器(decoder)中,生成植入状态描述,即

(6)Y=D(emb_t,emb_v)

式(6)中:Y为文本输出;D为解码器。为了利用大规模视觉-语言数据集的先验知识,Qwen3 VL的分词器、视觉编码器和解码器的权重被用作神经网络的初始权重。

为了使生成的状态描述遵循上述提出的结构,LoRA方法被用于微调训练解码器。在训练过程中,除增加的LoRA部分的权重外,其余权重全部被冻结。

3 实验结果和讨论

3.1 实验设置

首先分别验证力异常识别方法和视觉异常识别方法的效果,然后在超柔电极的闭环自动植入实验中验证二者融合感知的效果。在基于力的异常识别实验中,验证数据集包含15次植入操作的两通道力信号,其中电极钩取失败、电极断裂或脱落以及正常植入各占5次。异常状况的发生时刻由人工标注,评价指标包括两部分:对正常植入的力信号,评价指标为异常状况发生的预测正确率;对异常状况的力信号,评价指标为预测异常发生时刻与真实时刻的绝对偏差。

在基于视觉的异常识别实验中,用于微调视觉语言模型的训练数据集包含304张图像,其中正常植入图像247张,钩取失败图像25张,电极断裂或脱落图像32张。用于评估的测试数据集包含256张图像,其中正常植入138张,钩取失败27张,电极断裂或脱落91张。需要注意的是,异常状况发生前的图像仍属于正常类别,因此训练和测试集中正常植入图像数量偏多符合真实数据分布。评价指标包括三部分:“是否存在严重运动模糊”的预测准确率、“是否异常”的预测准确率,以及异常类型的预测准确率(区分钩取失败和电极断裂或脱落)。由于操作区域通常不是正方形,且改变图像高宽比会导致微针和电极形变,因此图像在预处理时进行了等比例缩放,并限制其像素面积不超过262 144(512×512)。训练轮次设置为20,此时训练损失已收敛。考虑到边缘部署的推理时间和显存限制,模型结构与初始权重使用Qwen3-VL-2B-Instruct。由于模型权重较大,批大小与梯度累积步数均设置为4,相当于批训练大小为16的训练效果。优化器采用AdamW,学习率为2×10^-4,权重衰减为0.005,其余设置沿用Qwen3-VL默认参数。训练和推理均使用一张RTX PRO 6000显卡完成。

在超柔电极闭环自动植入实验中,共进行了5次植入操作。文献[9-10]中的视觉感知方法被用于引导超柔电极的自动钩取与插入。本文中提出的基于力-视觉融合感知的异常识别方法则用于实时识别异常状况,并根据识别结果调整自动植入操作,实现闭环反馈。

3.2 基于力的异常识别实验

如表2所示为基于单通道和双通道力信号的异常识别结果。从表2中可以看出,单独使用竖直或水平方向的力信号与使用双通道力信号的识别结果基本一致。这表明,无论在正常植入过程还是异常状况下,微针在竖直和水平方向上的力变化趋势高度一致。本质原因在于,排除初始静止状态的受力后,微针受到的力几乎完全来源于超柔电极的拉力,而竖直和水平方向的力可视为该拉力的分力。这意味着超柔电极植入系统可能仅需集成单通道力传感器即可有效估计微针受力变化,从而降低微系统集成的复杂性。

从表2中还可以发现,当异常采样点数量阈值δ_T较小时,正常植入的预测正确率较低,这是因为较小δ_T下识别结果更易受到噪声干扰。当δ_T由3增加至5时,钩取失败的预测时刻更远离真值,这是因为δ_T增加导致的识别延迟。但有趣的是,电极断裂和脱落的预测时刻反而更接近真值,这可能是因为力信号在下降至接近初始值的过程中有一小段平稳过程,导致在较小的δ_T时力识别方法错误地预测了异常状况的发生时刻。在δ_T进一步增加至10后,正常植入的识别正确率提高,但异常状况的识别延迟也随之增加。考虑到实验所用的显微相机的帧率为3 f/s(帧/秒)且异常状况的发生频率一般不高于总实验次数的10%,δ_T在后续实验中被设置为10。

图7(a)展示了δ_T设置为10时仍出现错误识别的力信号。可以观察到,该操作中力信号在钩取和插入之间的静止阶段数值接近初始值,且静止后的下降速度较快。这可能是由于插入点距离电极较远,导致电极从高分子薄膜上完全剥离。竖直方向的力信号峰值也显示电极在插入过程中被拉紧,施加了更大的拉力。这一现象表明,力信号识别方法在复杂植入情境下的鲁棒性有限,进一步使用视觉方法进行异常识别是必要的。图7(b)~图7(d)分别为植入正常、钩取失败以及电极断裂或脱落的成功识别结果。

3.3 基于视觉的异常识别实验

如表3所示为基于视觉的异常识别结果。可以看出,随着LoRA秩的增加,模型性能呈现先升后降的趋势。当秩从8增加至16时,模型预测正确率提高,这可能是因为秩为8时LoRA容量不足,导致训练后的模型存在欠拟合现象。而当秩从16增加至32时,预测正确率反而下降,可能是由于LoRA参数过多,使模型捕捉到大量无关特征,从而出现过拟合。因此,后续实验中LoRA秩被设置为16。尽管此时模型的推理时间约为1.04 s,但考虑到视觉异常识别方法的使用次数通常不超过1次,该推理时间是可接受的。

从表3还可以发现,当LoRA秩为16时,模型在静止图像数据集上的表现优于运动模糊图像数据集,说明运动模糊确实增加了识别难度。此外,相较静止图像,运动模糊图像的异常类型预测正确率显著降低。这可能是因为部分图像中未被钩取的电极与微针重合,需要通过电极清晰度判断被钩取的电极,但运动模糊导致所有电极都不清晰,从而影响预测。这也说明了区分静止图像和运动模糊图像的重要性。为避免模型因错误判断图像是否模糊而导致识别失败,在超柔电极自动植入实验中,当力信号检测到异常状况发生后,先命令微针和显微相机停止运动,再拍摄图像并进行异常识别。

3.4 超柔电极自动植入实验

如表4所示为闭环自动植入实验的结果。为系统验证力-视觉融合感知策略在实际操作中的有效性,在脑组织仿体上开展了5次超柔电极自动植入实验。其中前四次植入均顺利完成,第5次因电极在操作过程中发生脱落或断裂而导致失败。在所有实验中,所提出的异常识别方法均能有效判断异常状况是否发生。具体而言,第1次和第4次植入过程中力信号与视觉信号平稳,方法均正确判定为正常状态,未触发任何异常干预。第2次实验中,力信号受到瞬时扰动,致使力异常识别方法产生误判,但高信噪比的视觉方法通过显微图像准确判读出电极仍被稳定夹持,及时纠正了这一假阳性,因此仅由视觉方法引入的额外操作时间极短。第3次实验中,力信号在钩取阶段捕捉到特征性突变,力异常识别方法快速预报异常发生;随后视觉方法识别出电极残留在基底上的典型模式,确认钩取失败。系统据此自动重新执行钩取操作并成功拾取电极,从而避免了更换电极所带来的物料浪费,也省去了重新定位和抓取新电极的繁复流程。第5次实验中,电极脱落或断裂导致力信号出现显著变化,力传感方法迅速检出异常,视觉方法则通过形态分析确认电极发生不可恢复的断裂,及时终止了后续的穿刺动作,避免了未携带电极的微针插入脑组织造成不必要的机械损伤。表4中还显示,第2次实验中仅视觉方法参与调控所增加的操作时间较少,而第3次实验因需要重新完成微针定位、移动和钩取等步骤,耗时相对较长。然而,该增加的操作时间约为正常植入总时长的一半,这说明通过及时识别钩取失败并重新执行钩取,不仅能有效避免电极浪费,还可以在同等电极植入数量下省去更换新电极的整体等待时间,从而提升平均植入效率。

如图8所示为自动植入实验的关键帧、力信号及异常状况识别结果。图6可见,在第一次钩取失败后的短暂时间内,基于力信号的异常识别方法准确预测了异常状况的发生,随后视觉方法正确识别了异常类型,即钩取失败。在第2次植入过程中,力信号异常识别方法未检测到异常,结果与实际情况一致。

4 结论

面向超柔电极植入提出一种力-视觉融合感知的异常识别方法。首先,通过分析异常发生前后的力信号变化规律,提出了基于单/双通道力信号的识别方法,利用当前力信号与初始值的绝对差及其邻域变化率作为判据,实时检测异常是否发生。其次,提出了基于视觉信号的识别方法,通过结构化文本与LoRA微调预训练视觉语言模型,在力信号识别异常后判定其类型(如电极钩取失败、断裂或脱落)。最后,提出了一种基于力和视觉融合感知的异常状况识别策略。

根据异常识别结果,可将异常分为系统误差大、电极钩取失败和电极断裂或脱落三类,分别采取检查系统误差、再次钩取和植入下一根电极的操作。实验证明了力信号与视觉信号识别方法的有效性,且单通道与双通道力信号识别效果一致,这意味着系统可仅集成一个力传感器以降低微系统集成难度。在闭环自动植入实验中,该方法实时监督植入状态,成功识别了电极钩取失败与断裂脱落,避免了空针插入造成的损伤。此外,电极钩取失败后再次钩取所增加的时间约为正常植入总时长的一半,表明该方法在提高成功率的同时还能减少总体操作时间。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Rasiah N P, Maheshwary R, Kwon C S, et al. Complications of deep brain stimulation for Parkinson disease and relationship between micro-electrode tracks and hemorrhage: systematic review and meta-analysis[J]. World Neurosurgery, 2023, 171: 8-23.

[2]	Currie A D, Wong J K, Okun M S. A review of temporal interference, nanoparticles, ultrasound, gene therapy, and designer receptors for Parkinson disease[J]. npj Parkinson’s Disease, 2024, 10(1): 195.

[3]	Hanson T L, Diaz-Botia C A, Kharazia V, et al. The “sewing machine” for minimally invasive neural recording[J/OL]. BioRxiv (2023-03-15)[2025-12-09]. https://doi.org110.1101/578542.

[4]	Musk E. An integrated brain-machine interface platform with thousands of channels[J]. Journal of Medical Internet Research, 2019, 21(10): 16194.

[5]	Wei C, Wang Y, Pei W, et al. Distributed implantation of a flexible microelectrode array for neural recording[J]. Microsystems & Nanoengineering, 2022, 8(1): 50.

[6]	Liang W, Qin F, Han X, et al. Keypoint localization based on convolutional neural network for robotic implantation of flexible micro-electrodes[C]// 2022 IEEE 18th International Conference on Automation Science and Engineering (CASE). New York: IEEE, 2022: 822-827.

[7]	Qin F, Xu D, Zhang D, et al. Automated hooking of biomedical microelectrode guided by intelligent microscopic vision[J]. IEEE/ASME Transactions on Mechatronics, 2023, 28(5): 2786-2798.

[8]	An Y, Yang J, He B, et al. A microscopic vision-based robotic system for floating electrode assembly[J]. IEEE/ASME Transactions on Mechatronics, 2024, 29(5): 3810-3820.

[9]	Han B, Chen H, Liu C, et al. An intelligent microscope vision system for hooking multi-thread flexible microelectrode based on few-shot segmentation[J]. IEEE Transactions on Automation Science and Engineering, 2025, 22: 11112-11123.

[10]	Han B, Chen H, Liu C, et al. Automated Insertion of flexible microelectrodes guided by vessel-aware microscopic vision[J]. IEEE/ASME Transactions on Mechatronics, 2025, 31(2): 1829-1840.

[11]	Shi B, Wang F, Huo Z, et al. Contact force sensing and control for inserting operation during precise assembly using a micromanipulator integrated with force sensors[J]. IEEE Transactions on Automation Science and Engineering, 2022, 20(3): 2147-2155.

[12]	Zhang Y, Zhao A, Wang C, et al. Robotic cell micromanipulation for posture adjustment of zebrafish embryonic cell[C]// Journal of Physics: Conference Series. IOP Publishing, 2025, 3101(1): 012014.

[13]	Zhou Y, Yang H, Wang X, et al. A mosquito mouthpart-like bionic neural probe[J]. Microsystems & Nanoengineering, 2023, 9(1): 88.

[14]	He B, Guo Y, Yang G. Integrated piezoelectric vibration and in situ force sensing for low-trauma tissue penetration[J]. Cyborg and Bionic Systems, 2025, 6: 0417.

[15]	Chen H, Han B, Liu C, et al. Delicate operation of a microneedle-forceps mechanism for ultra-flexible probe implantation[J]. IEEE Robotics and Automation Letters, 2025, 10(8): 8427-8434.

[16]	王帅, 何文春, 王甫棣, 等. 大语言模型融合知识图谱与向量检索的问答系统[J]. 科学技术与工程, 2024, 24(32): 13902-13910.

[17]	Wang Shuai, He Wenchun, Wang Fudi, et al. Research on question answering system based on large language model integrating knowledge graph and vector retrieval[J]. Science Technology and Engineering, 2024, 24(32): 13902-13910.