目标检测与几何约束融合的动态环境视觉SLAM方法

耿玉龙; 寇志伟; 刘博; 崔啸鸣; 齐咏生

doi:10.12404/j.issn.1671-1815.2506077

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (22) :9562-9575 DOI: 10.12404/j.issn.1671-1815.2506077

自动化技术、计算机技术

目标检测与几何约束融合的动态环境视觉SLAM方法

耿玉龙 ¹ ,
寇志伟 ¹^,²^,³^,^* ,
刘博 ¹ ,
崔啸鸣 ¹^,² ,
齐咏生 ¹^,²^,³

作者信息 +

Visual SLAM Method for Dynamic Environments Based on Fusion of Object Detection and Geometric Constraints

GENG Yu-long ¹ ,
KOU Zhi-wei ¹^,²^,³^,^* ,
LIU Bo ¹ ,
CUI Xiao-ming ¹^,² ,
QI Yong-sheng ¹^,²^,³

Author information +

文章历史 +

摘要

为解决传统视觉同步定位与建图方法在动态环境中易受运动目标干扰、鲁棒性弱、定位精度低的问题,提出了一种目标检测与几何约束融合的动态环境视觉同步定位与地图构建(simultaneous localization and mapping,SLAM)方法(YOLO-GK-SLAM)。首先,在ORB-SLAM3框架基础上,设计了一种语义目标检测与多视几何约束深度融合的动态特征点剔除机制,实现了动态特征点精确剔除与动态区域内静态信息的重识别。其次,为提升运行效率,提出了一种精细化关键帧筛选机制,压缩了候选关键帧数量,优先保留了静态结构的重点标志信息,提升了回环检测与位姿优化的运行效率。在此基础上,构建了一种融合关键帧图像与深度信息的动态场景稠密建图方法,提升了系统在动态环境下的环境建模能力。在TUM动态数据集上的实验表明,YOLO-GK-SLAM方法的绝对轨迹误差、相对位姿误差较经典方法分别至少降低了14.34%、17.48%,同时提升了地图的完整性及其边界的清晰度。在真实场景测试中,该方法依然保持了较高的定位精度,显著提升了系统在动态环境下的鲁棒性与定位稳定性。

Abstract

In order to mitigate moving-object interference and improve robustness and localization accuracy of visual SLAM (simultaneous localization and mapping) systems in dynamic environments, a visual SLAM method integrating object detection and geometric constraints, termed YOLO-GK-SLAM, was used to investigate accurate localization and reliable mapping in dynamic scenes. First, based on the ORB-SLAM3 framework, a dynamic feature point removal mechanism integrating semantic object detection with multi-view geometric constraints was designed to achieve accurate elimination of dynamic feature points and re-identification of static information within dynamic regions. Second, a refined keyframe selection strategy was proposed to reduce candidate keyframes while preserving salient static landmarks, thereby improving the efficiency of loop closure detection and pose optimization. The results show that, on the TUM dynamic dataset, the proposed YOLO-GK-SLAM method reduces ATE (absolute trajectory error) and RPE (relative pose error) by at least 14.34% and 17.48%, respectively, compared with classical visual SLAM methods, while significantly improving map completeness and boundary clarity. It is concluded that the proposed method maintains high localization accuracy and stability in real-world dynamic environments, effectively alleviates the influence of moving objects, and significantly enhances the robustness and practical applicability of visual SLAM systems.

Graphical abstract

关键词

视觉SLAM / 动态场景处理 / YOLOv13 / 关键帧筛选策略 / 稠密建图

Key words

visual SLAM / dynamic scene processing / YOLOv13 / keyframe selection strategy / dense mapping

引用本文

引用格式 ▾

耿玉龙, 寇志伟, 刘博, 崔啸鸣, 齐咏生. 目标检测与几何约束融合的动态环境视觉SLAM方法[J]. 科学技术与工程, 2026, 26(22): 9562-9575 DOI:10.12404/j.issn.1671-1815.2506077

GENG Yu-long, KOU Zhi-wei, LIU Bo, CUI Xiao-ming, QI Yong-sheng. Visual SLAM Method for Dynamic Environments Based on Fusion of Object Detection and Geometric Constraints[J]. Science Technology and Engineering, 2026, 26(22): 9562-9575 DOI:10.12404/j.issn.1671-1815.2506077

登录浏览全文

4963

注册一个新账户忘记密码

同步定位与建图(simultaneous localization and mapping,SLAM)作为移动机器人自主环境适应和导航的关键支撑技术,使机器人能够利用自身的传感器感知环境信息进行实时定位,并逐步构建地图。目前,大多数视觉 SLAM(visual SLAM,VSLAM)算法仍将周围环境视为静态场景,例如,近年提出的全局一致性稠密重建方法 NICE-SLAM(neural implicit scalable encoding SLAM)^[1]、基于隐式神经场的神经跟踪与建图系统 Co-SLAM(collaborative SLAM)^[2]、面向实时应用的稠密神经 SLAM 框架 Point-SLAM(point-based neural SLAM)^[3],以及基于直接法与优化技术的 DROID-SLAM(deep robust visual inertial odometry SLAM)^[4]等。但在实际应用场景中,有许多不同类型的运动物体,如行人、车辆等。在动态环境中,当从动态目标中提取特征时,尤其是那些具有强纹理信息的目标^[5],可能会导致轨迹误差增加甚至跟踪丢失^[6]。如果动态特征点直接用于机器人姿态估计,会在定位过程中造成大量的误差积累,最终的地图与实际环境不一致^[7]。因此,能够自主适应复杂动态环境的VSLAM已成为智能机器人领域的前沿研究热点^[8]。

近年来,各种针对动态环境的VSLAM解决方案相继出现,如何有效区分动态和静态特征是提升这些算法性能的关键^[9-11]。一般来说,动态环境中 VSLAM的研究可以分为两类:传统方法和基于深度学习的方法^[12]。传统方法通常具有实时性好、资源消耗低等特点,例如,利用对极几何约束进行动态一致性检测,利用贝叶斯网络对先验对象进行概率更新检测^[13]。虽然这些常规方法能够在一定程度上消除动态特征点,但高动态场景中的位姿估计可能会出现漂移,并且很难构建可以完成导航或其他高级应用的3D地图^[14]。

深度学习和SLAM融合产生的语义SLAM提供了一个很有前途的解决方案^[15]。它可以预测预定义目标的动态特征,并为系统提供有关它们的功能属性和语义信息。这不仅提高了机器人在动态场景中定位的准确性,而且为自主智能路径规划和高级搬运任务奠定了基础。Bescos等^[16]提出了支持动态环境的DynaSLAM(tracking and mapping in dynamic environments),将Mask R-CNN(mask region-convolutional neural networks)语义分割算法^[17]与多视图几何相结合,以过滤动态特征点;Yu等^[18]提出了一种名为DS-SLAM(dynamic semantic SLAM)的语义SLAM系统,该系统使用SegNet^[19]语义分割网络结合运动一致性检查方法,以减少动态对象对位置估计的影响,并为高级任务生成密集的语义八叉树;然而,仅检测20个对象类的能力极大地限制了SLAM系统的应用范围。Liu等^[20]开发了RDS-SLAM(robust dynamic semantic SLAM),其中基于语义分割算法更新地图点的动态概率,以帮助系统进行动态点过滤。Wu等^[21]通过采用轻量级、低延迟的主干,加速并生成了基本语义信息。随后,提出了一种新的几何约束方法,使用具有深度差异的随机样本一致性(random sample consensus,RANSAC)来区分检测区域中的动态特征。Zhang等^[22]使用YOLOv5方法检测每个图像帧中的动态目标,并在去除高动态目标后使用关键帧构建全局地图。然而,仅仅依赖目标检测网络会过度依赖语义信息,使系统只能检测预定义的移动物体,不足以应对复杂的真实场景。

针对传统SLAM系统在动态场景中易受运动目标干扰、定位精度不足的问题,在ORB-SLAM3^[23]框架的基础上,现设计一种融合目标检测与几何约束的动态环境视觉SLAM系统YOLO-GK-SLAM。通过引入先进的目标检测模型与几何一致性约束实现动态特征点的有效剔除,并结合精细化关键帧筛选与稠密建图策略,提升系统在动态场景下的鲁棒性和地图构建质量。通过实验验证本文方法在动态环境中保持较高的定位精度与环境适应性,以助于提升视觉SLAM系统在复杂动态环境中的定位精度与鲁棒性,为移动机器人、自主导航等领域提供一定的理论与应用参考。

1 系统框架

1.1 整体框架

ORB-SLAM3作为经典的特征点法视觉SLAM,在静态环境中具备良好的稳定性与精度,已被广泛应用于学术与工业领域。但其对环境静态性的强假设使其在动态场景中表现受限,影响实际部署效果。为此,提出了一种融合目标检测与几何约束的动态环境视觉SLAM方法,在保留ORB-SLAM3架构优势的基础上,引入动态目标检测模块,并结合多线程设计,实现从RGB-D输入图像中同步完成目标识别、特征点跟踪、局部建图、稠密点云生成与回环检测。系统结构如图1所示。

在追踪线程中,输入的RGB-D图像首先经过ORB特征点提取,得到初始特征集合。为了有效应对动态场景的干扰,系统设计了YOLOv13目标检测模块,对图像中的动态物体进行快速检测。结合几何约束与K-means聚类方法,对目标检测结果进行二次筛选,从而进一步剔除未定义或误判的动态特征点,确保后续位姿估计基于稳定的静态特征点完成。这一策略在动态场景下显著提高了相机跟踪的鲁棒性。

在局部建图线程中,设计了精细关键帧筛选策略。不同于ORB-SLAM3中仅依赖基本关键帧插入机制的方法,系统会基于关键帧间的姿态变化、重叠度与信息量,选择更具代表性的关键帧参与建图。随后,通过点云提取与点云剔除步骤,将动态点从局部地图中去除,并利用静态密集点逐步生成高精度稠密点云地图。局部BA(bundle adjustment)优化则进一步保证了地图与轨迹的一致性,同时在新地图生成过程中,系统会自动剔除冗余关键帧和无效点,提高地图构建的紧凑性和实用性。

在回环检测与全局优化部分,系统沿用了ORB-SLAM3的整体设计。通过数据库查询实现回环候选帧的快速匹配,并结合Sim3/SE3(similarity transformation in 3D/ special euclidean group in 3D)计算与闭环融合,进一步减少累计漂移误差。全局BA优化在整个系统的后端执行,用于保持全局轨迹与地图的一致性,并在回环闭合后完成地图更新。

在稠密点云地图构建过程中,采用精细化的关键帧筛选策略,从多视角关键帧中提取稠密信息,逐步生成高质量的三维静态点云地图,为后续的环境建模与导航规划奠定基础。

1.2 YOLOv13动态目标检测

为提升动态环境下的目标检测能力,使用了YOLOv13模型^[24]。该模型结合超图结构建模与轻量化设计,在高阶语义建模和检测精度方面显著优于以往YOLO系列。其核心机制为超图增强自适应相关建模(HyperACE),首次引入视觉特征的超图表示,以建模像素级特征间的高阶全局关系^[25],模型框架如图2所示。YOLOv13中每个像素特征视为顶点v_i,其对超边e_m的参与度通过多头注意力机制动态学习,并归一化为

(1)

${\alpha }_{im}=\frac{exp\left[\frac{1}{H}\sum _{h=1}^{H}si{m}^{h}({v}_{i},{\mu }_{m}^{h})\right]}{\sum _{m\text{'}=1}^{M}exp\left[\frac{1}{H}\sum _{h=1}^{H}si{m}^{h}({v}_{i},{\mu }_{m\text{'}}^{h})\right]}$

式(1)中:α_im为第i个像素特征顶点v_i对第m 条超边e_m的参与度;H为多头注意力机制的头数;

${\mu }_{m}^{h}$

和

${\mu }_{m\text{'}}^{h}$

分别为第m和第m'条超边在第h个注意力头下的可学习原型;sim^h(·,·)为在第h个注意力头下的相似度函数。

在此基础上,顶点特征通过超图卷积更新为

(2)

${v}_{i\text{'}}=\sigma ({W}_{v}{v}_{i}+\sum _{m=1}^{M}{\alpha }_{im}{W}_{e}{e}_{m})$

式(2)中:W_v、W_e为线性投影矩阵;σ为激活函数。

YOLOv13应用深度可分离卷积(DSConv)与轻量模块(如DS-C3k),在不降低精度的前提下实现约30%参数压缩和 28%FLOPs降低。在MS COCO数据集上,YOLOv13-N仅使用2.5×10⁶参数即可达到41.6%AP50:95,优于YOLOv5s^[26]与YOLOv12-N^[27];在Pascal VOC2007上也表现出更强的跨域泛化能力(AP50:95=70.1%),验证了其在动态环境下的实用性与鲁棒性。

1.3 几何约束和K-means重判断

语义方法虽能剔除预定义动态目标,提升系统稳定性,但在运动目标干扰、边界不清或目标漏检时,仍易造成特征点误删甚至跟踪失败,特别是检测框过大时误删静态像素。为此,在目标检测基础上结合多视图几何约束与K-means聚类,对特征点进行动态性再判别,提升判断精度,同时保留运动区域内的静态有效特征。该方法基于相邻帧的相对位姿计算,具备良好的类别无关性。

为判断像素点的动静状态,可依据连续帧之间的像素对应关系构建多视图几何约束方法^[27-29]。当前帧观测点c_i与下一帧观测点c_j,p_i和p_j是两幅图像上的对应像素点,p_w和p'_w则是它们在三维现实世界中的投影点。通过当前帧i的相机位姿T^w_i及其深度图值z,可计算出当前帧投影点p_w在世界坐标系中的坐标,即

(3)p_w=T^w_iπ^-1(p_i,z)

式(3)中:π^-1为逆透视投影函数,其具体形式取决于相机的内参类型。

几何约束方法可有效判断点在连续帧之间是否保持几何一致,从而实现动态点与静态点的判别,结构示意图如图3所示。

若假设当前三维世界坐标p_w静止,则下一帧图像像素p_j存在对应投影变换关系,即

(4)p_j=π[$({T}_{j}^{w}{)}^{-1}$p_w]

式(4)中:π为透视投影函数,其形式取决于相机内参类型;T^w_j为跟踪线程中下一帧j的相机位姿。

结合帧j的深度值信息z',可得到像素投影在三维世界中的实际坐标为

(5)p'_w=T^w_jπ^-1(p_jz')

式(5)中:p'_w为时刻t下第i个特征点的像素坐标。

定义目标像素点在帧i与其在帧j对应的三维世界投影坐标距离d为

(6)d=${‖{p}_{w}-p\text{'}{ }_{w}‖}_{2}$

若目标像素点为静态点,则帧i与帧j对应的三维投影坐标应极为接近甚至重合,此时d较小;若两坐标距离d较大,则该点为动态点。为更精准判定像素点的动静特性,采用距离阈值d_th和深度值z构建动态评价函数为

(7)d_err=$\left|{d}_{th}+kz-d\right|$

式(7)中:d_err为距离误差;k为距离补偿系数。

根据工程经验,d_th通常设为2,k为随深度值变化的尺度因子,一般取0.025。若最终评价函数d_err<0.1,则判定当前像素点为静态点,反之为动态点。

为加速动静像素点区分并减少计算耗时,构建了K-means聚类与投票法检测动态像素,使用K-means算法将三维点云划分为k个簇,k值取图像像素点总数除以2 000的商(若不足2 000则自动形成新簇);每个簇中随机选取200个像素点,通过多视图几何约束判定各点的运动特性;根据选中点的多数运动属性确定簇的整体运动状态,即

(8)$\text { cluster }_{i}=\left\{\begin{array}{ll} \text { dynamic, } & n_{\text {dynamic }}>n_{\text {static }} \\ \text { static, } & n_{\text {dynamic }} \leqslant n_{\text {static }} \end{array}, i \leqslant k\right.$

式(8)中:dynamic为动态类别;static为静态类别;cluster_i为第i个簇内像素点的运动状态;n_dynamic和n_static分别为该簇选中点中动态与静态点的数量。

若动态点数量占优,则簇内所有点被判定为动态,反之为静态。

2 精细关键帧筛选

在动态场景中,行人或车辆等突发运动易导致系统频繁插入冗余关键帧,增加计算负担^[30]。为此,采用精细关键帧筛选机制,有效压缩候选关键帧数量,优先保留能代表静态结构的信息。该策略不仅提升了回环检测与位姿优化的效率,还增强了系统对环境变化的适应能力,整体流程图如图4所示。

i为当前遍历的关键帧序号;n为关键帧序列的总数量;KF_i为第i个关键帧;KF_j为第j个待处理关键帧;

${T}_{s}^{(i,j)}$

为关键帧KF_i与KF_j之间的姿态相似度;T_th为姿态相似度的阈值;S

${T}_{s}^{(i,j)}$

为关键帧KF_i与KF_j之间的时空相似度;ST_th为时空相似度的阈值;I

${M}_{s}^{i}$

为KF_i的图像显著性得分;I

${M}_{s}^{j}$

为KF_j的图像显著性得分;IM_th为图像显著性得分的阈值;Be

${l}_{s}^{i}$

为关键帧KF_i的质量置信度得分;Be

${l}_{s}^{j}$

为关键帧KF_j的质量置信度得分;Br_{KF_j}为关键帧KF_j的回环标记

为确保地图点质量,需标记并移除冗余地图点以维持其简洁性和有效性。冗余地图点的评分计算公式为

(9)S_{M_psi}=

${N}_{obs}^{{M}_{psi}}$

$\frac{1}{4}{N}_{pre}^{{M}_{psi}}$

式(9)中:S_{M_psi}为关键帧M_psi的综合评分;

${N}_{obs}^{{M}_{psi}}$

为第i个地图点实际被观测到的候选关键帧数量;

${N}_{pre}^{{M}_{psi}}$

为该地图点预期被观测到的候选关键帧数量。

若S_{M_psi}<0,则将该地图点标记为冗余;否则继续处理下一个地图点。基于此,为获取高质量关键帧,制定了以下4项评分准则逐步过滤冗余候选关键帧。

2.1 位姿相似性评分

为降低系统计算量并保持地图连续性,首先基于位姿相似性从n个候选关键帧中筛选需要保留的候选关键帧。假设前m个候选关键帧已处理完成(m<n),剩余候选关键帧的位姿相似性计算公式为

(10)

$\left\{\begin{array}{l}{T}_{s}^{(i,j)}={‖{T}_{i}-{T}_{j}‖}_{F}\\ T={\left[\begin{array}{ll}sR& t\\ 0& 1\end{array}\right]}_{4\times 4}\end{array}\right.$

式(10)中:T为位姿变换矩阵;T_i和T_j分别为第i个和第j个候选关键帧的位姿,其中i∈[1,n],j∈[m+1,n];‖·‖_F为Frobenius 范数;R和t分别为旋转和平移;s为尺度因子。

2.2 时空相似性评分

为提升相似性评估的全面性,采用时空相似性评分机制,同时考虑关键帧间的时间间隔与共视地图点重合度。时间间隔有助于提高帧间多样性,适应场景变化。共视点重合度则反映空间相似性,增强关键帧筛选的稳健性,保障地图构建的连续性与精度。

为了适应不同场景和应用需求,通过设置权重ϕ动态平衡时间间隔和共视地图点对候选关键帧时空相似性的影响。因此,时空相似性评分的计算公式为

(11)S${T}_{s}^{(i,j)}$=ϕ$\frac{‖I{D}_{i}-I{D}_{j}‖}{{T}_{ott}}$+(1-ϕ)$\frac{M{p}_{scov}}{min\left(M\right.{p}_{si},M{p}_{sj})}$

式(11)中:ID_i和ID_j分别为第i个和第j个候选关键帧的时间索引;T_ott为时间t时n个候选关键帧之间的最大索引差;Mp_scov为第i个和第j个候选关键帧之间的共视地图点数量;Mp_s_i和Mp_s_j分别为第i个和第j个候选关键帧观测到的地图点数量;取值ϕ=0.4。

2.3 重要性评分

在关键帧筛选中采取候选帧的系统重要性作为评价标准,综合其在重定位、闭环检测中的参与情况及被多次识别为潜在闭环帧的频率,从全局视角衡量其功能价值,避免误删关键帧,提升筛选的可靠性与精度。

第i个候选关键帧在时间t的重要性评分计算公式为

(12)

$I{{M}^{S}}_{i}={B}_{i}^{reloc}+{B}_{i}^{loop}+\frac{Cnu{m}_{i}^{loop}}{Jnu{m}_{1:t}^{loop}}$

式(12)中:IM^S_i为关键帧i的显著性得分;

${B}_{i}^{reloc}$

为第i个候选关键帧是否曾被用于重定位(是=1,否=0);

${B}_{i}^{loop}$

为第i个候选关键帧是否曾被用于闭环检测(是=1,否=0);Jnu

${m}_{1:t}^{loop}$

为截止时间t的闭环检测总次数;Cnu

${m}_{i}^{loop}$

为第i个候选关键帧被选为候选闭环关键帧的次数。

2.4 质量评分

从置信度与有效性两方面评估候选关键帧质量。置信度通过关键帧参与优化的频次及其与地图点的重投影误差衡量,反映其位姿更新的活跃性与估计精度,从而判断其在全局优化中的可信程度。

关键帧的置信度评分Bel^S_i计算公式为

(13)Bel^S_i=N_i+E_i

式(13)中:N_i为关键帧的优化频率评分;E_i为平均重投影误差(取负值,误差越小评分越高)。

(14)N_i=θ$\frac{las{t}_{1:t}^{i}}{nu{m}_{1:t}^{opt}}$+(1-θ)$\frac{{u}_{1:t}^{i}}{nu{m}_{1:t}^{opt}}$

(15)

${E}_{i}=-\frac{1}{{N}_{i}}\sum _{j=1}^{{N}_{i}}‖{p}_{j}^{i}-{\widehat{p}}_{j}^{i}‖$

式中:nu

${m}_{1:t}^{opt}$

为系统截止时间t的位姿优化总次数;las

${t}_{1:t}^{i}$

为第i个关键帧最后一次优化时的总优化次数;

${u}_{1:t}^{i}$

为第i个关键帧截止时间t的优化总次数;

${p}_{j}^{i}$

为第i个关键帧观测到的第j个地图点的实际像素坐标;

${\widehat{p}}_{j}^{i}$

为位姿估计后的第j个地图点的重投影像素坐标;θ为权重系数。

通过静态特征点比例、有效地图点比例和全局地图点占比衡量关键帧的有效性,有效性评分Val^S_i计算公式为

(16)Val^S_i=$\frac{K{p}_{i}^{static}}{K{p}_{i}^{total}}$+$\frac{M{p}_{i}^{valid}}{M{p}_{i}^{total}}$+$\frac{M{p}_{i}^{total}}{M{p}_{1:t}^{global}}$

式(16)中:K

${p}_{i}^{total}$

为第i个关键帧提取的特征点总数;Kp^static_i为其中静态特征点的数量;Mp^valid_i为关键帧中有效地图点的数量;Mp^total_i为关键帧观测到的地图点总数;M

${p}_{1:t}^{global}$

为全局地图截止时间t的地图点总数。

结合置信度与有效性评分,即

(17)Q^S_i=Bel^S_i+ρVal^S_i

式(17)中:ρ为扩展因子,防止Val^S_i因数值过小而失效。

根据式(17),若Q^S_i>Q^S_j,则标记第j个关键帧为冗余;反之标记第i个关键帧为冗余。最终通过剔除冗余关键帧得到优化后的关键帧集合。

2.5 稠密建图

为了弥补ORB-SLAM在建图精度方面的不足,特别是在动态干扰环境中的表现问题,在原有系统架构中增加了稠密建图线程,用于生成具有更高空间分辨率的稠密三维静态点云地图^[31]。该建图模块通过融合关键帧的图像与深度信息,实现对场景的高保真重建,增强了系统在导航、路径规划及环境理解等应用中的适应能力。

稠密建图以经过筛选的关键帧为基础,结合对应的RGB图像I(x,y)与深度图像D(x,y),对每个像素点进行反投影(back-projection)以恢复其在三维空间中的坐标。首先,根据相机的内参矩阵,将像素坐标转换为相机坐标系下的三维点坐标,即

(18)

$\left\{\begin{array}{l}Z=D(x,y)\\ X=\frac{(x-{c}_{x})Z}{{f}_{x}}\\ Y=\frac{(y-{c}_{y})Z}{{f}_{y}}\end{array}\right.$

式(18)中:f_x、 f_y为相机在x和y方向上的焦距;c_x、c_y为主点坐标。

像素点在相机坐标系下的三维坐标为

(19)P_c=[X Y Z]^T

然后,利用关键帧的位姿矩阵

${T}_{w}^{i}$

∈SE(3)将相机坐标系下的点云变换到全局地图坐标系中,得到最终的世界坐标为

(20)P_w=${T}_{w}^{i}$P_c

为确保地图中仅保留静态信息,YOLO-GK-SLAM采用动态掩膜M_d(x,y),用于剔除动态区域对应的点云数据,仅保留满足M_d(x,y)=0的像素点参与重建。这一机制在动态环境下能有效提升地图的静态一致性。在完成多个关键帧的点云生成之后,为提升点云质量,系统进一步增加体素滤波(voxel grid filter)以降低冗余密度,并使用统计离群点剔除(statistical outlier removal)算法滤除噪声点,从而构建出结构清晰、细节丰富的三维静态稠密地图。

3 实验与分析

为验证YOLO-GK-SLAM在定位和建图方面的准确性和鲁棒性提升,分别在TUM动态数据集和真实环境中进行了测试。所有实验均在配备14代英特尔i9-14900H、NVIDIA GeForce RTX 5070和16 GB内存的计算机上进行,操作系统为 Ubuntu 20.04。

3.1 实验数据集

选用TUM RGB-D数据集中的动态子序列作为评估平台。该数据集由斯图加特大学计算机视觉组发布,广泛应用于视觉SLAM和三维重建领域,具有高质量的图像与传感器标定信息。该数据集通过Microsoft Kinect采集,提供同步的RGB图像、深度图像及相机轨迹真值数据,分辨率为640×480,帧率约为30 Hz。

使用其中具有典型运动目标干扰的序列,如walking_xyz、walking_rpy、sitting_static和sitting_halfsphere,这些序列中包含不同程度的人体运动干扰,能够有效评估视觉SLAM系统在动态环境下的鲁棒性与准确性。由于其包含真实场景中的动态目标,该数据集成为动态环境下语义感知SLAM算法性能验证的标准基准。

3.2 特征提取

在动态环境中,目标物体(如person)上的特征点容易引发匹配错误,严重干扰系统的位姿估计与建图精度。若不加以处理,大量动态区域内的特征点将被误用于前端跟踪,降低SLAM系统的整体鲁棒性。针对上述问题,YOLO-GK-SLAM算法综合利用YOLO语义检测、多视图几何一致性分析与K-means空间聚类对潜在动态特征点进行判别与剔除。该方法能够有效保留静态区域中的高质量特征点,减少动态目标干扰。如图5所示,上方图像序列展示了未进行动态处理时的特征点分布情况,可见大量特征集中于“person”等动态目标区域。下方图像序列则为本文方法处理后的结果,动态区域内的特征点被明显剔除,保留下来的特征主要分布于桌面、墙面与显示器等静态背景。该对比结果充分验证了YOLO-GK-SLAM在动态特征剔除方面的有效性,为后续关键帧筛选与稠密建图提供了稳定的特征支持。

3.3 消融实验

实验选取TUM数据集中的 freiburg3_walking序列进行评估,并采用绝对轨迹误差(absolute poseerror,ATE)、相对位姿误差(relative pose error,RPE)作为主要性能指标。为分析各模块对系统性能的影响,设计了4组实验(实验Ⅰ~实验Ⅳ)以评估动态点剔除效果,实验Ⅰ不进行剔除(基准组)、实验Ⅱ基于YOLO检测剔除、实验Ⅲ结合YOLO与多视图几何一致性剔除、实验Ⅳ在前者基础上增加K-means聚类以恢复误剔除点。

每组实验运行一次完整序列,记录系统重建的相机轨迹,并使用evo_ape工具进行轨迹误差评估,实验结果如表1所示。

结果显示,实验Ⅰ在所有序列中RMSE最高(如fr3_w_rpy序列达0.699),表明性能显著下降;而实验Ⅱ、实验Ⅲ和实验Ⅳ通过动态点剔除将RMSE大幅降低,平均降幅超过90%,fr3_w_xyz序列中实验Ⅳ降至0.014 879 m。其中实验Ⅳ在所有序列中均取得最低RMSE,证明了其作为集成优化策略在提升系统准确性和鲁棒性方面的有效性。

采用YOLO语义剔除策略(实验Ⅱ)在一定程度上减弱了运动目标对系统的干扰,但由于存在误剔除现象,轨迹仍出现一定程度的抖动。进行多视图几何一致性分析(实验Ⅲ)后,系统能更有效识别并去除运动不稳定的错误匹配点,使轨迹估计更为平滑。在此基础上,结合K-means空间聚类的重判定机制(实验Ⅳ),成功恢复了部分被错误剔除的静态特征点,进一步降低整体定位误差。不同实验编号下的均方根误差对比如图6~图9所示。

实验验证了多视图几何约束与K-means聚类在动态特征点剔除中的关键作用。相比单一语义检测,该组合策略显著增强了系统在动态环境下的鲁棒性与定位精度,体现出方法的实用性与有效性。

3.4 精细关键帧筛选的有效性验证

为提升关键帧的代表性与系统运行效率,在插入阶段设计了一种精细筛选机制。该方法综合评估帧间位姿变换强度(PoseSim)、时空重叠程度(STSim)、观测权重(IMScore)以及图像观测质量(QualityScore),通过多因子评分模型判断当前帧的保留价值。满足插入初始条件后,选取当前帧及其局部参考帧构建候选集,计算上述评分指标。仅当当前帧在所有维度均无显著贡献(如PoseSim较低、STSim较高、IMScore偏弱)时,才被判定为冗余帧而舍弃。该机制采用“一次拒绝 + 多轮连拒”策略,在动态场景中有效抑制冗余帧插入,保留重要约束帧。

此外,系统设置插入兜底机制:当连续拒绝超过3次或特征点数低于50时,强制插入关键帧,以防止地图结构断裂。

选用TUM RGB-D数据集中的freiburg3_walking_xyz场景作为实验基准,对比ORB-SLAM3的默认插帧机制与精细关键帧筛选方法。评估并比较关键帧总插入数、平均插帧间隔(帧)、平均重投影误差、绝对轨迹误差、图优化(bundle adjustment,BA)调用次数,评估结果如表2所示。

在多个动态序列中,YOLO-GK-SLAM显著减少了关键帧数量。这些序列涵盖了旋转、平移及混合运动等多种典型动态场景,模拟了在真实环境中可能遇到的复杂运动模式。如表3所示。fr3_w_rpy序列中仅提取113帧,相较ORB-SLAM3(311帧)和DS-SLAM(356帧)分别减少约63.7%和68.3%;在fr3_w_static和fr3_w_xyz序列中,其关键帧数控制在57帧,远低于ORB-SLAM3的242帧与213帧。关键帧数量的大幅压缩不仅降低了后续地图优化、特征匹配及回环检测的计算复杂度,更为SLAM系统在资源受限设备上的实时部署提供了关键支撑。

尽管帧数压缩明显,YOLO-GK-SLAM在精度上依然领先。从表4与表5可知。在fr3_w_rpy序列中,其ATE为0.032 99 m,较ORB-SLAM3(0.699 3 m)与DS-SLAM(0.609 3 m)分别下降95.3%与94.6%;RPE为0.022 45 m,也优于对比算法。相比之下,ORB-SLAM3因未针对动态场景优化关键帧筛选策略,需保留大量包含动态特征的冗余帧以维持跟踪,导致其ATE误差随帧数增加而快速累积(如fr3_w_rpy序列中,ORB-SLAM3的误差随关键帧数量增加呈线性增长);DS-SLAM虽引入了动态点剔除,但依赖传统SIFT特征检测器,对快速运动目标的特征稳定性较差,故其精度仍明显低于YOLO-GK-SLAM。类似地,在fr3_w_half序列中,其ATE和RPE也分别下降超过90%和29%。即使在动态目标频繁穿越视野的情况下,YOLO-GK-SLAM的ATE波动仍控制在0.01 m以内,表现出更稳健的姿态估计能力。综合多个序列,YOLO-GK-SLAM在平均减少超60%关键帧数量的同时,仍获得最低的ATE(平均0.041 m)与RPE(平均0.028 m),验证了其在动态环境下兼顾效率与精度的能力。

YOLO-GK-SLAM在所有序列中均表现出更低误差和更小波动,特别是在fr3_w_static和fr3_w_xyz序列中,平均误差低于0.007 m,远优于其他方法。在fr3_w_rpy与fr3_w_half等动态干扰较强场景中,其曲线同样保持平稳,展现出较好的鲁棒性。在TUM动态序列下各算法相对于真实轨迹的APE误差曲线如图10所示。

此外,与YOLO-SLAM相比,YOLO-GK-SLAM 在误差接近的情况下进一步压缩了关键帧数量,实现了精度与效率的双优化,进一步验证了关键帧筛选策略的有效性。

3.5 稠密建图

本节主要围绕在精细关键帧筛选策略的基础上,融合YOLO目标检测算法实现动态物体剔除后,对系统稠密建图性能的进一步提升效果进行评估与分析。通过在TUM动态数据集(freiburg3_w序列)以及实验室实景环境中的实验验证,证明 YOLO-GK-SLAM在真实动态环境中具备良好的鲁棒性与建图精度。

传统视觉SLAM系统(如ORB-SLAM3)在处理具有行人等动态目标的场景时,易出现大量由动态物体引起的点云残影。这些残影不仅造成地图结构的冗余,甚至可能导致建图错误,严重影响系统的精度与稳定性。YOLO-GK-SLAM有效排除了动态干扰对建图过程的影响。通过语义检测、多视图几何一致性分析和空间聚类等手段,系统能够精准识别并剔除动态区域内的无效点云,同时保留静态结构中的高质量信息。如图11所示,在TUM RGB-D数据集的4个典型动态序列中,YOLO-GK-SLAM有效抑制了残影现象,提升了建图的整体精度与可靠性。

4 实地测试与评估

为验证YOLO-GK-SLAM系统在真实动态环境中的实用性与鲁棒性,将算法部署至ROS平台,并构建软硬件一体化的实验系统,在多种典型场景下进行实地测试。实验平台基于JC-600L履带式机器人。系统配置包括Realsense D455深度相机,CHC CGI-410组合导航系统;主控单元为TW-T503智能终端,运行Ubuntu 20.04与ROS Noetic;完整硬件平台如图12所示。

在实验设计中,分别选取了典型的室内动态场景(场景1)与室外动态环境(场景2)作为测试场地。其中,室内场景主要包含人员走动、物体搬运等高频动态干扰,旨在验证系统在特征点剔除和相机位姿估计方面的稳健性;室外场景则包含车辆穿行、光照变化及背景运动等复杂因素,用以考察系统在更大范围及多源干扰条件下的适应性。测试过程中,评估YOLO-GK-SLAM系统在动态特征点检测与剔除、轨迹估计精度、关键帧筛选效果以及稠密点云地图构建质量等方面的表现。通过对比分析不同场景下的实验结果,可以全面验证所提方法在动态环境中显著提升系统鲁棒性与建图精度的能力。

图13分别展示了ORB-SLAM3与YOLO-GK-SLAM算法在两个真实场景中的特征点提取效果对比图。在室内场景中,存在典型的人体动态目标穿行,ORB-SLAM3在处理此类图像帧时,仍在动态目标上提取了大量特征点。在YOLO-GK-SLAM中,借助YOLOv13动态目标检测模块与几何一致性判别机制,动态区域特征点被有效剔除,仅保留静态背景区域的高质量特征点,显著提升了系统在动态条件下的稳定性与定位建图精度。

为进一步验证 YOLO-GK-SLAM 算法在真实动态环境中的实际应用效果,设计了两个典型的真实场景,分别对应室内走动环境与室外通行环境,并与YOLO-SLAM进行了对比实验。在实验中,采用ORB-SLAM3所生成的轨迹作为参考轨迹,分别计算各方法在绝对轨迹误差(ATE)与相对位姿误差(RPE)两个维度的RMSE与标准差(SD),以全面衡量其定位精度与系统稳定性。

表7与表8展示了YOLO-GK-SLAM与YOLO-SLAM在两个真实动态场景中的误差对比结果。结果显示,在室内场景中,YOLO-GK-SLAM将ATE从 0.065 0 m降至0.048 5 m,RPE从0.042 3 m降至0.028 2 m,误差及稳定性均有提升;在室外场景中,优势更为明显,ATE与RPE分别下降至0.031 2 m与0.023 6 m,误差降低超90%。

ORB-SLAM3在动态区域存在显著重影与误建,YOLO-GK-SLAM通过前端语义检测与几何筛选,有效剔除动态干扰,生成的点云结构更清晰、边缘更平滑,细节保留更完整。稠密建图结果如图14所示,该结果进一步证明了YOLO-GK-SLAM在真实动态环境下具备更高的建图质量与系统鲁棒性。

5 结论

为了提高传统视觉SLAM系统在动态环境下的定位精度并解决其鲁棒性不足的问题,提出了一种面向动态场景应用的目标检测与几何约束融合的动态环境视觉SLAM方法。

(1)在ORB-SLAM3框架基础上,提出融合YOLOv13动态目标检测与几何约束的方法,有效实现了动态特征点的精确剔除以及对动态区域中静态信息的重新识别。该策略在复杂动态环境下无需额外传感器,即可稳定完成位姿估计,具有较好的工程可部署性。设计的关键帧筛选策略减少了冗余关键帧数量,在fr-w-xyz序列中减少约67.2%,加快了回环检测和位姿优化的速度。实验结果表明,该方法在TUM动态数据集上的ATE和RPE相较经典方法至少降低14.34%和17.48%;相较ORB-SLAM3分别降低约95.07%和44.84%;相较DS-SLAM分别降低约94.71%和49.89%,充分验证了所提方法在动态环境位姿估计精度方面的优势。

(2)结合关键帧图像与深度信息,设计了稠密建图模块,实现了高质量的场景重建。实验表明,生成的点云地图边界更加清晰,动态残影明显减少,为后续路径规划、环境感知等任务提供可靠的环境表示,验证了该方法在机器人场景中的应用潜力。

此外,作为一种纯视觉系统,该方法在弱纹理和剧烈抖动等极端条件下,特征提取与跟踪过程仍易受到影响,可能导致定位漂移甚至系统跟踪失败。因此,后续研究将引入IMU构建视觉-惯性联合SLAM,以进一步提升系统在弱纹理和剧烈运动场景下的鲁棒性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Zhu J, Ling H, Chen K, et al. NICE-SLAM: neural implicit scalable encoding for SLAM[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2024, 46(3): 1543-1558.

[2]	Zhang Z, Liu S, Deng B, et al. Co-SLAM: joint coordinate and sparse-view optimization for neural implicit SLAM[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Vancouver: IEEE, 2023: 1332-1342.

[3]	Cao A Q, Sun X, Wang P, et al. Point-SLAM: dense neural point cloud SLAM[J]. IEEE Robotics and Automation Letters, 2023, 8(4): 2333-2340.

[4]	Teed Z, Deng J. DROID-SLAM: deep visual SLAM for dynamic environments[C]// Advances in Neural Information Processing Systems. Online: Curran Associates, Inc., 2021, 34: 26618-26629.

[5]	李应鑫, 左韬, 赵雄. 基于目标检测的单目视觉半稠密语义地图构建[J]. 科学技术与工程, 2023, 23(15): 6495-6505.

[6]	Li Yingxin, Zuo Tao, Zhao Xiong. Semi-dense semantic map construction of monocular vision based on object detection[J]. Science Technology and Engineering, 2023, 23(15): 6495-6505.

[7]	Lu X, Wang H, Tang S, et al. DM-SLAM: monocular SLAM in dynamic environments[J]. Applied Sciences, 2020, 10(12): 4252.

[8]	杨蕴秀, 韩宝玲, 罗霄. 移动机器人同时定位与建图室内导航地图研究[J]. 科学技术与工程, 2021, 21(18): 7597-7603.

[9]	Yang Yunxiu, Han Baoling, Luo Xiao. Indoor navigation map research of simultaneous localization and mapping for mobile robots[J]. Science Technology and Engineering, 2021, 21(18): 7597-7603.

[10]	王旋, 侯贺伟, 富银芳, 等. 换流站巡检四足机器人建图定位系统优化[J]. 科学技术与工程, 2023, 23(21): 9073-9081.

[11]	Wang Xuan, Hou Hewei, Fu Yinfang, et al. Optimization of mapping and localization system of quadruped robot for converter station inspection[J]. Science Technology and Engineering, 2023, 23(21): 9073-9081.

[12]	Saputra M R U, Markham A, Trigoni N. Visual SLAM and structure from motion in dynamic environments: a survey[J]. ACM Computing Surveys, 2018, 51(2): 1-36.

[13]	Wang K, Ma S, Chen J, et al. Approaches, challenges, and applications for deep visual odometry: toward complicated and emerging areas[J]. IEEE Transactions on Cognitive and Developmental Systems, 2020, 14(1): 35-49.

[14]	Wan Aasim W F A, Okasha M, Faris W F. Real-time artificial intelligence based visual simultaneous localization and mapping in dynamic environments: a review[J]. Journal of Intelligent and Robotic Systems, 2022, 105(1). DOI: 10.1007/s10846-022-01655-8.

[15]	汪发现, 石中华, 张魁. 基于YOLOv8的道岔路口环境下轨道巡检识别技术[J]. 科学技术与工程, 2025, 25(13): 5476-5483.

[16]	Wang Faxian, Shi Zhonghua, Zhang Kui. Track inspection recognition technology at turnout environment based on YOLOv8[J]. Science Technology and Engineering, 2025, 25(13): 5476-5483.

[17]	王爽, 刘云平, 张柄棋, 等. 基于全景分割与多视图几何的动态SLAM方法[J]. 电子测量技术, 2024, 47(24): 149-159.

[18]	Wang Shuang, Liu Yunping, Zhang Bingqi, et al. Dynamic SLAM method based on panoptic segmentation and multi-view geometry[J]. Electronic Measurement Technology, 2024, 47(24): 149-159.

[19]	杨刚, 张文钢, 曹天乐. 基于点线面特征的位姿解耦RGBD-SLAM[J]. 光学精密工程, 2025, 33(6): 993-1006.

[20]	Yang Gang, Zhang Wengang, Cao Tianle. RGB-D SLAM with pose decoupling based on point-line-plane features[J]. Optics and Precision Engineering, 2025, 33(6): 993-1006.

[21]	王红星, 贺文龙, 王璟源, 等. 动态场景下移动机器人实时语义视觉SLAM研究[J]. 兵器装备工程学报, 2025, 46(4): 252-262.

[22]	Wang Hongxing, He Wenlong, Wang Jingyuan, et al. Real-time semantic visual SLAM for mobile robots in dynamic scenes[J]. Journal of Ordnance Equipment Engineering, 2025, 46(4): 252-262.

[23]	Bescos B, Fácil J M, Civera J, et al. DynaSLAM: tracking, mapping, and inpainting in dynamic scenes[J]. IEEE Robotics and Automation Letters, 2018, 3(4): 4076-4083.

[24]	He K M, Gkioxari G, DolláR P, et al. Mask R-CNN[C]// IEEE International Conference on Computer Vision (ICCV). Venice: IEEE, 2017: 2980-2988.

[25]	Yu C, Liu Z X, Liu X J, et al. DS-SLAM: a semantic visual SLAM towards dynamic environments[C]// IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Madrid: IEEE, 2018: 1168-1174.

[26]	Badrinarayanan V, Kendall A, Cipolla R. SegNet: a deep convolutional encoder-decoder architecture for image segmentation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(12): 2481-2495.

[27]	Liu Y B, Miura J. RDS-SLAM: real-time dynamic SLAM using semantic segmentation methods[J]. IEEE Access, 2021, 9: 23772-23785.

[28]	Wu W X, Guo L, Gao H L, et al. YOLO-SLAM: a semantic SLAM system towards dynamic environment with geometric constraint[J]. Neural Computing and Applications, 2022, 34(8): 6011-6026.

[29]	Zhang X G, Zhang R D, Wang X K. Visual SLAM mapping based on YOLOv5 in dynamic scenes[J]. Applied Sciences, 2022, 12(22): 11548.

[30]	Campos C, Elena R, García J J, et al. ORB-SLAM3: an accurate open-source library for visual, visual-inertial, and multimap SLAM[J]. IEEE Transactions on Robotics, 2021, 37(6): 1874-1890.

[31]	Lei M, Wang X, Li J, et al. YOLOv13: real-time object detection with hyper-graph-enhanced adaptive visual perception[J]. arXiv Preprint, arXiv: 2506.17733, 2025.

[32]	Feng Y, Zhang Z, Wu Q, et al. Hyper-YOLO: when visual object detection meets hypergraph computation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2025, 47(4): 2388-2401.

[33]	Jani M, Fayyad J, Al-Younes Y, et al. Model compression methods for YOLOv5: a review[J]. arXiv Preprint, arXiv: 2307.11904, 2023.

[34]	Tian Y, Ma H, Li P, et al. YOLOv12: attention-centric real-time object detectors[J]. arXiv Preprint, arXiv: 2502.12524, 2025.

[35]	Zhong Y H, Hu S S, Huang G, et al. WF-SLAM: a robust VSLAM for dynamic scenarios via weighted features[J]. IEEE Sensors Journal, 2022, 22(11): 10818-10827.

[36]	He J M, Li M R, Wang Y Y, et al. OVD-SLAM: an online visual SLAM for dynamic environments[J]. IEEE Sensors Journal, 2023, 23(12): 13210-13219.

[37]	刘畅, 党淑雯, 陈丽. 改进位姿估计环节的ORB-SLAM稠密建图算法[J]. 科学技术与工程, 2024, 24(7): 2782-2789.

[38]	Liu Chang, Dang Shuwen, Chen Li. ORB-SLAM dense mapping algorithm with improved pose estimation[J]. Science Technology and Engineering, 2024, 24(7): 2782-2789.

[39]	赵薇, 王峰, 马星宇, 等. 基于动态区域剔除与稠密地图构建的视觉SLAM算法[J]. 兵工学报, 2025, 46(3): 304-314.

[40]	Zhao Wei, Wang Feng, Ma Xingyu, et al. Visual SLAM algorithm based on dynamic region removal and dense map construction[J]. Acta Armamentarii, 2025, 46(3): 304-314.

基金资助

内蒙古自治区科技计划(2021GG0256)

内蒙古自治区自然科学基金(2024LHMS06023)

PDF (23622KB)

访问

被引

详细

导航

Received	Published	Revised
2025-08-20	2026-08-08	2026-01-09
Online Date
2026-09-03

摘要