基于遮挡清除算法的室内视觉定位系统

张立晔; 和法旭; 程一硕; 程心如; 李鹏飞

doi:10.12404/j.issn.1671-1815.2506649

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (17) :7352-7364 DOI: 10.12404/j.issn.1671-1815.2506649

自动化技术、计算机技术

基于遮挡清除算法的室内视觉定位系统

作者信息 +

Indoor Visual Localization System Based on Occlusion Removal Algorithm

Author information +

文章历史 +

摘要

为解决室内视觉定位中因家具、行人等遮挡物体导致的定位精度下降问题,提出了一种基于遮挡清除算法的室内视觉定位系统。系统首先利用YOLOv11目标检测算法识别并定位遮挡物体,对遮挡区域像素进行重置并生成掩码图像;随后采用MAT(mask-aware transformer)图像修复算法恢复无遮挡图像,以获取完整的环境信息用于后续定位。在定位阶段,基于本质矩阵的定位算法结合SuperPoint特征提取与LightGlue 特征匹配方法,有效提升了在光照变化和视点偏移下的鲁棒性。实验结果表明,提出的系统在 7Scenes数据集和自制LH数据集上表现优异。在7Scenes上,定位误差为(0.063 m, 1.759°),相比室内视觉定位领域最广泛应用于工业上SuperPoint + SuperGlue算法,位置精度提升约6%,旋转误差降低约4%;在LH数据集上,位置精度进一步提升约15%。在与最先进的算法对比时,尽管精度略逊一筹,但考虑到该方法使用的是去遮挡后的图像数据集,其在复杂场景中的表现依然出色,尤其在处理遮挡问题时能够保持较高的鲁棒性和精度。此外,该方法更具轻量性,能够更快速地部署和训练,适用于实时应用场景。

Abstract

In order to address the issue of decreased localization accuracy in indoor visual localization caused by occluding objects such as furniture and pedestrians, an indoor visual localization system based on an occlusion removal algorithm was proposed. Firstly, the YOLOv11 object detection algorithm was used to identify and locate occluded objects, reset the pixels in the occluded area, and generate a masked image. Subsequently, the mask aware transformer(MAT) image restoration algorithm was used to restore the unobstructed image, in order to obtain complete environmental information for subsequent localization. During the localization phase, the essential matrix-based localization algorithm combined with SuperPoint feature extraction and LightGlue feature matching methods effectively improves robustness under lighting changes and viewpoint shifts. Experimental results show that the proposed system performs excellently on both the 7Scenes dataset and the custom LH dataset. On the 7Scenes dataset, the localization error is (0.063 m, 1.759°), which improves position accuracy by approximately 6% and reduces rotation error by about 4% compared to the widely used SuperPoint + SuperGlue algorithm in the indoor visual localization field. On the LH dataset, position accuracy is further improved by around 15%. When compared to the state-of-the-art algorithms, although the accuracy is slightly lower, the proposed method, which uses occlusion-free image datasets, still performs excellently in complex scenes, especially in handling occlusions, maintaining high robustness and precision. Additionally, the proposed method is more lightweight, enabling faster deployment and training, making it suitable for real-time application scenarios.

Graphical abstract

关键词

遮挡清除算法 / 室内视觉定位 / 图像修复 / 本质矩阵

Key words

occlusion removal algorithm / indoor visual localization / image inpainting / essential matrix

引用本文

引用格式 ▾

张立晔, 和法旭, 程一硕, 程心如, 李鹏飞. 基于遮挡清除算法的室内视觉定位系统[J]. 科学技术与工程, 2026, 26(17): 7352-7364 DOI:10.12404/j.issn.1671-1815.2506649

ZHANG Li-ye, HE Fa-xu, CHENG Yi-shuo, CHENG Xin-ru, LI Peng-fei. Indoor Visual Localization System Based on Occlusion Removal Algorithm[J]. Science Technology and Engineering, 2026, 26(17): 7352-7364 DOI:10.12404/j.issn.1671-1815.2506649

登录浏览全文

4963

注册一个新账户忘记密码

室内定位在智能家居、安全监控、机器人导航等领域具有重要应用^[1]。随着深度学习技术的快速发展,室内定位领域也取得了显著进展^[2]。传统的定位技术,如Wi-Fi、蓝牙、超宽带和红外等,虽然在特定场景下有效,但相比视觉定位技术,其精度和适应性存在一定局限性。视觉定位技术通过摄像头获取丰富的环境信息,能够适应复杂且无信号覆盖的环境。由于其具有低成本、易于安装和信息丰富等优势,基于视觉的定位系统逐渐成为研究的热点。这些方法利用图像特征进行定位与导航,推动了视觉定位技术的发展。

视觉定位技术基于计算机视觉,通过摄像头捕捉环境图像并进行后续处理和分析。近年来,视觉数据与其他传感器类型的融合取得了显著进展,如声学信号、惯性测量单元(inertial measurement unit,IMU)、电子传感器和轮式里程计等,这些融合方法共同提高了室内定位的精度^[3-6]。当定位系统进行最终的位姿计算时,如果特征匹配的数量较少或匹配精度较差,可能会显著降低定位精度。为了解决这个问题,随机抽样一致性(random sample consensus,RANSAC)常用于去除错误的匹配。文献[7]提出了一种基于深度学习的相机重定位算法,该算法通过检索相似的数据库图像,预测相对位姿,并通过三角测量计算绝对位姿。为了提高基于相对位姿的方法的精度,文献[8]提出了一个新的框架,其中传统特征表现最佳。在此基础上,吕梦妍等^[9]的前期工作将传统特征替换为基于深度学习的特征(SuperPoint + SuperGlue),从而增强了定位精度、鲁棒性和泛化能力。近期,本文研究团队发现将特征匹配算法由SuperGlue替换为LightGlue^[10]能取得更好的定位结果,因为相比于前者,后者在内存和计算方面更高效,同时结果更准确,也更容易训练。

室内环境具有动态性,家具和行人可能会遮挡摄像头的视野,导致数据不完整,从而降低定位精度。图像遮挡已成为视觉定位系统中的一个重要问题,尤其在复杂环境下影响系统性能。为解决这一问题,提出了多种方法。例如,利用语义分割进行图像修复^[11],以提高查询图像的质量并增强定位精度,特别是在行人遮挡情况下。文献[12]提出了一种结合卡尔曼滤波的混合主动-被动定位系统,以提高遮挡场景下的准确性和鲁棒性,实现了移动机器人在厘米级精度下的定位。另一种方法^[13]通过在分层的粗到细匹配过程中采用密集提取的卷积神经网络(convolutional neural networks,CNN)特征,解决了遮挡引起的匹配误差,并通过虚拟视图合成严格验证候选位姿。

处理遮挡图像能够提高室内视觉定位的精度和鲁棒性。在图像去遮挡领域,Ding等^[14]提出了一种基于语义分割和图像修复的两步法,用于去除建筑场景中的脚手架遮挡,并在脚手架分割和场景修复方面取得了良好的效果。Hu等^[15]提出了O²-Recon框架,该框架使用2D扩散模型填补遮挡区域,并通过神经隐式曲面表示优化完整3D形状的重建,有效解决了3D重建中的遮挡问题。彭红等^[16]提出了一种基于向量值偏微分方程约束的图像修复模型,该模型通过引入向量场约束和能量泛函最小化,有效地保持了图像边缘结构与纹理特征,实现了高质量的图像修复效果。此外,文献[17]提出了遮罩感知Transformer(mask-aware transformer,MAT)模型,结合了Transformer和卷积技术的优势。该模型在修复高分辨率图像时非常高效,同时节省了计算资源,使其成为室内遮挡物体处理和图像修复的实际高效选择。

在实际应用中,机器人常常会遇到如家具和行人等遮挡物。有效处理遮挡图像不仅有助于在复杂环境中获得准确的定位结果,也为物体识别、场景理解等任务提供更可靠的视觉信息。近年来,随着室内服务机器人、智能安防、无人配送车以及AR/VR/MR等应用的快速发展,对高精度、鲁棒且可实时运行的室内定位技术提出了更高要求^[18]。复杂动态场景中的行人流动和临时堆放物体使遮挡问题日益突出,传统假设“场景静态”的视觉定位方法在实际部署中容易出现精度退化^[7-10]。与此同时,新一代目标检测模型^[19]和基于Transformer的高效图像修复技术^[17]为端侧遮挡处理提供了新的可能。因此,将先进的遮挡检测与图像修复方法与几何定位模型结合,以提升遮挡场景下的定位精度和鲁棒性,具有显著的现实需求和工程应用价值。

为此,现提出遮挡清除算法(occlusion removal algorithm, ORA),该算法结合了目标检测和图像修复技术。具体而言,ORA首先使用YOLOv11目标检测算法识别遮挡物体并确定其位置和类别,接着通过MAT模型修复遮挡区域,恢复完整的环境信息。在定位部分,结合SuperPoint特征提取与LightGlue特征匹配算法,利用RANSAC五点法求解本质矩阵,并通过奇异值分解(singular value decomposition, SVD)优化匹配结果。最后,基于本质矩阵和数据库图像的绝对位姿,求解查询图像的定位结果。这一改进方法显著提高了定位精度,尤其在遮挡场景中,提供更鲁棒和精准的定位性能,以期为后续研究室内遮挡问题提供可参考的实验方案和数据基础。

1 基于遮挡清除算法的室内视觉定位系统

1.1 系统概述

所提出的基于遮挡清除算法的室内视觉定位系统如图1所示,将算法分为离线阶段和在线阶段两个部分。

(1)在离线阶段,首先采集无遮挡物的环境图像作为数据库图像,提取其特征信息并生成数据库特征文件,用于后续的图像匹配和定位。

(2)在在线阶段,采集可能存在遮挡物体的环境图像,并进行遮挡清除。系统通过YOLOv11检测遮挡物体的类别和位置。若无遮挡物体,则直接作为查询图像;若有遮挡物体,则将遮挡区域的像素值设为黑色,并生成对应的掩码图像。然后,利用MAT模型修复遮挡图像,恢复至无遮挡物体的原始状态,作为查询图像进行后续处理。

然后,提取查询图像特征,生成查询特征文件,并与数据库特征文件进行图像检索,找到最匹配的数据库图像。随后,通过特征匹配建立查询与数据库图像的2D-2D匹配信息。最后,基于本质矩阵的定位算法,利用RANSAC-五点法求解本质矩阵,并通过奇异值分解(singular value decomposition, SVD)优化,最终根据数据库图像的绝对位姿计算查询图像的定位结果。

总体而言,本文研究的定位系统通过遮挡检测、图像修复、特征提取与匹配等步骤,成功实现了在遮挡物体存在的情况下,准确地进行室内环境的视觉定位,提升了系统的精度和鲁棒性,为复杂环境中的视觉定位问题提供了有效的解决方案。

1.2 遮挡清除算法

1.2.1 遮挡物体检测算法

在系统的遮挡清除模块中,遮挡物体的检测是首要任务。为了有效识别和处理图像中的遮挡物体,采用了YOLOv11目标检测算法。YOLOv11作为当前先进的目标检测算法^[20],具有高精度和高速度的优点,能够实时且准确地检测图像中的遮挡物体,并精确识别其位置和类别。与传统的检测方法相比,YOLOv11在复杂环境下具有更强的鲁棒性,尤其是在遮挡物体检测任务中展现出卓越的性能。与YOLOv12相比,尽管YOLOv12在精度上有了略微提升,但在处理速度上也带来了较大的代价^[21]。YOLOv11在速度和精度之间的平衡使其在实际应用中表现得更加高效,尤其适合对实时性要求较高的任务。因此,综合考虑精度与速度,选择了YOLOv11作为本系统的遮挡物体检测算法。通过利用YOLOv11的先进检测能力,能够准确地定位遮挡区域,为后续图像修复过程提供可靠的数据支持,从而有效恢复被遮挡的环境信息并提升定位精度。

YOLOv11模型在多个方面进行了创新,显著提升了其在各类计算机视觉任务中的表现,特别是在目标检测任务中的应用。首先,YOLOv11的主干网络(Backbone)通过使用新的C3k2块,取代了YOLOv8中的C2f块,该块采用较小的卷积而非单一的大卷积,从而提高了计算效率和处理速度。主干网络的设计使得模型能够从输入图像中提取多尺度的特征,为后续的处理提供了丰富的图像信息。接下来,YOLOv11在特征提取部分引入了空间金字塔池化-快速(spatial pyramid pooling-fast, SPPF)块,并且新增了带空间注意力的卷积块(cross stage partial with spatial attention,C2PSA)模块。C2PSA模块通过增强空间注意力机制,能够更加有效地聚焦图像中的关键区域,提升了模型在复杂场景中的表现,特别是在处理不同尺寸和位置的物体时表现出更高的检测精度。在颈部(Neck)部分,YOLOv11优化了特征的聚合过程,采用了C3k2块,这一改进使得模型在多尺度信息的整合上更加高效,从而提升了整体性能。YOLOv11的头部(Head)部分使用多个C3k2块来细化特征图,并应用卷积-批归一化(convolution-batchnorm-silu,CBS)层对数据流进行稳定化和归一化,从而有效提高了检测精度。头部的设计使得模型能够准确地生成目标的边界框和分类预测。此外,YOLOv11引入的空间注意力机制,通过C2PSA模块使模型能够更好地聚焦图像中的重要区域,尤其在检测部分遮挡物体时,能够显著提升检测效果。最终,YOLOv11通过其优化后的卷积层和检测层,精确地输出边界框坐标、目标存在性分数和类别分数。

这些创新使得YOLOv11在各类计算机视觉任务中展现出了卓越的性能,特别是在目标检测、实例分割和姿态估计等领域,相比其前代版本,YOLOv11在处理速度和精度上都表现出了显著的提升,充分证明了其在实时计算机视觉应用中的优势。

1.2.2 图像修复算法

在完成遮挡物体检测后,系统进入图像修复阶段。图像修复的目标是填补由于遮挡物体移除所造成的缺失区域,使修复后的图像尽可能接近原始无遮挡的状态。为实现高质量的图像修复,采用了MAT模型。MAT是一种基于Transformer架构的大孔洞图像修复算法,该算法在保持图像全局结构一致性和细节真实性方面表现优异。

MAT模型的核心思想是引入遮罩感知机制(mask-aware mechanism),使模型能够在修复过程中显式感知遮挡区域与未遮挡区域的边界特征,从而实现更精确的结构补全与纹理生成。具体而言,MAT采用Transformer编码-解码结构,结合卷积特征提取与多头自注意力机制(multi-head self-attention,MHSA),在捕获全局上下文信息的同时,保留了局部纹理特征。相比传统的基于卷积神经网络(CNN)的修复算法,MAT具有更强的建模能力,能够处理大面积缺失区域,且修复结果更加自然和连贯。在编码阶段,MAT通过卷积与自注意力模块相结合的方式对输入的带遮罩图像进行特征编码。编码器不仅提取图像的低层纹理信息,还通过自注意力机制捕获全局结构信息。随后,解码器根据遮罩区域的特征分布逐步生成缺失部分的内容,并通过跳跃连接(skip connection)机制将编码阶段的特征信息与解码阶段进行融合,从而在重建过程中保持图像的结构一致性和细节连续性。此外,MAT还在训练过程中引入了全局判别器(global discriminator)与局部判别器(local discriminator),以确保修复区域在全局视觉上与原图保持一致,并在局部细节上具有真实感。与传统的图像修复算法(如基于部分卷积、门控卷积或GAN的方法)相比,MAT能够更好地建模远距离像素之间的依赖关系,克服了卷积核感受野有限的问题。同时,Transformer架构的引入使得模型在高分辨率图像修复任务中表现出更高的效率和更低的失真度。

综上所述,MAT模型通过结合卷积特征提取与Transformer全局建模能力,实现了在复杂遮挡条件下的高质量图像修复。将该模型引入本文研究的遮挡清除系统中,能够有效恢复被遮挡的环境信息,为后续的视觉定位提供更加完整和准确的图像数据支持。

1.2.3 遮挡清除模块的实现与集成

遮挡清除算法(ORA)综合利用目标检测与图像修复技术,对遮挡区域进行识别、标注与重建,以恢复完整的环境图像信息。该算法主要包括遮挡物体检测、掩码生成和图像修复3个阶段,如图2所示。

首先,利用在COCO数据集上预训练并在特定遮挡物体数据集上微调的YOLOv11模型对查询图像进行检测。该模型能够准确识别图像中的遮挡物体,并生成相应的边界框与类别信息。在检测完成后,从检测结果中提取遮挡物体的位置信息,并对该区域的像素进行重置处理。具体而言,将检测到的遮挡区域像素设置为纯黑(0,0,0),以表示该区域为不可用信息。同时,生成与原图对应的掩码图像,其中遮挡区域像素置为黑色,其余区域置为白色(255,255,255)。该步骤不仅实现了对遮挡区域的精确标识,还为后续的图像修复提供了结构化的参考。

在完成遮挡区域标注后,系统将原始图像与对应的掩码图像一同输入图像修复网络 MAT中。MAT 模型通过掩码感知机制和全局上下文建模,对被遮挡区域进行重建,生成与无遮挡图像在结构和纹理上高度一致的修复结果。该过程在保留未遮挡区域视觉一致性的同时,能够有效推断出被遮挡区域的语义与细节信息,从而恢复图像的完整性。

最终,ORA 算法输出修复后的图像,为后续的室内视觉定位提供更加完整、准确的环境信息输入。通过目标检测与图像修复的协同作用,该算法能够在复杂遮挡场景下有效剔除干扰区域并恢复环境特征,从而显著提升视觉定位系统的精度与鲁棒性。

1.3 基于本质矩阵的定位算法

本文研究采用的定位算法为基于本质矩阵的室内视觉定位算法,该算法属于基于多视几何原理的几何约束型视觉定位方法,并在文献[8]的基础上进行了改进。其核心思想是通过估计两幅图像之间的几何约束关系,恢复相机的相对位姿(旋转与平移),并进一步推算查询图像的绝对位置,从而实现高精度的三维重建与定位。本质矩阵(essential matrix)是描述两幅图像间几何关系的关键数学模型,能够反映相机之间的相对运动信息。对于归一化坐标下的两幅图像点x₁与x₂,其满足对极约束关系为

(1)x^T₂Ex₁=0

式(1)中:x₁与x₂分别为第一幅和第二幅图像中匹配点的齐次坐标;E为本质矩阵。

本质矩阵可表示为

(2)E=[t]_×R

式(2)中:R为相机的相对旋转矩阵;t为相机平移向量;[t]_×为平移向量的反对称矩阵形式。

与基于深度学习的相对位姿回归算法相比,基于本质矩阵的方法直接依赖几何关系进行位姿求解,无需场景特定超参数或训练数据支撑,具有较好的泛化性和物理可解释性,能够在光照变化、视点偏移和部分遮挡等复杂环境中保持稳定性。

算法的主要流程包括特征提取与匹配、本质矩阵估计、位姿恢复以及对极约束验证4个阶段,具体流程如图3所示。首先,在查询图像与数据库图像中提取并匹配局部特征点,采用SuperPoint算法进行特征提取,并结合LightGlue特征匹配算法以提高匹配的鲁棒性和准确性。随后,利用五点法(five-point algorithm)结合RANSAC算法估计本质矩阵,前者通过求解五对匹配点之间的几何约束得到相机的相对位姿,后者通过迭代采样与一致性检验剔除误匹配点,提高估计结果的可靠性。在求得本质矩阵后,通过奇异值分解(SVD)进行分解,表达式为

(3)E=Udiag(1,1,0)V^T

式(3)中:U和V分别为正交矩阵,它们来自 SVD 的左右奇异向量,由此可得四组候选解R为

(4)R=UWV^T或UW^TV^T, t=±u₃

式(4)中:W=$\left(\begin{array}{lll}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right)$;u₃为U的第三列向量。通过正深度(cheirality check)判定,即确保三角化后点在两个相机坐标系前方,确定唯一的相对位姿解(R,t)。

在确定唯一的相对位姿解后,进一步利用对极约束验证匹配点对的几何一致性,并计算查询图像的绝对位姿。对极约束误差d定义为

(5)d_i=$\left|{\stackrel{\wedge }{x}}_{2}^{\left(\mathrm{i}\right)}E{\stackrel{\wedge }{x}}_{1}^{\left(\mathrm{i}\right)}\right|$

式(5)中:${\stackrel{\wedge }{x}}_{1}^{\left(\mathrm{i}\right)}$、${\stackrel{\wedge }{x}}_{2}^{\left(\mathrm{i}\right)}$为第i个匹配点在两张图像中的归一化坐标;i为第i个匹配点对,当 d_i<τ(阈值)时,认为该匹配点对满足几何一致性。通过 RANSAC 迭代优化最大。

设数据库图像的绝对位姿为T_w→db=[R_db|t_db],相对位姿为T_db→q=[R|t],则查询图像在世界坐标系下的绝对位姿T_w→q为

(6)T_w→q=T_w→dbT_db→q

即

(7)$\left\{\begin{array}{l}{R}_{\mathrm{q}}={R}_{db}R\\ {t}_{\mathrm{q}}={t}_{db}+{R}_{db}t\end{array}\right.$

式中:R_q与t_q分别为查询图像相对于世界坐标系的旋转和平移。该步骤实现了从数据库相机坐标系到查询相机坐标系的姿态变换,使得查询图像的三维位置得以在全局参考框架中精确恢复。通过对极约束验证与位姿合成,系统可获得几何一致且高精度的定位结果。

该算法的优势在于其以几何约束为核心、以特征匹配为基础,能够在复杂室内环境中实现高精度的位姿估计。与依赖图像内容的语义特征方法不同,基于本质矩阵的算法在环境变化、遮挡和纹理不明显的情况下仍能保持较高的稳定性与鲁棒性。此外,利用多视角几何约束,算法能够充分融合不同角度的空间信息,从而提升三维重建与定位精度。总体而言,该算法与图像修复模块相结合,显著提高了室内视觉定位系统在复杂场景下的定位精度与可靠性,为实现鲁棒的室内视觉定位提供了一种有效的解决方案。

2 实验结果与分析

对遮挡清除算法和基于本质矩阵的定位算法进行了全面评估,并且通过对比实验,证明了提出的遮挡清除算法能够有效去除遮挡区域并恢复环境信息,为后续定位任务提供完整、准确的图像输入;基于本质矩阵的定位算法在光照变化、视点偏移及局部遮挡情况下仍能保持较高的定位精度和鲁棒性。

2.1 遮挡清除算法的评估实验

2.1.1 遮挡数据集的生成

为研究图像遮挡对室内视觉定位系统性能的影响,构建了两个遮挡图像数据集:合成遮挡数据集7Scenes_occ和真实遮挡数据集LH_RealOcc。

首先,为生成7Scenes_occ 数据集,选取了15类常见的遮挡物体,包括苹果、香蕉、钟表、杯子等,共计363个物体。这些物体均来源于 COCO 数据集^[22],通过抠图的方式提取得到,抠图过程将感兴趣的目标从原始图像中分离,并生成具有透明背景的遮挡物体图像。随后,保留遮挡物体的像素并将其他区域的像素值设置为(255,255,255),生成与之对应的掩码图像,用于后续图像合成与修复。

在生成遮挡图像时,首先加载7Scenes数据集^[23]的原始图像,然后读取所有遮挡物体及其对应的掩码。对于每一张数据库图像和查询图像,系统随机选择一个遮挡物体及其掩码,并在该物体上添加不同种类和程度的模糊,包括无模糊、方框模糊、高斯模糊和运动模糊等。之后,将添加模糊效果的遮挡物体以随机尺度、旋转角度及位置叠加到原始图像中,从而生成新的遮挡图像。通过这种方式,每张原始图像均生成一张对应的遮挡图像,构成遮挡图像数据集。最终,7Scenes_occ数据集共包含7个场景(Chess、Fire、Heads、Office、Pumpkin、Red Kitchen、Stairs),合计生成2 166张数据库图像和704张查询图像,与原始数据集一一对应。

此外,为进一步验证算法在真实场景中的适应性与鲁棒性,构建了一个真实遮挡数据集 LH_RealOcc。该数据集使用手持Honor Magic 4手机采集,图像分辨率为1 920×1 080。实验场地选取于教学楼的3个办公室和2间教室,覆盖不同光照条件和拍摄角度。拍摄过程中通过人工布置遮挡物体(如书籍、饮品容器、文件夹、植物及玩偶等)以模拟真实遮挡情形。为增强数据多样性与真实性,采集时考虑了多种视角变化、不同遮挡程度及动态光照环境。该数据集共包含约2 500张图像,其中无遮挡图像和遮挡图像各占一半,可有效反映真实场景中遮挡对视觉定位算法性能的影响。

综上所述,所构建的两类遮挡图像数据集在内容和形式上相互补充:合成数据集7Scenes_occ便于算法在可控条件下进行定量评估,而真实数据集LH_RealOcc能够检验算法在复杂自然场景下的泛化能力。二者共同为后续遮挡清除算法与室内视觉定位系统的性能评估提供了全面、可靠的实验基础。

2.1.2 定性评估实验

图4展示了遮挡清除模块在7Scenes_occ和LH_RealOcc数据集上的主观视觉效果。每组3列图像分别对应经YOLOv11检测后遮挡区域被标记并置黑的遮挡图像、经MAT模型修复后的去遮挡图像和对应的无遮挡原始图像。从图4中可以看出,经遮挡清除处理后的图像在颜色、纹理和结构上与原始图像高度一致,修复区域能够自然融入周围环境,不仅边缘轮廓连续、纹理无明显断层,也未出现块状伪影、纹理漂移等常见修复缺陷。尤其是在遮挡面积较大或纹理结构复杂的场景中,MAT 仍能较好地重建场景主要几何形状,说明其对大孔洞区域具有较强的结构恢复能力。

为了进一步验证遮挡清除模块对定位环节的实际影响,分别对“遮挡图像-原始图像”和“去遮挡图像-原始图像”两组图像对进行特征提取与匹配,并将结果可视化于图5中。

在遮挡图像中,由于部分区域被置黑或被遮挡物覆盖,SuperPoint 在遮挡边界附近只能提取到少量质量较低且不稳定的特征点,使整幅图像的有效特征数量显著减少,特征分布明显偏向无遮挡区域。

遮挡区域的缺失纹理导致大量跨越真实结构边界的误匹配,错误匹配比例显著升高,极易干扰后续本质矩阵估计并造成位姿求解不稳定。

在去遮挡图像中,MAT 恢复了连续的纹理与边缘结构,使SuperPoint能够在修复区域提取到更多且分布更均匀的特征点。与此同时,LightGlue的匹配结果更加密集、准确,误匹配数量较遮挡图像大幅降低,匹配线条与场景几何结构保持一致性。

综上,遮挡清除模块不仅在视觉层面实现了较高质量的图像修复,更在特征层面显著增强了图像的可提取性与可匹配性。一方面,它有效弥补了因遮挡导致的特征缺失,使得关键特征点在空间上分布更加完整;另一方面,通过减少遮挡区域引发的误匹配,显著提升了特征匹配的稳定性和本质矩阵估计的可靠性。这些定性结果充分表明,遮挡清除模块对于提升室内视觉定位系统在复杂场景下的精度与鲁棒性具有重要作用。

2.1.3 定量评估实验

通过定量对比实验进一步评估遮挡清除模块在室内视觉定位系统中的作用。实验使用合成遮挡数据集7Scenes_occ以及其对应的去遮挡数据集7Scenes_disocc,并采用中值绝对位置误差和中值绝对旋转误差作为性能指标。同时参考前人研究的设定,选取三组误差阈值 (0.25 m,2°)、(0.5 m,5°)和 (5 m,10°),计算查询图像在各阈值下的通过率(recall),以综合衡量系统在不同定位精度需求下的表现。

为了全面评估遮挡清除模块的作用,设计了3种实验设置:首先,直接使用7Scenes_occ数据集进行定位,不启用遮挡清除模块,以观察遮挡对定位精度的影响;其次,在相同的7Scenes_occ数据集上引入遮挡检测与图像修复处理,再进行定位,以评估遮挡清除带来的性能提升;最后,使用原始无遮挡的7Scenes数据集,并保持定位流程一致地启用遮挡清除模块,以保证实验条件的可比性并验证其在无遮挡场景下的安全性。

为确保实验结果可控、可重复,3组实验均采用相同的图像检索方法DenseVLAD^[24],并在相同硬件与参数设置下运行。选用7Scenes_occ与7Scenes_disocc的主要原因在于,它们具有严格一致的相机参数和几何约束,使本质矩阵估计的结果具有更可靠的可对比性,而真实遮挡数据集中不可控的光照变化与遮挡位置扰动则会影响定量评估的稳定性。

如表1所示,直接在遮挡图像上进行定位(第一组)时,系统性能明显下降:平均位置误差为0.124 m,旋转误差为2.863°,且在严格阈值(0.25 m,2°)下的通过率仅为 33.89%。可见,遮挡导致特征点缺失与误匹配增多,从而影响本质矩阵估计的稳定性。启用遮挡清除模块后(第二组),定位精度显著提升:平均位置误差降至0.079 m,旋转误差降至1.947°,通过率提升至53.43%,在宽松阈值下的通过率也大幅增加。这表明遮挡清除有效恢复了可用特征信息,显著增强了定位鲁棒性。在原始无遮挡数据上进行定位(第三组)时,其性能与第二组几乎相同(位置误差0.070 m,旋转误差1.839°),说明遮挡清除模块在无遮挡图像上不会引入额外误差,并在有遮挡时发挥补偿作用。

图6为遮挡清除模块的消融实验,其中红色曲线代表包含遮挡清除模块条件下的定位误差累积分布函数(CDF)曲线,蓝色曲线代表无遮挡清除模块条件下的CDF曲线,可以看出,遮挡清除模块显著提升了定位精度。

综上所述,遮挡清除模块在定量实验中表现出显著的性能提升,一方面有效避免遮挡导致的定位退化,另一方面在无遮挡条件下保持稳定输出,进一步验证了所提出的遮挡清除策略在室内视觉定位任务中的有效性、可靠性与工程实用价值。

2.2 室内定位算法的评估实验

2.2.1 7Scenes数据集评估实验

使用7Scenes数据集对室内定位模块进行评估。文献[8]中的基于SIFT的五点算法(简称sift_5pt)取得了优异的定位结果,而在先前工作中提出的基于SuperPoint和SuperGlue的算法(简称sp+sg_5pt)在定位精度上更具优势,成为当前室内定位领域的先进方法。在此基础上,提出了基于SuperPoint和LightGlue的改进定位算法(简称sp+lg_5pt)。为全面展示其定位性能,在表 2 中同时列举了近年来绝对位姿回归 (absolute pose regression,APR)和相对位姿回归 (relative pose regression,RPR)等代表性方法在7Scenes数据集上的结果,并与本文方法进行对比。

如表2所示,sp+lg_5pt 在 7Scenes 数据集上取得了0.063 m 的平均位置误差与 1.759° 的平均旋转误差,其整体性能优于最先进的APR方法,并接近最新的RPR方法。尽管在极限精度上略低于部分性能最优的RPR模型,但考虑到sp+lg_5pt方法使用的是去遮挡后的图像数据集,其在复杂场景中的表现依然出色,尤其在处理遮挡问题时能够保持较高的鲁棒性和精度。且与结构复杂的算法相比,sp+lg_5pt 方法更具轻量性,能够更快速地部署和训练,适用于实时应用场景。此外,与室内视觉定位领域最广泛应用于工业上的sp+sg_5pt基线算法对比,尽管 sp+lg_5pt使用的是去遮挡后的数据集,但其位置精度提升约 6%,旋转误差降低约 3.7%,进一步验证了 sp+lg_5pt 方法在处理遮挡数据集上的优势。这一结果表明 LightGlue 在匹配稳定性与误匹配抑制方面显著优于SuperGlue,使得几何估计过程更加稳定。同时,去遮挡图像为特征分布与几何约束提供了完整的信息,从而有效提升了整体定位精度。

综合来看,sp+lg_5pt在保持结构轻量、计算高效的同时,在遮挡处理后的图像上实现了接近最高精度方法的定位表现,尤其在纹理稀疏、局部遮挡和视角变化条件下仍具备较高鲁棒性。这充分验证了所提出的遮挡清除策略与改进特征匹配机制的有效性,为实际工程环境中的室内定位应用提供了可行且高性能的解决方案。

2.2.2 LH数据集评估实验

LH 数据集由手持 Redmi K30 Pro 手机拍摄获得,图像分辨率为1 920×1 080,包含3个来自教学楼不同楼层走廊的典型室内场景,分别记为 corridor1(cor1)、corridor2(cor2)和 corridor3(cor3)。其中,cor1 包含 412 张训练图像与 120 张测试图像,cor2 包含 852 张训练图像与 284 张测试图像,cor3 包含 902 张训练图像与 300 张测试图像。该数据集具有真实光照变化、视角变化以及动态遮挡等特性,能够有效评估算法在实际环境中的适应性与鲁棒性。

基于 LH 数据集对本文研究提出的 sp+lg_5pt 定位方法进行评估,并与3种对比算法进行性能对比,分别为:传统基线 sift_5pt、文献[9]提出的基于高效图像检索的定位方法,以及SuperPoint + SuperGlue 组合(sp+sg_5pt)。图7 展示了4种算法在3个场景中的误差累积分布函数(CDF)曲线,表3 汇总了各方法的定量误差指标。从结果可以看出,本文研究提出的 sp+lg_5pt 在3个场景中均取得最佳性能,整体平均位置误差为 0.390 m,平均旋转误差为 0.153°。与工程界常用的 sp+sg_5pt 方法(0.457 m,0.150°)相比,本文方法在位置精度上提升了约 14.7%,旋转误差保持相当水平。值得注意的是,在室内视觉定位任务中,位置误差通常比旋转误差更能反映实际应用中的导航精度和可用性,微小角度偏差对位姿估计影响相对有限,而位置偏差则直接影响导航路径与定位可靠性。因此,本文方法在位置精度上的显著优势充分表明 LightGlue 在真实场景中具有更高的匹配稳定性与误匹配抑制能力。

综合图7与表3的结果,sp+lg_5pt 在光照不均、长走廊纹理重复等典型室内实际环境中表现更加稳健,验证了本文提出的特征匹配策略与整体定位框架在真实应用场景下的有效性。

3 结论

围绕室内视觉定位在遮挡场景下精度下降的问题,提出并实现了一种基于遮挡清除算法的室内视觉定位系统。系统以“离线构建无障碍数据库-在线遮挡清除与定位”作为整体框架,将遮挡检测、图像修复、深度特征提取与几何定位有机结合,为解决动态室内环境中家具、行人等不可控遮挡带来的定位退化提供了一条完整而有效的技术路线。与传统假设“场景静态”的视觉定位方法相比,该系统能够主动应对遮挡带来的数据不完整问题,在复杂真实场景中取得更高的鲁棒性和输出稳定性。

在算法设计上,首先通过YOLOv11目标检测模型识别遮挡区域并进行像素重置处理,再利用MAT模型重建遮挡区域,使修复后的图像在结构一致性、纹理连续性等方面更接近原始无遮挡图像,为后续特征提取和匹配提供更加完整可靠的视觉信息。基于SuperPoint特征与LightGlue匹配的改进几何定位方法进一步提高了特征匹配质量,结合RANSAC五点法和SVD求解本质矩阵,使系统在遮挡条件甚至光照变化、纹理稀疏等复杂环境下仍保持较高的姿态估计精度。

构建包含3个典型场景的自建LH数据集,并在7Scenes数据集的遮挡版本上进行了系统实验。实验结果表明:在7Scenes数据集上,本文方法在去除遮挡后的图像中仍取得了优于目前工程实践中广泛采用的SuperPoint+SuperGlue组合的定位表现,位置精度提升约6%,旋转误差降低约4%;在更接近工程环境的LH数据集上,本文方法在复杂遮挡、光照不均匀和视角变化情况下依然保持稳定输出,位置精度提升约15%,验证了遮挡清除模块和改进定位算法的有效结合。虽然本文方法在极限场景下的精度略低于最新的RPR方法,但其轻量性、匹配效率以及对动态遮挡的适应能力,使其在实时性要求高的场景中具有更明显的适用优势。

从工程应用角度来看,本文研究提出的系统充分展示了在复杂室内环境中实现稳定视觉定位的潜力。遮挡清除模块不仅提升了定位精度,还为后续的目标识别、语义理解、三维重建等视觉任务提供了更完整的图像输入;改进的定位模块具备良好的计算效率和部署灵活性,可适用于移动机器人自主导航、室内安防巡检、AR辅助定位、智能家居交互等多种应用场景。研究结果表明,在未来动态化、人群密集、遮挡频发的室内环境中,该系统具有实际落地的可行性和较强的推广价值。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Guo X, Qin D, Yang Y. Indoor visual positioning based on image retrieval in dense connected convolutional network[C]// International Conference on Artificial Intelligence for Communications and Networks. Cham: Springer International Publishing, 2020: 70-79.

[2]	Fischer G K J, Schaechtle T, Gabbrielli A, et al. A systematic survey and comparative analysis of angular-based indoor localization and positioning technologies[J]. IEEE Communications Surveys & Tutorials, 2026, 28: 3830-3869.

[3]	Zhao Z, He W, Li F, et al.Enhancing indoor positioning with acoustic signal-aided visual-inertial SLAM[C]//2024 5th International Conference on Computer Engineering and Application (ICCEA). Hangzhou: IEEE, 2024: 1156-1159.

[4]	Wu X, Miao Y, Sun Z. ORB-YOLO:an indoor IMU-aided visual-inertial SLAM system for dynamic environment[C]//2023 International Conference on Artificial Intelligence of Things and Systems (AIoTSys). Xi’an: IEEE, 2023: 71-78.

[5]	Qin P, Hu Q, Yu H. An Internet of Electronic-Visual Things indoor localization system using adaptive Kalman filter[J]. IEEE Sensors Journal, 2023, 23(14): 16058-16067.

[6]	Wang J, Qiu J, Hu N.Robust 2D visual localization under indoor scenes[C]//2023 7th Asian Conference on Artificial Intelligence Technology (ACAIT). Jiaxing: IEEE, 2023: 1281-1288.

[7]	Laskar Z, Melekhov I, Kalia S, et al. Camera relocalization by computing pairwise relative poses using convolutional neural network[C]// Proceedings of the IEEE international conference on computer vision workshops. Venice: IEEE, 2017: 929-938.

[8]	Zhou Q, Sattler T, Pollefeys M, et al. To learn or not to learn:visual localization from essential matrices[C]//2020 IEEE International Conference on Robotics and Automation (ICRA). Paris: IEEE, 2020: 3319-3326.

[9]	吕梦妍, 郭新新, 张坤鹏, 等. 一种基于快速图像去模糊的视觉室内定位方法[J]. 信息技术与信息化, 2024(4): 15-19.

[10]	Lü Mengyan, Guo Xinxin, Zhang Kunpeng, et al. A visual indoor localization method based on fast image deblurring[J]. Information Technology and Informatization, 2024(4): 15-19.

[11]	Lindenberger P, Sarlin P E, Pollefeys M. Lightglue: local feature matching at light speed[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. Paris: IEEE, 2023: 17627-17638.

[12]	Yang S, Ma L. Diffusion model-based pedestrian de-occlusion method using a monocular camera sensor for indoor visual localization[J]. IEEE Sensors Journal, 2023, 23(22): 28421-28429.

[13]	谢挺, 张晓杰, 叶智超, 等. 面向室内场景的主被动融合视觉定位系统[J]. 中国图象图形学报, 2023, 28(2): 522-534.

[14]	Xie Ting, Zhang Xiaojie, Ye Zhichao, et al. Visual localization system of integrated active and passive perception for indoor scenes[J]. Journal of Image and Graphics, 2023, 28(2): 522-534.

[15]	Taira H, Okutomi M, Sattler T, et al. InLoc: indoor visual localization with dense matching and view synthesis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2021, 43(4): 1293-1307.

[16]	Ding Y, Liu M, Zhang M, et al. Removing visual occlusion of construction scaffolds via a two-step method combining semantic segmentation and image inpainting[J]. Engineering Applications of Artificial Intelligence, 2025, 142: 109983.

[17]	Hu Y, Ye S, Zhao W, et al. O²-Recon: completing 3D reconstruction of occluded objects in the scene with a pre-trained 2D diffusion model[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2024, 38(3): 2285-2293.

[18]	彭红, 周彬, 孙艳, 等. 向量值偏微分方程约束控制的图像修复模型[J]. 科学技术与工程, 2025, 25(5): 2019-2026.

[19]	Peng Hong, Zhou Bin, Sun Yan, et al. Vector-valued PDE-constrained image inpainting model[J]. Science Technology and Engineering, 2025, 25(5): 2019-2026.

[20]	Li W, Lin Z, Zhou K, et al. MAT: mask-aware transformer for large hole image inpainting[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans, LA: IEEE, 2022: 10758-10768.

[21]	Deshmukh R A, Hasamnis M A, Kulkarni M B, et al. Advancing indoor positioning systems: innovations, challenges, and applications in mobile robotics[J]. Robotica, 2025, 43(7): 1-41.

[22]	陈爽, 王润豪, 罗林棋, 等. 多尺度特征信息融合的显著性目标检测算法[J]. 科学技术与工程, 2025, 25(23): 9919-9926.

[23]	Chen Shuang, Wang Runhao, Luo Linqi, et al. Salient object detection algorithm with multi-scale feature information fusion[J]. Science Technology and Engineering, 2025, 25(23): 9919-9926.

[24]	Khanam R, Hussain M. YOLOv11: an overview of the key architectural enhancements[J]. arXiv Preprint, arXiv: 2410. 17725, 2024.

[25]	Tian Y, Ye Q, Doermann D. YOLOv12: attention-centric real-time object detectors[J]. arXiv preprint, arXiv: 2502. 12524, 2025.

[26]	Lin T Y, Maire M, Belongie S, et al. Microsoft coco: Common objects in context[C]// European Conference on Computer Vision. Cham: Springer International Publishing, 2014: 740-755.

[27]	Shotton J, Glocker B, Zach C, et al. Scene coordinate regression forests for camera relocalization in RGB-D images[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR: IEEE, 2013: 2930-2937.

[28]	Arandjelovic R, Zisserman A. All about VLAD[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Portland, OR: IEEE, 2013: 1578-1585.

[29]	Kendall A, Grimes M, Cipolla R. Convolutional networks for real-time 6-dof camera relocalization[J]. arXiv Preprint, arXiv: 1505. 07427, 2015.

[30]	Kendall A, Cipolla R. Geometric loss functions for camera pose regression with deep learning[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Honolulu, HI: IEEE, 2017: 5974-5983.

[31]	Kendall A, Cipolla R.Modelling uncertainty in deep learning for camera relocalization[C]//2016 IEEE international conference on Robotics and Automation (ICRA). Stockholm: IEEE, 2016: 4762-4769.

[32]	Walch F, Hazirbas C, Leal-Taixe L, et al. Image-based localization using LSTMs for structured feature correlation[C]// Proceedings of the IEEE International Conference on Computer Vision. Venice: IEEE, 2017: 627-637.

[33]	Brahmbhatt S, Gu J, Kim K, et al. Geometry-aware learning of maps for camera localization[C]// Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT: IEEE, 2018: 2616-2625.

[34]	Xue F, Wu X, Cai S, et al. Learning multi-view camera relocalization with graph neural networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA: IEEE, 2020: 11372-11381.

[35]	Wang B, Chen C, Lu C X, et al. AtLoc: attention guided camera localization[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(6): 10393-10401.

[36]	Tian M, Nie Q, Shen H.3D scene geometry-aware constraint for camera localization with deep learning[C]//2020 IEEE international conference on robotics and automation (ICRA). Paris: IEEE, 2020: 4211-4217.

[37]	Chen S, Li X, Wang Z, et al. DFNet: enhance absolute pose regression with direct feature matching[C]// European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 1-17.

[38]	Tang S, Li Y, Wan J, et al. TransCNNLoc: end-to-end pixel-level learning for 2D-to-3D pose estimation in dynamic indoor scenes[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2024, 207: 218-230.

[39]	Balntas V, Li S, Prisacariu V. RelocNet: Continuous metric learning relocalisation using neural nets[C]// Proceedings of the European Conference on Computer Vision (ECCV). Cham: Springer Nature Switzerland, 2018: 751-767.

[40]	Saha S, Varma G, Jawahar C V. Improved visual relocalization by discovering anchor points[J]. arXiv Preprint, arXiv: 1811. 04370, 2018.

[41]	Dai K, Jiang Z, Qiu F, et al. HVLF: a holistic visual localization framework across diverse scenes[J]. IEEE Transactions on Neural Networks and Learning Systems, 2025, 36(10): 18859-18873.

基金资助

国家自然科学基金(62001272)

国家自然科学基金(62472264)

山东省自然科学基金(ZR2023MF015)

PDF (12205KB)

访问

被引

详细

导航

Received	Published	Revised
2025-09-15	2026-06-18	2025-11-27
Online Date
2026-08-04

摘要