基于暗光图像增强的SFM室内视觉定位算法

何宇轩; 岳明慧; 任源鑫; 张立晔; 程心如

doi:10.12404/j.issn.1671-1815.2501456

科学技术与工程 ›› 2026, Vol. 26 ›› Issue (6) :2474-2483 DOI: 10.12404/j.issn.1671-1815.2501456

自动化技术、计算机技术

基于暗光图像增强的SFM室内视觉定位算法

作者信息 +

SFM Indoor Visual Localization Algorithm Based on Dark Light Image Enhancement

Author information +

文章历史 +

摘要

为解决室内暗光场景下视觉定位存在的定位耗费时间多、拍摄图像质量差,使图像特征匹配效果差,导致定位结果不准确等问题,提出了一种基于暗光图像增强的SFM室内视觉定位算法。在离线阶段,首先通过视频进行图像数据采集;其次利用即从运动恢复结构(structure from motion,SFM)中的分解本质矩阵就可以得到两张图像的相对位置,重构初始点云;再通过PnP算法求解出所有图像关于初始零点的相对位置,获得离线图像的位置信息和比例尺;最终得到由图像、位置信息以及比例尺信息构成的离线数据库。在线测试阶段,首先采集测试图像;其次使用了一种基于KANs的改进去噪网络扩散模型暗光图像增强算法(KANDiff)对拍摄的暗光图像进行恢复,并对恢复后的图像进行PnP定位,再利用比例尺得到用户实时定位信息。实验结果表明,该系统获得了准确的定位结果,平均定位误差为0.17 m。该算法提高了暗光条件下的定位精度。

Abstract

To address the challenges of prolonged localization time, poor image quality, and low feature matching accuracy in low-light indoor visual localization, an indoor visual localization algorithm based on SFM (structure-from-motion) and low-light image enhancement was proposed. In the offline phase, image data were collected via video recording. The essential matrix was decomposed in the SFM framework to obtain the relative poses between image pairs, enabling the reconstruction of an initial point cloud. The PnP (perspective-n-point) algorithm was then applied to estimate the relative poses of all images with respect to an initial reference point, yielding their position and scale information. An offline database consisting of images, positions, and scale information was constructed. During the online phase, test images were captured and enhanced using a denoising diffusion model based on kernel KANs (adaptive networks), referred to as KANDiff. The enhanced images were then used for localization via the PnP algorithm, and the real-time user position was estimated using the computed scale. Experimental results demonstrated that the proposed method achieved an average localization error of 0.17 meters. It is concluded that localization accuracy under low-light conditions can be significantly improved using the proposed approach.

Graphical abstract

关键词

室内视觉定位 / SFM三维重建 / 暗光增强 / 图像匹配

Key words

indoor visual localization / SFM 3D reconstruction / dark light enhancement / image matching

引用本文

引用格式 ▾

何宇轩, 岳明慧, 任源鑫, 张立晔, 程心如. 基于暗光图像增强的SFM室内视觉定位算法[J]. 科学技术与工程, 2026, 26(6): 2474-2483 DOI:10.12404/j.issn.1671-1815.2501456

HE Yu-xuan, YUE Ming-hui, REN Yuan-xin, ZHANG Li-ye, CHENG Xin-ru. SFM Indoor Visual Localization Algorithm Based on Dark Light Image Enhancement[J]. Science Technology and Engineering, 2026, 26(6): 2474-2483 DOI:10.12404/j.issn.1671-1815.2501456

登录浏览全文

4963

注册一个新账户忘记密码

如今,室内定位技术^[1]正处于快速发展阶段。室内定位在不同的场景中有各自的优势和适用性,因此室内定位系统通常使用几种技术的组合来提高定位的稳定。目前常见的室内定位方法主要有基站定位、Wi-Fi定位、蓝牙定位、超宽带定位与视觉定位^[2]等。而视觉定位通常使用图像处理和计算机视觉技术从相机实时捕获的图像中提取和识别关键的特征场景点,并将这些特征点与图像数据库中的特征点进行匹配,以确定图像拍摄者的位置和方向。采用图像的视觉定位技术只需要照相设备就可以完成数据的采集与匹配^[3]。首先需要预先采集室内不同位置的图像,并构建包含这些图像特征描述子的数据库;在定位阶段,从输入图像中提取特征,并与数据库中的图像特征进行匹配,通过检索最相似的数据库图像,能够估计当前的相机位姿。而利用三维重建中的位姿恢复方法进行定位,则能够获得更高的定位精度。三维重建^[4]能够恢复相机位姿状态并进行特征点云重建。通过分析连续的二维图像序列,SFM技术能够精准重建室内环境的三维模型。该重建算法基于从相机视角捕获的图像,通过利用特征点之间的对应关系,推算相机的运动轨迹以及三维特征点的空间位置。

然而,室内环境常面临光照不足等问题,此类问题还会影响图像质量和特征提取精度,从而导致定位精度下降,这可能会降低定位性能;此外,传统定位算法^[1]通常需要逐一对每个标定点进行图像采集,这一过程不仅操作繁琐,而且耗时较长,严重制约了定位系统在实际应用中的可行性和效率;同时运用2D定位算法精确度不足。

因此,现提出基于暗光图像增强的SFM室内视频定位算法,使用视频快速得到图像数据库,利用暗光增强算法进行图像质量恢复,以提高图像质量,同时提高特征提取和匹配的准确性,最终利用三维重建的方式对增强后的测试图像定位。以期提高定位精度与便捷程度,提高室内视觉定位的可靠性。

1 基本理论

1.1 室内视觉定位

由于对精准位置服务的需求日益增长,室内定位技术得到了快速发展,研究者围绕定位精度、鲁棒性和部署成本等方面提出了多种改进方案。文献[5]面向到达时间差(time difference of arrival,TDOA)场景,将智能优化算法嵌入到室内TDOA定位模型中,通过优化超参数与测距误差分布,提升了基于时间差测距的定位精度与稳定性。为改善传统WIFI指纹定位在高维特征建模与实时推理中的精度与复杂度矛盾,文献[6]构建了基于二维卷积神经网络的WIFI室内定位模型,通过卷积特征自动提取和端到端回归,提高了指纹匹配的鲁棒性。

随着图像传感器和计算机视觉技术的发展,视觉信息逐渐被引入室内定位体系。Chen等^[7]将卷积神经网络图像检索与基于学习的视觉里程计、全局重定位和地图构建相结合,提出了一种图像检索辅助的室内视觉定位框架,实现了在统一地图上的连续位姿估计。Jia等^[8]针对运动模糊导致的特征退化问题,提出基于深度多块网络的图像去模糊算法DMPID,从图像复原层面减轻模糊对后续定位精度的影响。文献[9]进一步面向模糊图像构建了室内视觉定位系统,系统性分析了模糊图像对定位流程的影响并给出相应补偿策略。Hyeon等^[10]在三维地图构建环节,通过删除图像中不可见的3D点并在无需显式关键点检测的条件下直接建立2D-3D对应关系,制作了高精度室内三维地图,降低了匹配歧义。针对室内场景中相似视角图像普遍存在、导致局部特征区分度不足的问题,文献[11]提出了ALNet,并在SCoRe框架下引入局部差异感知模块与自适应通道注意力机制,有效提升了场景坐标回归的判别性与鲁棒性。总体来看,现有工作从信号优化、深度学习特征建模、三维地图构建与模糊补偿等方面提高了室内视觉定位性能,但在低照度条件下图像整体质量退化、特征无法稳定匹配的问题上仍关注不足,为本次研究结合暗光增强与室内视觉定位的研究留出了空间。

1.2 暗光增强

暗光增强技术在视觉定位中起着重要作用。它通过提升图像的亮度和对比度,减少噪声和模糊,从而改善传感器在光线不足环境下获取的图像质量。

EnlightenGAN^[12]构建了无监督生成对抗网络框架,不依赖成对的低/正常光照图像,而是利用非配对数据实现端到端增强,在提升暗光图像可见度的同时兼顾了模型的泛化能力。RetinexNet^[13]在经典Retinex理论基础上,设计了由Decom-Net与Enhance-Net组成的两阶段网络,前者完成照明图与反射图分解,后者自适应调节照明,从而实现低光图像的结构化增强。文献[14]提出低秩正则化Retinex模型LR3M,将低秩先验引入Retinex分解过程,在增强光照的同时有针对性地抑制反射图中的密集噪声,显著改善了暗光图像与视频的视觉质量。文献[15]提出新的Retinex类低光增强方法,通过高效的半解耦图像分解策略,在降低计算复杂度的同时提升了结构细节保真度。针对低光增强过程中易出现的色彩失真与噪声放大问题,文献[16]构建多分支卷积神经网络,引入注意力引导的自适应特征融合机制,有效抑制亮度提升阶段的伪影放大。文献[17]提出自校准光照(Self-Calibrated Illumination,SCI)学习框架,通过可学习的光照建模实现对现实弱光场景的快速、灵活增亮,兼顾增强效果与推理效率。王登飞等^[18]在Retinexformer基础上引入线性聚焦注意力,并结合多约束损失与网络结构调整,提出FastRetinexFLAformer,在保证增强质量的前提下大幅提高了速度。上述方法分别从Retinex分解、对抗学习、注意力建模与加速推理等角度提高了暗光增强效果,但在噪声估计精细度、细节还原和对不同尺寸图像的一致建模方面仍存在局限。在此基础上,现引入基于扩散模型与KAN网络的KANDiff暗光增强算法,以更精确的噪声建模与对比度约束为室内视觉定位提供更稳定的暗光图像输入。

1.3 三维重建

三维重建旨在从二维观测中恢复场景的三维结构和相机运动,是视觉定位和环境建模中的核心技术之一。基于从运动恢复结构(structure from motion,SFM)的三维重建方法^[4]能够利用连续图像序列恢复精确的三维场景地图,并同时估计相机的轨迹与姿态,为后续的位姿回归与场景理解提供几何先验。

文献[19]提出NeuralRecon框架,将单目视频片段映射为局部稀疏TSDF体,通过增量式融合实现近实时的三维场景重建,相比逐帧深度估计再融合的方案在效率与精度上均有提升。文献[20]面向互联网照片集合重建,引入混合体素与表面引导采样策略,在光照变化较大的条件下仍能高效、精确地恢复目标表面几何,并提升了射线采样在关键区域的利用率。SparseFusion^[21]结合神经渲染与概率图像生成,对稀疏视角三维重建任务进行了建模,在稀疏视图新颖视角合成中取得较现有方法更优的失真和感知指标。RenderDiffusion^[22]则将扩散模型引入三维生成与推理,仅依赖单目二维监督即可完成三维重建,展示了生成式模型在提升重建质量和多视图一致性方面的潜力。针对多视图重建中高分辨率场景适应性差、重构完整性不足以及全局上下文利用不充分的问题,文献[23]提出融合可变形卷积与改进自注意力机制的三维重建网络,从局部细节建模与全局特征聚合两方面提升了重建效果。综上,现有三维重建研究在网络结构、采样策略和生成式建模等层面不断推进重建精度与效率,但鲜见在资源受限设备上面向特定室内走廊等场景进行轻量化SFM重建、并与暗光图像增强和PnP定位紧密耦合的研究。

2 基于暗光图像增强的三维重建视觉定位与可视化图像生成

2.1 系统概述

提出了基于暗光图像增强的SFM室内视觉定位算法,分为离线阶段以及在线阶段。在现阶段加入了一种基于KANs(Kolmogorov-Arnold networks)网络的改进去噪网络扩散模型暗光图像增强算法(KANDiff)对拍摄的暗光图像进行恢复。提出的基于暗光图像增强的SFM室内视觉定位系统框架如图1所示。

离线建库阶段:首先,在定位场景中使用手机进行视频录制,在视频中标记拐角或建筑物作为标记点;将录制好的视频等间隔提取图像数据,并将提取出的所有图像保存为图像集;将采集的所有图像进行三维重建定位,得到的三维重建标记点间距离与实地测量标记点距离做比值,算得比例尺,完成离线数据库构建。离线建库得到的位置、距离与比例尺信息将用于在线测试阶段。

在线定位阶段:首先,在暗光场景随机位置进行定点拍摄并标记;其次,对在线测试图像使用KANDiff暗光增强算法,恢复图像质量;最后利用离线过程得到的信息对经过暗光增强的测试图像进行定位。

2.2 暗光图像增强

在暗光环境下捕获的图像,其质量往往因信噪比降低、细节损失及色彩失真等因素而显著下降。为解决暗光场景下图像的质量退化问题,使用了一种基于KANs的改进去噪网络扩散模型暗光图像增强算法(KANDiff)。此方法在Özdenizci等^[24]的基础上,将两个网络进行有效结合,如图2所示。整体结构遵循扩散模型前向加噪后向去噪的形式,现有的扩散模型大多针对固定尺寸的图像进行图像恢复。然而,本文模型通过在前向加噪阶段将图像划分为N个样本补丁,进行扩散,并在采样阶段将这些补丁合并,从而实现对多种尺寸图像的恢复。此方法在网络中引入跳跃连接,以确保所提取的特征包含更丰富的语义信息。此外,由于传统噪声估计网络无法满足图像恢复中对噪声预测的需求,将 KANs 引入噪声估计网络,以发挥 KAN 的生成能力,提升网络的高效性。

在扩散模型的反向去噪过程中,噪声估计网络负责估计噪声并执行去噪,以实现图像的复原。图像的质量在很大程度上依赖于噪声估计网络的精度。相比于传统的U-Net结构,Unet-Kan网络在各模块间建立了更紧密的联系。暗光图像首先通过下采样得到不同层次的特征表示;随后,在中间层引入时间嵌入并通过KAN模块进行特征提取;最终,通过上采样生成高质量且精确的噪声预测结果。其中,KAN模块的结构如图3所示。在逆向扩散步骤中,采用噪声预测函数对每个补丁上的噪声进行估计,其中

${\epsilon }_{\theta }({x}_{t}^{N},{\tilde{x}}_{t}^{N},t)$

表示在时间步t时,以第N个补丁的加噪表示

${x}_{t}^{N}$

及其邻域补丁集合

${\tilde{x}}_{t}^{N}$

为输入,由参数为θ的噪声估计网络输出的噪声预测值。该函数是扩散模型中执行去噪更新的核心。

当特征图X^L进入KAN块中,首先将其重塑成展平的2D特征块

$\{{X}_{i}^{L}\in {\mathrm{R}}^{{\mathrm{P}}^{2}{\mathrm{C}}_{\mathrm{L}}}|i=\mathrm{1,2},\dots,N\}$

以此进行标记化,其中每个块大小为p×p,特征块的个数为N=H_LW_L/P²,其中H_L和W_L分别表示L层特征图的高度与宽度,P为每个补丁的边长。然后将特征块通过线性投影矩阵E映射到潜在空间式中,投影矩阵E由一个核大小为3的卷积层实现,公式为

(1)

${Z}_{0}=[{X}_{L}^{1}E,{X}_{L}^{2}E,\dots,{X}_{L}^{N}E]$

式(1)中:

${X}_{L}^{0}~{X}_{L}^{N-1}$

分别为第L层上N个补丁的特征;Z₀为补丁级特征在潜在空间中的初始表示。

然后,将这些特征块通过线性投影矩阵映射到潜在空,其中线性投影矩阵由一个核大小为3的卷积层实现,对应地完成从补丁空间到嵌入空间的映射。

在标记化完成后,将生成的token传递到KAN层。KAN层的原理类似于多层感知机(multilayer perceptron,MLP),即通过多层非线性变换来模拟复杂的函数映射。然而,这种结构的模糊性会降低模型的可解释性。为了解决该问题,采用基于Kolmogorov-Arnold定理的KAN(Kolmogorov-Arnold network)模型,通过层级嵌套结构来提升参数效率并改善模型的可解释性。与MLP类似,k层KAN可以表征为多个KAN层的嵌套,即

(2)

$\mathrm{K}\mathrm{A}\mathrm{N}\left(Z\right)=({\Phi }_{k-1}{\Phi }_{k-2}\dots {\Phi }_{1}{\Phi }_{0})Z$

式(2)中:Φ_i为整个KAN网络的第i层,每层使用的B-spline基函数族,每个

${\Phi }_{i}$

对应一组一维样条基,其线性组合用于刻画输入与输出之间的非线性映射;Z为输入当前KAN网络的特征。

每个KAN层,具有n_in维输入和n_out维输出,Φ包含n_in×n_out个可学习的激活函数。KAN网络从第k层到第k+1层的计算结果可以用矩阵形式表示,即

(3)

$\begin{array}{l}{Z}_{\mathrm{k}+1}=\\ \left(\begin{array}{llll}{\varphi }_{k,\mathrm{1,1}}(·)& {\varphi }_{k,\mathrm{1,2}}(·)& \dots & {\varphi }_{k,1,{n}_{k}}(·)\\ {\varphi }_{k,\mathrm{2,1}}(·)& {\varphi }_{k,\mathrm{2,2}}(·)& \dots & {\varphi }_{k,2,{n}_{k}}(·)\\ ︙& ︙& \mathrm{ }& ︙\\ {\varphi }_{k,{n}_{k+1},1}(·)& {\varphi }_{k,{n}_{k+1},2}(·)& \dots & {\varphi }_{k,{n}_{k+1},{n}_{k}}(·)\end{array}\right){{Z}^{\mathrm{S}}}_{k}\end{array}$

式(3)中:Z^S_k为第k个KAN块的中间特征,用于刻画该层在特征空间中的编码结果。

在每个KAN层后应用层归一化并将输出特征传递给下一个块,例如第k个KAN块的输出可写为

(4)

${Z}_{k}=\mathrm{L}\mathrm{N}\left[\mathrm{K}\mathrm{A}\mathrm{N}\right({Z}_{k-1}\left)\right]+F\left[\mathrm{T}\mathrm{E}\right(t\left)\right]$

式(4)中:Z_k为第k个KAN块最终输出的特征图;LN为层归一化(Layer Normalization)算子,用于在通道维度上对特征进行归一化,稳定训练并加速收敛;F为线性投影函数,将时间嵌入映射到与特征图相同的维度;TE(t)为在扩散时间步t得到的时间嵌入向量,用于在噪声预测网络中显式编码时间信息。

此外,噪声预测网络其目的为预测噪声ε_t,并通过MSE损失进行优化,公式为

(5)

${L}_{\mathrm{D}\mathrm{i}\mathrm{f}\mathrm{f}}=\Vert {I}_{0}-{U}_{\mathrm{n}\mathrm{e}\mathrm{t}-\mathrm{K}\mathrm{a}\mathrm{n}}({I}_{t},t){\Vert }_{2}^{2}$

式(5)中:L_Diff为扩散模型中的噪声预测损失;I₀为对应的无噪参考图像;U_net-Kan(I_t,t)为在时间步t以带噪图像I_t为输入、由引入KAN模块的 U-Net 噪声估计网络输出的重建结果。通过最小化L_Diff,可以使预测噪声更接近真实噪声,从而提升暗光图像增强的效果。

2.3 三维重建及其位置求解

利用SFM算法进行位置估计。在三维重建中,利用本质矩阵定位和 PnP 定位来恢复数据集中图像的位置。首先,为加快多角度变换下检索的成功率,使用了EigenPlaces^[25]模型来进行检索,在特征空间中检索最相似的数据库图像;检索完成后,使用 SuperGlue 进行特征匹配,SuperGlue 引入了一种基于注意力机制的上下文聚合方法,使其能够推理底层三维世界和特征分配。SFM 通过上述算法找到不同图像之间的共同特征点,然后利用这些特征点计算特征点之间的轨迹和连接图,用于后续的视图构建。在实验中,仅保留至少同时出现在3幅图像中的特征点连线,并将其称为轨迹(绿线)。当两幅图像之间的匹配特征点数量超过设定阈值时,便在它们之间建立一条边e,以图像为节点、以这些连线为边构建连接图G。图4中,n₁~n₆为参与三维重建的6个图像节点,每个节点对应一幅输入图像,节点之间的连线表示两幅图像间存在足够数量的匹配特征点,如图4所示。

在连接图G中,选择一条满足以下条件的边:两幅图像的视角适中(射线中位角介于3°~60°),且拥有最多的匹配特征点。通过计算基本矩阵E并分解,进行三角化得到三维点云。随后删除该边,以避免重复使用。接着,选择与已重建三维点交集最大的边,利用PnP方法计算图像外部参数并进行三角化。删除该边后,执行束调整以优化三维点。重复此过程,逐步引入新视图并优化,最终得到所有图像的位置信息。

2.3.1 基于本质矩阵的位姿估计

首先,在三维重建的相机位姿估计中,假设有两个相机拍摄了同一个场景的两张图像。假设X表示三维空间中的某一点,x'和x表示这点在两张图像上的投影,那么可以得到

(6)

$x=K\left[I\right|0]X$

(7)

$x\text{'}=K\text{'}\left[R\right|t]X$

式中:K'和K为两个相机的内参矩阵;R和t为相机的相对旋转和平移;

$\left[I\right|0]$

为第一个相机的外参矩阵,其中I为3×3的单位矩阵,0为3×1的零向量,表示将第一个相机坐标系选作世界坐标系,其旋转为单位矩阵、平移为零。

在归一化坐标下,可以通过基础矩阵F和本质矩阵E建立对应点关系,即

(8)

$\begin{array}{l}{\left(x\text{'}\right)}^{\mathrm{T}}Fx=0\\ {x}^{\mathrm{T}}Ex=0\end{array}$

E与F的关系为

(9)

$E={\left(K\text{'}\right)}^{\mathrm{T}}FK$

在给定两幅图像的匹配点集后,八点算法可以用来估计基础矩阵F。假设有n≥8 对对应点(最少 8 对),可以构建以下线性方程组,即

(10)

$\begin{array}{l}x\text{'}{\mathrm{ }}_{i}{f}_{11}{x}_{i}+x\text{'}{\mathrm{ }}_{i}{f}_{12}{y}_{i}+x\text{'}{\mathrm{ }}_{i}{f}_{13}+y\text{'}{\mathrm{ }}_{i}{f}_{21}{x}_{i}+y\text{'}{\mathrm{ }}_{i}{f}_{22}{y}_{i}+\\ 　　y\text{'}{\mathrm{ }}_{i}{f}_{23}+{f}_{31}{x}_{i}+{f}_{32}{y}_{i}+{f}_{33}=0\end{array}$

式(10)中:(x_i,y_i)为第i对匹配点在第一幅图像上的归一化坐标;(x' _i,y' _i)为与之对应的匹配点在第二幅图像上的归一化坐标,所有匹配点对共计N组,i=1,2,…,N;

$F=[{f}_{11},{f}_{12},\dots,{f}_{33}]$

为未知参数。

通过最小二乘求解该方程组,然后对得到的矩阵进行SVD 分解并设定最后一个奇异值为零,可以得到满足秩为 2 的基础矩阵。

在已知相机的内参矩阵K'和K的前提下,由式(9)可以计算本质矩阵。本质矩阵的秩为 2,并且可以分解为

(11)

$E=U\Sigma {V}^{\mathrm{T}}$

式(11)中:U和V为正交矩阵;

$\Sigma $

为对角矩阵。

在分解后,可以使用以下公式从本质矩阵中提取两个可能的旋转矩阵R和R',以及两个可能的平移向量t和-t。

(12)

$\begin{array}{l}R=UW{V}^{\mathrm{T}}\\ R\text{'}=U{W}^{\mathrm{T}}{V}^{\mathrm{T}}\\ t={u}_{3}\end{array}$

式(12)中:u₃为矩阵U的第3列(对应平移向量的方向);W为一个固定的反对称矩阵。

(13)

$W=\left(\begin{array}{lll}0& -1& 0\\ 1& 0& 0\\ 0& 0& 1\end{array}\right)$

通过分解本质矩阵,得到了4种可能的相机位姿组合:

$(R,t),(R,-t),(R\text{'},t),(R\text{'},-t)$

。对于每个组合,选择一对对应点(x,x'),使用三角化方法计算对应的三维点X。检查三维点X是否位于两个相机的前方(即在两个相机坐标系中z坐标为正)。满足这一条件的组合即为正确的相机位姿。

2.3.2 基于PnP的位姿估计

通过上文所述图像检索找到与之前已经重建定位好的图像的3D特征点的轨迹最多的图片。利用PnP(perspective-n-point)递进地进行位姿估计。PnP问题的目标是给定一组已知的三维点X_i及其对应的二维投影点x_i,通过求解相机的外参(旋转矩阵R和平移向量t)实现相机位姿的精准估计。

首先,基于相机的投影模型,可将三维点投影到图像平面上,其关系为

(14)

${x}_{i}=K\left[R\right|t]{X}_{i}$

式(14)中:X_i=[X_i,Y_i,Z_i,1]^T为空间中的三维点;x_i=[u_i,v_i,1]^T为空间中的三维点;K为相机的内参矩阵,定义了焦距、主点坐标等参数,旋转矩阵R和平移向量t是相机的外参,描述了从三维世界到图像平面的变换。

为了优化旋转矩阵R和平移向量t,通常采用最小化投影误差的方式,即优化以下目标函数。

(15)

$\mathrm{m}\mathrm{i}\mathrm{n}imize\stackrel{N}{\sum _{i=1}}\Vert {x}_{i}-{\hat{x}}_{i}{\Vert }^{2}$

式(15)中:minimize表示在所有可能的R、t中寻找使目标函数取最小值的一组参数;N为参与PnP求解的三维点或像素对数量。

将3D点X_i和对应的2D投影点x_i代入投影方程[式(15)],形成一组非线性方程,目标是最小化2D投影点与实际观测点之间的误差。再利用式(16)得到估计的投影点。

(16)

${\hat{x}}_{i}=K\left[R\right|t]{X}_{i}$

最终会收敛到一个局部最优解,给出最优R和t。平移向量就是每个图像对于原点的位置信息。

3 实验结果与分析

对基于暗光图像增强的SFM三维重建室内视觉定位算法进行了系统的实验验证与评估分析。实验数据集采集自多个室内场景,通过对定位算法的性能进行评估,结果表明,该方法在暗光环境下显著提升了定位精度与鲁棒性,同时优化了计算效率,实现了快速、便捷的定位效果。实验验证了本文算法在实际应用中的有效性与实用性。

3.1 实验环境

实验环境和设备如表1所示。

实验过程中首先进行离线过程对暗光场景的视频拍摄,在数据采集过程中,于拐角和标志性建筑物处进行标记,并记录其真实位置及各标记之间的距离,以用于后续比例尺的计算和场景的几何校准;其次,以每10帧为间隔提取图像数据,得到图像数据库;第三,利用检索匹配找到相似的两张图像,求解本质矩阵并得到图像的位置与初始零点位置;之后进行三角化得到3D点云;最后,通过PnP算法构建出所有图像的相对位置和比例尺的离线数据库。实验数据如表2所示。在线阶段,首先现场拍摄多张测试图像,进行标记;其次,对暗光图像使用KANDiff进行增强,并对图像特征检索匹配;通过PnP方法获取测试图像的位姿信息,计算重建效果图中测试图像与标记点之间的距离,并利用比例尺进行真实位置的估算,最终得到与真实值之间的误差评估。通过两个数据集进行示例评估。

3.2 对比消融实验

对不同方法构建离线数据库的效率和使用暗光增强算法前后的定位精度进行了对比。提出了一种基于视频录制的离线数据库构建方法,通过缓慢移动和旋转设备全面覆盖场景内容,并从视频中抽帧生成图像集。相比传统静态图像采集,该方法无需预先规划采集位置或严格控制角度和距离,避免了定点拍摄时的反复调整和位置记录。从表3可知,视频录制方法的时间消耗显著低于传统方法,极大地简化了数据采集流程,节省了时间和人力成本。同时图5展示了暗光增强前后图像匹配性能。因此如果在定位系统中直接使用暗光图像,对于后续的特征检索、匹配甚至视觉定位都会有很大的影响。

对所提出的定位算法的精度进行了验证。Online1和Online1_KD是测试图像在使用KANDiff前后测试图像。由表4可知使用KANDiff后,系统的定位精度极大提升。图6列举了不同测试点的测试结果。其中,图6(c)和图6(d)图中黄点和绿点分别表示估计位置和真实位置,例如图6(d)图中的黄点的位置(测试集)比图6(c)图中更贴近真实值。

3.3 定位效果评估

对算法中的定位模块进行效果评估。得到的三维重建图和相机位姿估计如图7所示,红色三角代表拍摄图像的角度与位置,黄色代表相机相对位置信息,绿三角代表在线测试数据的角度与位置,白色点表示通过三维重建生成的特征点云。离线采集数据集定位轨迹如图8所示,其中绿点表示真实位置,红点和黄点分别代表离线采集图像位置和测试图像的估计位置。由此看出稍微改变与离线图像角度进行图像在线采集依然可以得到精准的位置。

表5与图9中给出了本文算法与对比算法中的平均定位误差的对比。在暗光场景下,本文方法在定位精度方面优于其他4种方法。

4 结论

提出了基于暗光图像增强的三维重建室内视觉定位算法,得到如下结论。

(1)在离线阶段,提出一种基于视频采集的数据库构建方式:将手机固定于胸前,在目标场景中自然行走录制视频,并按固定时间间隔截取图像帧构建图像数据库,替代传统逐点静态拍摄。该策略极大简化了数据采集流程,显著节省人力与时间成本,提升了系统部署的实用性与可扩展性。

(2)针对室内环境常见的低照度问题,在在线阶段引入基于KANs的改进去噪网络扩散模型暗光图像增强算法KANDiff,对测试暗光图像进行质量恢复。该模块有效提升了图像的亮度、对比度和细节表达能力,增强了特征提取与匹配的鲁棒性,从而显著提高暗光条件下的图像匹配准确率和整体定位精度。

(3)基于三维重建理念,利用按帧截取的视频图像进行SFM三维重建,获取相机在移动过程中的多视角位姿,并于在线阶段结合PnP方法实现2D-3D定位。该方案允许用户在不同视角下采集测试图像而无需与离线图像严格对齐,在仅依赖随身手机设备的前提下,实现了高精度、快速且低成本的室内视觉定位,验证了方法的可行性与实用性。

(4)基于SFM重建结果构建稀疏点云地图和空间位姿模型,将在线定位得到的图像位姿投影到三维模型中,实现用户当前所在位置的可视化展示。该空间可视化与轨迹展示增强了定位结果的直观性和可解释性,也提升了系统的人机交互性与实际导航能力。

今后将重点研究如何提高KANDiff算法的准确性和可移植性;通过融合多模态去噪算法优化输入图像质量,以增强所提定位方法的泛化能力与场景适应性。

参考文献

原文顺序 | 出版日期 | 本文引用

[1]	Zhu Z, Yang Y, Chen M, et al. A survey on indoor visible light positioning systems: fundamentals, applications, and challenges[J]. IEEE Communications Surveys & Tutorials, 2025, 27(3): 1656-1686.

[2]	王骞仟, 熊源, 姜涵, 等. 支持场景表观差异的无人机图像视觉定位方法[J]. 空间控制技术与应用, 2024, 50(1): 56-67.

[3]	Wang Qianqian, Xiong Yuan, Jiang Han, et al. Visual localization of UAV images with scene appearance change[J]. Aerospace Control and Application, 2024, 50(1): 56-67.

[4]	Zhang T, Guo S, Ma L, et al. Hierarchical image retrieval method based on bag-of-visual-word and eight-point algorithm with feature clouds for visual indoor positioning[C]// 27th Asia Pacific Confe-rence on Communications (APCC). New York: IEEE, 2022: 455-459.

[5]	Kang Z, Yang J, Yang Z, et al. A review of techniques for 3D reconstruction of indoor environments[J]. ISPRS International Journal of Geo-Information, 2020, 9(5): 1-31.

[6]	李帅辰, 武建锋. 基于智能优化算法及其优化BP神经网络的室内定位[J]. 科学技术与工程, 2024, 24(20): 8568-8576.

[7]	Li Shuaichen, Wu Jianfeng. Research on indoor positioning based on intelligent optimization algorithm and optimized BP neural network[J]. Science Technology and Engineering, 2024, 24(20): 8568-8576.

[8]	张天颖, 史明泉, 崔丽珍, 等. 基于二维卷积神经网络的无线局域网室内定位系统[J]. 科学技术与工程, 2023, 23(28): 12168-12174.

[9]	Zhang Tianying, Shi Mingquan, Cui Lizhen, et al. 2D convolutional neural network based WIFI indoor localization system[J]. Science Technology and Engineering, 2023, 23(28): 12168-12174.

[10]	Chen C, Wang B, Lu C X, et al. Deep learning for visual localization and mapping: a survey[J]. IEEE Transactions on Neural Networks and Learning Systems, 2024, 35(12): 17000-17020.

[11]	Jia S, Ma L, Yang S, et al. A novel visual indoor positioning method with efficient image deblurring[J]. IEEE Transactions on Mobile Computing, 2022, 22(7): 3757-3773.

[12]	和法旭, 吕梦妍, 张坤鹏, 等. 基于模糊图像的室内视觉定位系统[J]. 科学技术与工程, 2024, 24(32): 13911-13924.

[13]	He Faxu, Lü Mengyan, Zhang Kunpeng, et al. Indoor visual localization system based on blurred images[J]. Science Technology and Engineering, 2024, 24(32): 13911-13924.

[14]	Hyeon J, Jang B, Choi H, et al. Photo-realistic 3D model based accurate visual positioning system for large-scale indoor spaces[J]. Engineering Applications of Artificial Intelligence, 2023, 123. DOI: 10.1016/j.engappai.2023.106256.

[15]	Gao H, Dai K, Wang K, et al. ALNet: an adaptive channel attention network with local discrepancy perception for accurate indoor visual localization[J]. Expert Systems with Applications, 2024, 250.DOI: 10.1016/j.eswa.2024.123792.

[16]	Jiang Y, Gong X, Liu D, et al. Enlightengan: deep light enhancement without paired supervision[J]. IEEE Transactions on Image Processing, 2021, 30: 2340-2349.

[17]	Wei C, Wang W, Yang W, et al. Deep retinex decomposition for low-light enhancement[J]. Tutorial on Gabor Filters, 2002, 40: 1-23.

[18]	Ren X, Yang W, Cheng W H, et al. LR3M: robust low-light enhancement via low-rank regularized retinex model[J]. IEEE Transactions on Image Processing, 2020, 29: 5862-5876.

[19]	Hao S, Han X, Guo Y, et al. Low-light image enhancement with semi-decoupled decomposition[J]. IEEE Transactions on Multimedia, 2020, 22(12): 3025-3038.

[20]	Lü F, Li Y, Lu F. Attention guided low-light image enhancement with a large scale low-light simulation dataset[J]. International Journal of Computer Vision, 2021, 129(7): 2175-2193.

[21]	Ma L, Ma T, Liu R, et al. Toward fast, flexible, and robust low-light imageenhancement[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2022: 5637-5646.

[22]	王登飞, 苏宏升, 陈光武, 等. 基于聚焦线性注意力Retinexformer的TEDS图像实时暗光增强方法研究[J]. 铁道科学与工程学报, 2024, 21(11): 4840-4850.

[23]	Wang Dengfei, Su Hongsheng, Chen Guangwu, et al. Real time low light enhancement method of TEDS images based on focused linear attention Retinexformer[J]. Journal of Railway Science and Engineering, 2024, 21(11): 4840-4850.

[24]	Sun J, Xie Y, Chen L, et al. Neuralrecon: real-time coherent 3D reconstruction from monocular video[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2021: 15598-15607.

[25]	Sun J, Chen X, Wang Q, et al. Neural 3D reconstruction in the wild[C]// ACM SIGGRAPH 2022 Conference Proceedings. New York: ACM, 2022: 1-9.

[26]	Zhou Z, Tulsiani S. Sparsefusion: distilling view-conditioned diffusion for 3d reconstruction[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE, 2023: 12588-12597.

[27]	Anciukevicius T, Xu Z, Fisher M, et al. Renderdiffusion: image diffusion for 3D reconstruction, inpainting and generation[C]// Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. New York: IEEE, 2023: 12608-12618.

[28]	祁贤, 刘大铭, 常佳鑫. 基于改进自注意力机制的多视图三维重建[J]. 计算机与现代化, 2024(11): 106-112.

[29]	Qi Xian, Liu Daming, Chang Jiaxin. Multi-view 3D reconstruction based on improved self-attention mechanism[J]. Computer and Modernization, 2024(11): 106-112.

[30]	Özdenizci O, Legenstein R. Restoring vision in adverse weather conditions with patch-based denoising diffusion models[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2023, 45(8): 10346-10357.

[31]	Berton G, Trivigno G, Caputo B, et al. Eigenplaces: training viewpoint robust models for visual place recognition[C]// Proceedings of the IEEE/CVF International Conference on Computer Vision. New York: IEEE,2023: 11080-11090.

[32]	Xue F, Wu X, Cai S, et al. Learning multi-view camera relocali-zation with graph neural networks[C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE, 2020: 11375-11384.

[33]	Wang B, Chen C, Lu C X, et al. Atloc: attention guided camera localization[C]// Proceedings of the AAAI Conference on Artificial Intelligence. New York: AAAI, 2020, 34(6): 10393-10401.

[34]	Zhou Q, Sattler T, Pollefeys M, et al. To learn or not to learn: visual localization from essential matrices[C]// IEEE International Conference on Robotics and Automation (ICRA). New York: IEEE, 2020: 3319-3326.

[35]	Chen S, Li X H, Wang Z R, et al. Dfnet: enhance absolute pose regression with direct feature matching[C]// Proceedings of European Conference on Computer Vision. Cham: Springer, 2022: 1-17.