Type 1 · Directly applicable 证据 C 收录

Sparse Anchors for Visual Multi-Session Registration in Changing Environments

Yunus Talha Erzurumlu, Niklas Trekel, Saurabh Gupta et al. Jens Behley, Louis Wiesmann, Cyrill Stachniss

全部作者(8)

Yunus Talha Erzurumlu, Niklas Trekel, Saurabh Gupta, Nico Koltermann, Olga Vysotska, Jens Behley, Louis Wiesmann, Cyrill Stachniss

发布 · 收录于 2026-11-05

环境大变时不必让每一帧都跨会话定位成功:挑出少量经过多重检验的绝对锚点,再用本次采集自身的相对位姿把整条轨迹串起来,就能完整、准确地配准到旧地图。

任务
多会话视觉配准:把新一次采集的整条轨迹对齐到旧地图
数据
HILTI26 工地数据集,15 组跨会话实验,跨约 8 个月
传感器
多相机同步采集(人工采集),真值来自 LiDAR-惯性 SLAM
代码
未放出,作者称发表后开源
主要结果
R@1m 94.4%(HLoc 65.3%),R@5m 100%

证据等级 C · 单一基准或无代码 (A 真机 + 多基准 + 消融 / B 仿真充分 / C 单一基准或无代码)

动机

上半部分左边是两处相隔很远却长得很像的地方,右边是同一地点 5 月和 12 月的巨大变化;下半部分每张图斜线两侧分别是旧地图渲染和新图像,边缘对齐说明配准正确。
原文图 · P.1 上半部分左边是两处相隔很远却长得很像的地方,右边是同一地点 5 月和 12 月的巨大变化;下半部分每张图斜线两侧分别是旧地图渲染和新图像,边缘对齐说明配准正确。 图片来源:Erzurumlu et al., Sparse Anchors for Visual Multi-Session Registration in Changing Environments (arXiv:2611.05084) · 查看原文

机器人反复巡检同一地点时,需要把每次采集放进同一个坐标系。工地这类场景很难:墙、设备、临时结构不断增减,能跨时间对上的画面变少;同时重复的窗户、柱子让相隔很远的地方看起来很像,这叫感知混淆(perceptual aliasing)。

现有两条路都会卡住: - 逐帧图像定位(如 HLoc,即“先检索相似图、再匹配特征点、再解 PnP 求位姿”):每帧独立求解,遇到对不上或认错地方的帧就会大错。 - 先各自重建再配准点云:两次的 SfM(从图像恢复三维结构)点云稀疏又不均匀,加上结构变化,重叠部分太少,配准常常失败。

作者的出发点:在变化剧烈的环境里,可靠的跨会话对应只存在于轨迹的一部分,方法应该接受这一点。

方法

  1. 1检索VPR 找相似旧图,用远距离边际滤掉含糊的
  2. 2验证特征匹配+多相机 PnP 求候选位姿
  3. 3共识整条轨迹一起对齐,踢掉错地点的候选
  4. 4精修在高斯特征场上微调锚点位姿
  5. 5串联锚点+相对位姿做位姿图优化

比喻:在一个装修中的大楼里找自己走过的路线。你只相信几块最确定的“路标”(锚点),其余位置靠自己记下的步伐(相对位姿)推出来。关键是:路标宁少勿错。

模块 1:空间远距离边际(spatial far-margin)。常用做法是看第一名和第二名检索得分的差距,但连续采集的相邻帧拍的是同一个地方,得分本来就接近,差距小并不代表真的含糊。作者改为:把第一名周围 10 m 内的参考帧排除,再拿第一名和剩下的最高分比较。差距够大(≥0.01)才接受,表示这个地方与远处的相似地点区分得开。

模块 2:序列一致性(sequence consensus)。单帧 PnP(由 2D-3D 对应点求相机位姿)在几何上成立,也可能是认错了地方。作者利用整条查询轨迹:寻找一个相似变换(旋转、平移加尺度),让尽量多、并且分布在不同空间区域的候选位姿都同意它。不同意的候选被丢掉,同意的成为锚点。至少需要 6 个锚点、分布在 3 个区域,否则整段放弃,不强行配准。

模块 3:特征度量精修与位姿图优化。参考地图用高斯泼溅(Gaussian Splatting,用大量小椭球表示场景,可渲染图像)表示,每个高斯还带一个 DINOv3 特征。对每个锚点,在当前位姿渲染特征图,与查询图像的特征比较,用梯度把 6 自由度位姿微调到两者最一致(32 步 Adam,修正量限制在很小范围)。最后把锚点、会话内相对位姿和共识对齐给出的先验放进一个带鲁棒损失(soft-L1)的位姿图优化(PGO),解出整条轨迹。

上排从左到右是检索、匹配与 PnP 验证、序列一致性三步,产生锚点;下排左边用 DINO 特征微调锚点位姿,右边把绿色锚点和蓝色轨迹节点放进位姿图一起优化。
原文图 · P.3 上排从左到右是检索、匹配与 PnP 验证、序列一致性三步,产生锚点;下排左边用 DINO 特征微调锚点位姿,右边把绿色锚点和蓝色轨迹节点放进位姿图一起优化。 图片来源:Erzurumlu et al., Sparse Anchors for Visual Multi-Session Registration in Changing Environments (arXiv:2611.05084) · 查看原文

实验

15 组跨会话实验的 1 米内召回率 R@1m (%) · 越高越好 ↑
15 组跨会话实验的 1 米内召回率(R@1m (%),越高越好 ↑):本文(本文) 94.4%;HLoc 65.3%;FPFH + ICP 34.59%;ColabSfM 18.03%;Register Any Point 6.69% 本文 · 本文 94.4% HLoc 65.3% FPFH + ICP 34.59% ColabSfM 18.03% Register Any Point 6.69% 050100

本文方法 对比方法 · 数据来源:Table I, P.5

消融:各模块对 0.5 米内召回率的贡献 R@0.5m (%) · 越高越好 ↑
消融:各模块对 0.5 米内召回率的贡献(R@0.5m (%),越高越好 ↑):原始 PnP 候选 25.7%;PnP + PGO 45.2%;PnP + 共识对齐 49.9%;PnP + 共识 + PGO 60.7%;完整方法(+特征精修)(本文) 62.5% 原始 PnP 候选 25.7% PnP + PGO 45.2% PnP + 共识对齐 49.9% PnP + 共识 + PGO 60.7% 完整方法(+特征精修) · 本文 62.5% 04080

本文方法 对比方法 · 数据来源:Table II, P.6

数据与设置:HILTI26 工地数据集,跨约 8 个月施工。以每个区域最早的一次采集作参考地图,其余采集逐一配准,共 15 组实验。会话内相对位姿来自独立的 SfM,尺度未知,需在共识阶段估计。

指标:R@0.5m / R@1m / R@5m 是位置误差小于阈值的帧占全部帧的比例,越高越好;t-RMSE(米)和 r-RMSE(度)是平移和旋转的均方根误差,越低越好。注意表 I 的 RMSE 只在误差小于 5 m 的帧上计算。

对比:HLoc(与本文用同一套 MegaLoc 检索、LoMa-B 匹配和多相机 PnP,只是不用轨迹信息);点云配准 FPFH+ICP(还给了真值尺度)、Register Any Point、ColabSfM。

结果:本文 R@1m 94.4%、R@5m 100%,HLoc 为 65.3% 和 70.7%,点云配准方法更差(表 I)。消融(表 II)显示:原始 PnP 候选里有严重错误(t-RMSE 12.4 m);直接把它们放进 PGO 后 R@0.5m 为 45.2%,先做序列一致性再 PGO 升到 60.7%,说明“先筛锚点”是主要贡献;特征度量精修只把 R@0.5m 从 60.7% 提到 62.5%,作用主要体现在图像级对齐(图 4)。检索可信度判据上,远距离边际的 AUCPR 0.678,高于 top1-top2 边际的 0.488 和 top-1 得分的 0.499(图 3)。

站得住的结论:同前端对比公平,消融清楚,“少量可靠锚点 + 相对位姿”优于逐帧定位。局限:只有一个数据集;依赖离线 SfM 给出相对位姿,SfM 失败的会话被排除;只报告了硬件(RTX A5000),未报告运行时间。

横轴是召回、纵轴是精度,蓝线(远距离边际)在大部分召回范围内都高于另外两种判据,说明它更能挑出可信的检索结果。
原文图 · P.6 横轴是召回、纵轴是精度,蓝线(远距离边际)在大部分召回范围内都高于另外两种判据,说明它更能挑出可信的检索结果。 图片来源:Erzurumlu et al., Sparse Anchors for Visual Multi-Session Registration in Changing Environments (arXiv:2611.05084) · 查看原文
上排是未做特征精修、下排是精修后,红色箭头处斜线两侧的结构边缘在下排对得更齐,已经对齐的样例保持不变。
原文图 · P.7 上排是未做特征精修、下排是精修后,红色箭头处斜线两侧的结构边缘在下排对得更齐,已经对齐的样例保持不变。 图片来源:Erzurumlu et al., Sparse Anchors for Visual Multi-Session Registration in Changing Environments (arXiv:2611.05084) · 查看原文

要点 Take-home

  1. 不必每帧都跨会话定位成功,少量可靠锚点加相对位姿就能配准整条轨迹。
  2. 在 8 个月变化的工地上,1 米内召回 94.4%,逐帧定位的 HLoc 为 65.3%。
  3. 先用整条轨迹的一致性剔除错锚点是关键,特征度量精修只带来小幅提升。
  4. 依赖离线 SfM 的相对位姿,只在一个数据集上验证,未报告运行时间。

Claude 读完全文后的提炼。

更多:先读哪 · 值得看的理由 · 质疑

先读哪

先看第 3 页图 2(整条流程),再看第 5 页表 I 和第 6 页表 II、图 3

值得看的理由

  1. “空间远距离边际”筛检索很简单却有效:AUCPR 0.678,对比 top1-top2 边际 0.488 → P.6 图 3
  2. 8 个月施工变化、15 组跨会话实验上 R@1m 达 94.4%,同前端的 HLoc 只有 65.3% → P.5 表 I

质疑

  • SfM 重建失败的会话(UG2、7 层、2 层与 UG1 的第二次采集)被剔除,而方法本身依赖 SfM 给出的会话内相对位姿;全文未报告运行时间 → P.6 第 IV-A 节

审稿人笔记

只在一个数据集上验证且代码尚未放出,证据等级按 C 计。