Knowing Where to Look: Interactive Object Search via Spatial-Semantic Fusion

比喻：像在家里找钥匙。你心里有一张「可能性地图」：常识告诉你钥匙多半在玄关抽屉（语义），记忆告诉你哪些抽屉还没翻过（几何）。两者叠在一起，你就先去翻「最可能、又还没看过」的地方。

1. 物体记忆（OBM，object-based memory）：每次看到画面，先用 Gemini 给候选框、SAM3 出掩码，再用 CLIP 特征相似度加 3D 框重叠度，把新检测和已有物体对上号。每个物体保存点云、3D 框、特征、图像和文字描述。

2. 信念图（belief map）：三维体素网格，每格存「这里有目标」的对数几率（log-odds，即 log(p/(1−p))，便于把多条证据相加）。 - 几何部分按观测状态取固定值：看过且空 −6.91，被其他物体占据 −4.00，未探索 −2.20，被遮挡未看清 −0.85。 - 语义部分：每看到一个物体，问 VLM「它是不是目标、或里面藏着目标」，得到概率 p，再把 log(p/(1−p)) 累加到该物体的分数上。p 被截断在 [0.001, 0.999]，避免一次回答就定死结论。为减少相邻视角的重复证据，只采用与之前相差至少 0.15 m、偏航 15° 或俯仰 10° 的观测。每个格子取所有覆盖它的物体中的最高分。 - 两部分相加得到最终信念。关键在于柜子内部也能分到正的信念，这样信念图才能推动「开柜」动作。

3. 选动作：把高信念的格子聚成若干簇，每簇生成一个候选动作（换个视角看，或打开包住它的容器）。对每个动作，把它会揭开的、尚未观测的格子的概率加起来，得到「预计揭示信念质量」M_rev，贪心地选最大的那个执行。一旦记忆里有物体被 VLM 确认是目标，就去抓取。

场地：约 87 m³ 的真实办公室，分为厨房零食区和办公用品区（第 6 页）。

设置：两类物体（办公用品、零食）× 四种摆放（明处 visible、杂物中 clutter、容器内 container、掉在地上 floor）× 两种初始视角（易/难），每种方法 16 次，共 48 次真机试验，每次限时 15 分钟。

指标：成功率 SR（越高越好）；平均动作数 NA（越低越好，只统计成功的试次）。

基线：两者都和本文共用感知、导航和技能库。① 几何基线：改造自 GenMOS，乘法更新体素信念，没有语义先验；② LLM 规划器：仿 CuriousBot 维护语义场景图，由 LLM 选要查看的物体，并用 VLFM 方式挑探索前沿。

结果（第 7 页表 I）：本文成功 14/16，几何基线 8/16，LLM 规划器 7/16。本文在明处、杂物、容器三种设置全部成功，掉地上的 4 次成功 2 次。配对 McNemar 检验 p 分别为 0.031 和 0.016。平均动作数 3.6，几何基线 3.9，LLM 规划器 3.1，所以本文成功更多，但动作并没有更少。

失败分析（第 7 页图 6）：几何基线总是先打开最大的遮挡体；LLM 规划器偏爱已见过的物体、不去探索未知空间，还会把橙色课本误认成零食盒。本文的 2 次失败都是地上的胶水瓶：它藏在一个小角落，没有物体覆盖，因此没有语义证据，而 M_rev 按总量求和，偏向揭开大区域的动作。

代价：Gemini 每次打分的中位延迟约 10 s。同一画面重复询问时，54% 的物体分数完全相同，91% 的波动不超过 0.1（第 5 页）。