每日论文雷达

Type 1 · Directly applicable 证据 B 收录

Learning to Live: A Step Toward Lifelong Embodied Intelligence

Lirong Che, Peidong Wang, Yimeng Su et al. Chuang Wang, Daqi Liu, Jian Su

全部作者（14）

Lirong Che, Peidong Wang, Yimeng Su, Jiong Wang, Yang Chen, Wenbo Fu, Zhenyu Huang, Tiancheng Xu, Yuzhe Yang, Dongli Xie, Xu Cao, Chuang Wang, Daqi Liu, Jian Su

发布 · 收录于 2026-11-03

让机器人一直看、只在有事时记、保留原图以便日后重读，并把解过一次的难题变成可复用工具，就能用一天的经历回答日常问题。

任务
流式条件触发、事件发现与长时记忆问答
数据
Charades-STA、StreamingBench、SPOT、ESTP、OVO-Bench、自建 SSS-Bench
硬件
智元 A3 Ultra 机器人，前置相机，办公楼 24 小时录像
代码
首页列出 AgibotGeneral/LIFE，元数据中无代码链接
主要数字
SSS-Bench 63.1% vs 均匀采样 54.7%

PaperPDF

证据等级 B · 仿真充分 （A 真机 + 多基准 + 消融 / B 仿真充分 / C 单一基准或无代码）

动机

多数具身智能体只在收到指令时才“醒来”，可物理世界在任务之间一直在变：东西被挪走、有人来访、一次不起眼的交接以后可能很重要。

难点有三个： - 算不起：用大模型逐帧看视频太慢太贵； - 存不下：每帧都写进记忆会越来越冗余； - 想不到：记录时不知道将来会问什么，只存文字摘要会丢掉日后需要的细节。

现有流式视频模型（如 OneStreamer、JoyAI-VL-Interaction）能决定何时回应，但写成的文字记忆在稀疏事件的长视频上效果差（→ P.36 表 15）。

方法

  1. 1看1 Hz 视频流，2B 门控逐帧打分
  2. 2筛条件触发或出现新事件才往下传
  3. 3记27B 写手生成描述，图像+JSON 平铺存
  4. 4查按字段过滤、按视角和时间关联取证
  5. 5长技能编码代理把一次解法提炼成工具

比喻：像一位值班保安。他一直看监控，但只在“有事发生”时才翻开日志本写一笔，还把当时的照片夹在旁边；日后有人问起，他先翻日志，不够再看照片；遇到常被问的难题，就做一张查询表，下次直接查。

模块一：RoboBeats 门控（P.6-7）。基于 Qwen3.5（0.8B/2B/4B）。输入先放若干自然语言条件（如“有人开门”），再按时间放图像，每帧后面对每个条件问一次真/假，只读 true 和 false 两个词的 logit 算概率，不用生成文字。多个条件共用同一份视觉 token。事件发现就是只问一个固定条件“发生新事件了吗？”。训练时冻结视觉编码器、用 LoRA（低秩适配，只训少量参数）微调语言部分，损失是加权交叉熵（区间边界附近权重 3）加软 IoU（让预测区间和标注区间重合）。在线时缓存历史状态，激活阈值 0.5、关闭阈值 0.3，防止来回抖动。

模块二：Plastic Memory 平面记忆（P.16-18）。每个保留帧存原图、时间、位姿、来源，再加可增补的 JSON 字段（描述、物体、人物、OCR 等）。把位置和朝向相近的帧归为同一个“视角”（view），查询时同时返回最匹配的历史帧和最新帧，两者图像嵌入相似度低于阈值就提示“这里可能变了”。夜间按覆盖度+多样性挑代表帧，其余可回收（P.38-39）。

模块三：EDM（探索-提炼-挂载）（P.20-21）。执行代理答不好时，编码代理直接读原图、写程序找到解法；再把解法去掉硬编码、写清接口，变成工具或字段构建器；最后注册给执行代理复用。这一模块和它的数字都来自作者前作 ReSight。

实验

SSS-Bench 记忆问答总准确率（文字记忆 + 最多 10 帧回看，同一 27B 读者） Overall accuracy (%) · 越高越好 ↑
SSS-Bench 记忆问答总准确率（文字记忆 + 最多 10 帧回看，同一 27B 读者）（Overall accuracy (%)，越高越好 ↑）：RoboBeats-2B（本文） 63.1%；RoboBeats-0.8B（本文） 62.9%；RoboBeats-4B（本文） 62.1%；均匀采样 54.7%；MMDuet 51.8%；Qwen3.8-27B 门控 49.7%；OneStreamer PHCM 46.3%；JoyAI-VL-Interaction 39.3% RoboBeats-2B · 本文 63.1% RoboBeats-0.8B · 本文 62.9% RoboBeats-4B · 本文 62.1% 均匀采样 54.7% MMDuet 51.8% Qwen3.8-27B 门控 49.7% OneStreamer PHCM 46.3% JoyAI-VL-Interaction 39.3% 04080

本文方法 对比方法 · 数据来源：Table 15, P.36

Charades-STA 在线区间定位（同一条件判断协议；RoboBeats 训练含该数据集训练集） R@0.5 (%) · 越高越好 ↑
Charades-STA 在线区间定位（同一条件判断协议；RoboBeats 训练含该数据集训练集）（R@0.5 (%)，越高越好 ↑）：RoboBeats-2B（本文） 57.3%；RoboBeats-4B（本文） 57.2%；RoboBeats-0.8B（本文） 53.1%；InternVL3.5-8B 31%；MiniCPM-V-4.5 28.9%；Qwen2.5-VL-7B 26.6% RoboBeats-2B · 本文 57.3% RoboBeats-4B · 本文 57.2% RoboBeats-0.8B · 本文 53.1% InternVL3.5-8B 31% MiniCPM-V-4.5 28.9% Qwen2.5-VL-7B 26.6% 03060

本文方法 对比方法 · 数据来源：Table 2, P.13

EDM 消融：FindingDory 留出集（81-90 集）成功率，能力冻结（转引 ReSight） Overall high-level success (%) · 越高越好 ↑
EDM 消融：FindingDory 留出集（81-90 集）成功率，能力冻结（转引 ReSight）（Overall high-level success (%)，越高越好 ↑）：完整 EDM（本文） 65.8%；EDM 去掉 Explore 46.4%；无 EDM 37.5% 完整 EDM · 本文 65.8% EDM 去掉 Explore 46.4% 无 EDM 37.5% 04080

本文方法 对比方法 · 数据来源：Table 8, P.22

条件追踪（越高越好）：2B 模型在留出视频上 AUROC 0.915，未微调底座 0.612（→ P.12）；Charades-STA 在线 R@0.5 从底座的 7.4% 升到 57.3%，但训练数据含 Charades 训练集（→ P.13 表 2）。ESTP-Bench 上，同样调用 27B 回答模型 10.4 次，显式/隐式任务平均 F1 为 33.6/40.2，均匀触发为 19.5/34.4（→ P.13）。

记忆问答（准确率，越高越好）：在自建 SSS-Bench（618 题、171 段视频，稀疏事件为主）上，固定 27B 写手与读者、固定写入帧数，只换选帧方法：RoboBeats-2B 63.1%，均匀采样 54.7%，MMDuet 51.8%（→ P.36 表 15）。观察时长 ≥20 分钟时仍比均匀采样高 5.2 个点（→ P.14）。公开的 OVO-Bench 上与复现的 OneStreamer 基本持平（77.0% vs 76.8%），作者也指出 HLD 子项全是“无法回答”，分数受读者拒答习惯影响（→ P.14）。

代价：门控后写手输入 0.186 M tokens/小时，全帧 0.338，但准确率略低（66.6% vs 70.0%）（→ P.16 表 5）。论文没有报告门控在机器人端的帧率或延迟。

EDM（转引 ReSight）：FindingDory 留出集上成功率 37.5% → 65.8%，每题 token 128.8k → 39.4k；去掉 Explore 只有 46.4%（→ P.22 表 8）。

真机一天：A3 Ultra 24 小时录像离线重建记忆，256 个写入窗口、1,296 个关键帧（→ P.25）。6 个问题各答 3 次，LIFE 得 29.5/30，给了同一份记忆的 Codex B 28.5/30，只给原视频的 Codex A 24/30；每题耗时 80.6 s、554.7 s、961.5 s（→ P.26 表 10）。规模小，只能当案例看。

要点 Take-home

  1. 同样只写有限帧时，小模型挑帧比均匀采样记得更有用，问答高约 8 个点
  2. 门控把写入 token 减少约 45%，代价是准确率略低于全帧写入
  3. 把一次解题方法提炼成工具后，留出场景成功率从 37.5% 升到 65.8%
  4. 真机部分只是一天录像回放、6 个问题，尚不能证明长期自主运行

Claude 读完全文后的提炼。

更多：先读哪 · 值得看的理由 · 质疑

先读哪

先看第 3 页图 2 了解整体，再看第 36 页表 15（记忆问答主结果）和第 26 页表 10（真机一天案例）

值得看的理由

  1. 在同样的写入帧预算下，2B 门控选帧的记忆问答准确率 63.1%，均匀采样为 54.7% → P.36 表 15
  2. 把“何时写记忆”交给 2B 小模型、把“写什么”交给 27B 大模型，写入 token 比全帧写入少约 45% → P.15 第 3.6.4, Table 5 节

质疑

  • 真机部分只是一天录像离线回放、6 个问题各答 3 次、人工按评分表打分，LIFE 与给了同一份记忆的 Codex B 只差 1 分，主要差别在耗时和 token → P.26 表 10
  • 门控记忆并不比全帧写入更准：27B 读者下 EPM+ASI 为 66.6%，全帧为 70.0%；接入 DeltaStreamer 后 BT Avg. 下降 3.19 个点 → P.16 表 5; Table 17 P.37

审稿人笔记

EDM 与 GOAT-core 检索的数字都转引自作者前作 ReSight，并非本文新实验。