Hierarchical World Models with Implicit Dynamics

比喻：像在陌生城市走路去远处。高层只问“从这里走 5 分钟能到哪些地方”，每掷一次骰子（一个噪声向量）就得到一个真实可达的落脚点；把几次骰子连起来，看最后离目的地多近。低层再回答“具体怎么走到下一个落脚点”。因为每个骰子结果都落在真实可达的地方，搜骰子比搜一套学出来的宏动作更安全。

1. 高层：隐式动力学模型（implicit dynamics）（→ P.4-5）。这是一个条件扩散模型（DDPM，一种从噪声一步步去噪生成样本的模型），输入当前状态，生成 Δ 步之后的一个可能状态。推理时用 DDIM（一种确定性的去噪采样方式），于是“当前状态 + 噪声”唯一对应一个子目标。噪声空间是标准高斯分布，平滑、各向同性，作者把它当作高层动作空间。

2. 低层：确定性世界模型（→ P.5）。沿用 DINO-WM 的 transformer 预测器：给过去几步状态和动作，预测下一步。规划时把它当“逆动力学求解器”：用 CEM（交叉熵方法，一种反复采样、保留最好一批再采样的优化法）找一串动作，使预测终点最接近子目标。

3. 噪声正则（→ P.6）。规划代价 = 最后一个子目标到目标的距离 + 一项惩罚：噪声分量绝对值超过阈值 τ 就罚，防止规划器跑到高斯分布的稀有区域，生成不真实的子目标。

指标：成功率 SR（越高越好）；PushT 另报 T 块覆盖率 Cov（越高越好）；附录还有到达步数（越少越好）和推理时间（越短越好）。每个设置随机采 50 组起点-目标，报 3 个种子的均值（→ P.7-8）。所有实验固定 Δ=5（含跳帧即 25 个环境步）、每次 5 个子目标，不按任务调参（→ P.7）。

对比对象：模仿学习 GCBC、离线强化学习 HIQL、扩散规划 Diffuser 和 H-Diffuser、单层世界模型 MPC（SL-WM），以及同期的分层世界模型 HWM。

主要结果： - 表 1（→ P.8）：本文在每一行都最好或并列最好。差距最大的是 PushT 随机目标，本文 SR 0.77，其余方法都不超过 0.21。GCBC 在固定目标上也能到 1.00，说明真正的难点是分布外目标。 - 和 HWM 比（→ P.9 表 2）：PushT 四个设置本文都明显更高（例如随机目标 0.77 对 0.20）。 - 扩展性（→ P.9 图 7）：迷宫越大，基线掉得越多，本文下降最少；PushT 目标距离从 25 步加到 150 步，本文接近满分，单层世界模型快速掉下去。 - 视觉 PushT（→ P.10 表 3）：目标 25 步远时 HWM 更好（0.96 对 0.90）；50、75 步和随机目标时本文最好（如 75 步 0.50 对 0.14）。

站得住的结论：附录把单层和本文的 CEM 预算设成一样，又额外给单层三倍重规划来对齐耗时，单层只从 0.21 升到 0.28（→ P.21 表 8），说明收益来自分层。消融显示 Δ=1 时成功率都不超过 0.10，Δ=5、5 个子目标时 0.96（→ P.20 表 4）；噪声正则和更多 CEM 样本都有帮助（→ P.20 图 10）。

代价：到达一个目标的推理时间本文 53.08 s，单层世界模型 16.93 s，HIQL 5.61 s，Diffuser 24 min（→ P.21 表 6，单张 L40S）。路径效率上，迷宫里 HIQL 平均 34.1 步，本文 163.9 步，因为本文代价只看终点距离、不优化路径长短（→ P.20-21 表 5）。