世界模型技术路线
世界模型技术路线
世界模型技术路线可以按“状态如何表示、未来如何预测、动作如何进入模型、预测如何转成策略”来区分。这个页面沉淀路线图，不把任何单一路线提升为已经胜出的答案。
观察
- 严格意义上的 世界模型 不只是预测下一帧，而是以 action 为条件预测下一状态。这个条件把模型从旁观者变成参与者，也把视频生成、强化学习和机器人控制区分开来。
- RNN/MDN-RNN/RSSM 路线强调潜在空间动态和样本效率。Dreamer 系列的关键不是画出未来画面，而是在 latent dynamics 中进行想象、奖励估计和策略学习。
- Transformer 路线把状态和动作 token 化，追求长程建模和更高并行性。STORM 这类方法说明世界模型也会吸收语言模型架构经验，但动作条件和环境反馈仍然是差异所在。
- Diffusion/video generation 路线强调视觉质量和多样未来，但它的风险是“生成得像”不等于“物理可执行”。这与 人形机器人基础模型 和 PSI Lab 中 physical actionability 的判断一致。
- JEPA 路线放弃像素重建，转向语义表示预测。它的赌注是世界模型最重要的是表征结构，而不是渲染逼真的未来图像。
- 扩散语言模型 和 Cola DLM 提供了语言侧的相邻信号：从离散 token 迁移到连续 embedding/latent space，并不自动等于世界模型，但说明下一代模型路线可能更重视连续表征和预测结构。
- 灵初智能 的 R2/W0 叙事提供了具身公司化样本：策略模型和世界仿真/评估模型可以分开训练，让成功动作数据和失败反事实数据承担不同角色。
- VAST 提供了 AI 3D 资产路线的产业样本：可编辑拓扑、低面数引擎可用模型和全链路 3D 工作流，属于 3D 表达/生产基础设施，不应直接等同于 action-conditioned world model。
- Embodied world model 路线直接面对机器人数据稀缺：从人类视频、无标注视频或仿真中学习物理交互先验，再用少量机器人数据完成 embodiment 对齐。
- Datawhale 的 learn-world-model 项目把世界模型做成课程和可运行项目，说明世界模型正在从论文/融资词汇转向可教学、可复现实验的工程对象。
核心分歧
- 表征 vs 生成：模型应优先学习语义/物理结构，还是生成高质量未来视频。
- LLM 融合 vs 独立架构：多模态 LLM 是否足以吸收世界模型能力，还是需要从感知和行动信号重新建模。
- 现在能否规模化：视觉和物理数据的语义密度、采集成本、算力需求和评测标准是否已经支撑大规模押注。
相关页面
证据
- 原始资料快照（本地归档）
- learn-world-model
- 原始资料快照（本地归档）
- 灵初智能
- VAST
从世界预测到机器人动作的四条路径（2026-08-10）
同样使用视频或 latent prediction 的模型，进入机器人系统的方式至少有四种：
- 离线视频→伪动作→再训练：DreamGen 与 GR00T-Dreams 生成视频后以 IDM/LAPA 恢复动作。视频质量与动作可执行性是两个独立噪声门。
- 训练期 world loss→直接动作：VLA-JEPA 与 FastWAM 在训练时预测未来 latent/视频，部署时移除预测分支。其效果应由去掉 world loss 的消融判断，而不是以推理时能否播放视频判断。
- 推理期联合 world-action：LingBot-VA、DreamZero 和 Cosmos Policy 同时生成动作与未来状态，或用 best-of-N 规划；它们不经过离线 IDM 标注链。
- reward-only 打分：TOPReward 与 Robometer 消费现有轨迹并输出进度、成功或偏好；只有找到训练、RL 或候选选择的调用方，才能写成策略改进闭环。
RLDX-1 与 RoboCurate 表明，VLM 视频评分不足以识别 IDM 动作错配；模拟回放或 executability probe 是单独的过滤层。外部 dWorldEval/WMBench 又要求测试失败保持、action shuffle/OOD 动作、接触与长时漂移，不能把短视频视觉真实当作因果可控性。
比较这些路线时，应统一记录真实/合成计数与训练采样比、动作接口或恢复方式、候选与逐级保留率、生成和筛选 GPU-hours、任务/本体/场景、严格成功与 partial progress、代码/权重/数据许可，以及作者结果与独立复现。
证据：原始资料快照（本地归档）、RLDX-1、dWorldEval。
从“代码公开”到“可复现评测”的版本门槛（2026-08-10）
DW0.5 / OpenDW 的复跑前检说明，world-action model 的开放性至少要把四个 revision 作为同一复现单元记录：模型代码、checkpoint bundle、数据/normalization 和 benchmark harness。任何一层发生接口漂移，都不能只凭“仓库和权重已公开”宣称效果可复现。
- current RoboTwin 已删除 OpenDW 仍调用的旧 evaluator；固定旧 revision 后，adapter 参数、episode 数和结果路径仍不一致。0 episode 前的失败必须报告为 N/A，而不是 0% success。
- action-only inference 不等于 pure-action ablation：如果运行时仍加载 video expert、VAE、MoT 或使用 video token cache，就不能据此估计 video 联训的因果增益。
- benchmark 数字只有在 task、训练 demos、clean/random 设置、trial 数、seed 与指标完全一致时才是 matched baseline；同名 RoboTwin 结果不自动可横比。
- Value 或 reward 模块只有在输入、目标、校准、调用方和策略更新路径都可运行时才构成 planner/RL 闭环。架构图上的第三个 head 不能替代发布物。
案例证据与重开条件见 原始资料快照（本地归档）。
不同技术路线需要不同压力测试（2026-08-10）
机器人世界模型压力测试 表明，路线比较不能压成一个视频分数：
- 离线 video→IDM 的 DreamGen / GR00T-Dreams 必须先报告 ground-truth-video IDM ceiling，再报告生成视频的 step/task execution，并把视频、IDM、筛选和策略训练贡献分开。
- 直接 world-action 的 DW0.5、DreamZero 与 Cosmos Policy 不经过离线 IDM；应分别测动作边界、真实观察回灌、chunk 内漂移、接触/力学和 world/value 消融。
- evaluator 型 world model 还要用失败轨迹、action shuffle、跨 regime-boundary 物理参数、多个 horizon 和 real-vs-imagined calibration 防止成功 optimism。
- DreamGen Bench、WFM-Eval、RoboWM-Bench、iKCE、dWorldEval、WMBench 与 RoboWorld 测量对象不同；任何一项通过都不能自动升级成“动力学可信”。
完整协议、效果量和 artifact/许可边界见 原始资料快照（本地归档）。
Reward-only 路线的五层接线（2026-08-10）
Reward-only 路线不能只按模型输出命名，应按调用链分成五层：模型推断、离线轨迹标注、reward-aware BC、在线 RL reward、在线控制/终止。机器人奖励模型 中的 LeRobot v0.6 样本说明，第 1–3 层可以成立而第 4–5 层仍然缺失。
- Robometer/TOPReward wrapper 是 inference-only；这只表示当前 LeRobot 训练入口不训练 reward model。
- 离线 progress parquet 会被 RABCWeights 读取，并进入支持
reduction="none"的策略 loss 后反传，所以不是“只做可视化”。 - 仓库内没有 Robometer/TOPReward→env/actor/learner 的通用 caller；SARM 的在线 RL 也只是文档中的应用前景。
- HIL-SERL 的 reward classifier 已进入在线 actor→SAC learner，但走专用
predict_reward()路径，不能证明统一 rewards API 已完成在线接线。
因此，reward-only 应作为独立接入路线，不与 world-action policy、action-conditioned simulator 或 planner 混写。固定源码、模型卡矛盾与外部反例见 原始资料快照（本地归档）。