扩散语言模型

扩散语言模型是一条相对于自回归语言模型的非自回归生成路线。它试图把文本生成从逐 token 顺序预测，改造成在离散或连续表示空间中并行迭代、再映射回文本的过程。

观察

这条路线的核心不是“token 消失”，而是生成计算结构发生变化：自回归模型把下一个 token 作为顺序瓶颈，扩散/流式语言模型尝试在多个位置或连续空间中共同修正。
ELF 叙事强调先在连续 embedding 空间中生成，再在最终步骤离散化。这个方向与 LLaDA 等离散扩散语言模型共同说明，语言模型效率竞争正在从模型大小扩展到生成范式。
Cola DLM 进一步把语言压缩到更深的语义潜空间，再用 Flow Matching 学习连续潜在先验。它把“扩散语言模型”的焦点从 token 级恢复推向连续语义空间中的全局建模。
“Token 必须死”更准确地说是“token 不应垄断核心计算”。离散 token 仍可能作为输入输出接口和计费单位存在，但模型内部的表示、推理和生成过程可能越来越多迁移到 embedding/latent space。
对 Agentic 软件开发工作流来说，生成架构变化会影响长任务成本。agent 的费用不只来自模型单价，也来自反复工具调用、长上下文、重试和输出序列长度。
对 AI 理论边界来说，扩散语言模型提醒：当前瓶颈不只来自“智能上限”，也来自计算图、采样过程和离散表示方式。改变生成范式可能改变成本结构，但不自动改变可验证性和推理可靠性。