何恺明的“嵌入式语言流”ELF来了

“语言是离散的，但语言模型不一定是。”

去年，一个名为 LLaDA 的项目在 AI 圈引发了不小的讨论。这个基于“掩码扩散”原理的语言模型，宣称在若干基准测试上能与同规模的自回归大模型（即 GPT 为代表的逐字生成模型）一较高下。

消息一出，扩散语言模型（Diffusion Language Model，DLM）这个此前略显小众的研究方向，突然进入了更多人的视野。

我们知道，文字是离散的 token，而扩散模型天然擅长处理连续数据，这让视觉生成领域的主流技术，天然地难以运用在语言大模型上。

而在 LLaDA 说明扩散模型可行后，各路团队相继跟进。研究者们普遍承认，扩散模型在文本生成上确实大有潜力 —— 它天然支持并行解码，理论上可以比逐字输出的自回归模型快得多，也更容易实现“填空”、“双向修改”等自回归模型难以完成的任务。

在这一大方向上，研究者走出了两条路：

离散扩散语言模型（Discrete DLM）：直接在 token 空间里定义扩散过程，比如用 MASK 遮盖 token 再逐步还原（MDLM）、或者把 token 往均匀分布扩散再逐步修正（Duo）。这条路近年来一直是主流，效果更好。

连续扩散语言模型（Continuous DLM）：先把 token 映射到连续的嵌入向量，在连续空间里做去噪，最后再转回 token。这条路理论上更优雅，但实际效果长期落后于离散派。

而何恺明团队的这篇新论文则选择了明显更加困难的后者。

他们提出的模型叫做 ELF（Embedded Language Flows，嵌入式语言流），核心思路只有一句话：把扩散过程搬进连续的向量空间，只在最后一步才把结果翻译成词。

论文共一作者 Linlu Qiu 的推文

实验结果显示，这个思路不仅可行，效果还出人意料地好：用不到其它方法十分之一的训练数据，生成质量就已经全面领先。

论文标题：ELF: Embedded Language Flows

论文地址：https://arxiv.org/pdf/2605.10938v1

代码仓库：https://github.com/lillian039/ELF

何恺明的答案：只在最后一步变成词

这篇论文来自 MIT 的一支八人团队，其中两位是共同第一作者（胡珂雅和 Linlu Qiu），通讯作者则是计算机视觉领域的标志性人物之一 —— 何恺明。

何恺明的名字，对于稍微了解深度学习历史的读者并不陌生。2015 年，他在微软亚洲研究院提出了残差网络（ResNet），一举解决了深层神经网络难以训练的瓶颈，这篇论文至今仍是 AI 领域被引用次数最多的论文之一，其提出的残差连接结构已渗透进 Transformer、AlphaGo Zero、AlphaFold 等几乎所有现代 AI 系统。2024 年，他从 Meta AI 加盟 MIT，开始系统研究生成模型。

“我看到何恺明的论文，我就点进去。”

ELF，是这支团队迄今在语言生成方向上最独具一格的创新。

既然扩散模型最擅长处理连续空间，何不让它在连续空间里走完整段旅程，只在终点才做一次“翻译”？

具体来说，ELF 的做法是这样的：

首先，把一句话的每个词，通过一个预训练好的编码器（论文中使用的是 T5 编码器），转换成一组连续的高维向量。这个向量不只代表单个词，而是捕捉了上下文语义的“语境嵌入”。

然后，用“流匹配”（Flow Matching），一种近年在图像生成中大行其道的连续扩散框架，在这些向量上做去噪：从一团高斯噪声出发，沿着学到的速度场，一步步把噪声推向干净的嵌入向量。

最后，也只有在最后这一步，ELF 才把去噪后的连续向量，通过一个“反嵌入层”映射回词汇表，输出具体的词。

与之前的连续扩散语言模型不同的是，ELF 在整个去噪过程中，从不中途把连续向量变回到词的空间。不打断流动的连续性，让扩散动力学有最大的自由度。而正因为全程都在向量空间里，图像扩散领域开发的各种技术可以几乎原封不动地搬进来使用，比如“无分类器引导”（Classifier-Free Guidance，CFG）。

一个网络，两种模式

ELF 设计上另一个值得一提的巧思，是用一个网络同时承担“去噪”和“解码”两个功能，靠一个“mode token”来切换。

训练时，同一个网络的 80% 时间用于学习去噪（MSE 损失），剩下 20% 时间学习如何把最终的嵌入向量映射回词（交叉熵损失）。

推理时，在最后一步之前，网络一直处于去噪模式；到了最后时刻，它切换成解码模式，将连续向量翻译成词输出。这样，不需要额外训练一个独立的解码器，整个流程简洁而统一。

此外，ELF 还引入了“自条件”（Self-Conditioning）机制：网络在每一步去噪时，可以把自己上一步的预测结果当作参考输入，而不是从零开始猜测。这不仅提高了生成质量，还为 CFG 提供了现成的“条件信号”来源，几乎不带来额外的计算负担。

实验结果：用十分之一的训练量，碾压对手

论文的实验结果很有说服力。

研究者选取的基准测试，是扩散语言模型领域通行的标准设定：在 OpenWebText 语料库上训练，用生成困惑度（Generative Perplexity，值越低越好，代表生成文本越流畅自然）和词汇熵（Entropy，值越高越好，代表生成多样性越丰富）衡量质量。

ELF 只用了 32 个采样步数就达到了困惑度 24。相比之下，目前主流的离散扩散语言模型（MDLM、Duo 等）即便经过专门的“蒸馏”训练来加速推理，在同等步数下的表现也不及 ELF，而 ELF 完全没有做蒸馏。

训练成本的差距更加悬殊。论文统计，MDLM、Duo、FLM 等主流方法各自使用了约 5000 亿个 Token 的训练数据，ELF 只用了约 450 亿 —— 大约是它们的十分之一。

在更具实际意义的条件生成任务上，ELF 同样表现突出。在 WMT14 德英机器翻译基准上，ELF 取得了 26.4 的 BLEU 分数，超过了同等规模的自回归模型（25.2）以及 MDLM（18.4）、CDCD（24.9）等对手。在 XSum 新闻摘要任务上，ELF 在 ROUGE-1、ROUGE-2、ROUGE-L 三项指标上也均居首位。

写在最后

过去两年，扩散语言模型的研究进展几乎都集中在离散空间 —— 更精巧的掩码策略、更高效的解码方式、更大规模的训练。连续扩散路线因为与语言“离散本质”之间存在天然张力，一直处于相对边缘的位置。

ELF 的出现，提供了一个不同的参照点：

连续扩散不是语言建模的障碍，而可能是一个尚未充分开发的优势所在。

连续空间里的流动更平滑，更容易借用图像生成领域积累的技术，也更容易做引导和控制。ELF 在规模测试中表现出的良好扩展性（从 1 亿参数到 6.5 亿参数，质量持续提升），也说明这条路上仍有相当大的空间。

当然，ELF 目前的评估还主要停留在中等规模模型和学术基准测试上。它能否在更大规模、更广泛的任务上与当前最强的自回归大模型形成真实竞争，还有待后续验证。但就当下的结果而言，它至少清晰地回答了一个悬而未决的问题：

连续扩散语言模型，似乎终于找对了方法。