软件介绍

英语老师哭着说别超了使用指南

第一步：导入文件

打开软件

，点击"?增长 英语老师哭着说别超了"按钮

，从电脑当选择《英语老师哭着说别超了》文件

，或直接将其拖拽至软件界面中

。

第二步：配置解析

软件会自动鉴别并解析导入的文件

，您可凭据界面提醒选择所需的保留蹊径或下载体式

。

第三步：起头下载

确认无误后

，点击"起头下载/处置"按钮

。期待进度条读取结束

，即可在设定的文件夹中查看下载好的正版文件

。

刚刚

，何恺明团队新作

，「嵌入式说话流」ELF来了

，英语老师哭着说别超了

机械之心编纂部

「说话是离散的

，但说话模型不愿定是

。」

去年

，一个名为 LLaDA 的项目在 AI 圈引发了不幼的会商

。这个基于「掩码扩散」道理的说话模型

，宣称在若干基准测试上能与同规模的自回归大模型（即 GPT 为代表的逐字天生模型）一较高下

。

新闻一出

，扩散说话模型（Diffusion Language Model

，DLM）这个此前略显幼多的钻研方向

，忽然进入了更多人的视野

。

我们知路

，文字是离散的 token

，而扩散模型天然擅利益理陆续数据

，这让视觉天生领域的主流技术

，天然地难以使用在说话大模型上

。

而在 LLaDA 注明扩散模型可行后

，各路团队相继跟进

。钻研者们普遍认可

，扩散模型在文本天生上的确大有潜力 —— 它天然支持并行解码

，理论上能够比逐字输出的自回归模型快得多

，也更容易实现「填空」、「双向批改」等自回归模型难以实现的工作

。

在这一风雅向上

，钻研者走出了两条路：

离散扩散说话模型（Discrete DLM）：直接在 token 空间里界说扩散过程

，好比用 MASK 遮蔽 token 再逐步还原（MDLM）、或者把 token 往均匀散布扩散再逐步建改（Duo）

。这条路近年来一向是主流

，成效更好

。陆续扩散说话模型（Continuous DLM）：先把 token 映射到陆续的嵌入向量

，在陆续空间里做去噪

，最后再转回 token

。这条路理论上更优雅

，但现实成效持久落后于离散派

。

何恺明团队的这篇新论文则选择了显著越发难题的后者

。

他们提出的模型叫做ELF（Embedded Language Flows

，嵌入式说话流）

，主题思路只有一句话：把扩散过程搬进陆续的向量空间

，只在最后一步才把了局翻译成词

论文共一作者 Linlu Qiu 的推文

尝试了局显示

，这个思路不仅可行

，成效还出乎意料地好：用不到其它步骤极度之一的训练数据

，天生质量就已经全面当先

。

论文标题：ELF: Embedded Language Flows论文地址：https://arxiv.org/pdf/2605.10938v1代码仓库：https://github.com/lillian039/ELF

何恺明的答案：只在最后一步造成词

这篇论文来自 MIT 的一支八人团队

，其中两位是共同第一作者（胡珂雅和 Linlu Qiu）

，通讯作者则是推算机视觉领域的标志性人物之一 ——何恺明

何恺明的名字

，对于稍微相识深度进建汗青的读者并不陌生

。2015 年

，他在微软亚洲钻研院提出了残差网络（ResNet）

，一举解决了深层神经网络难以训练的瓶颈

，这篇论文至今仍是 AI 领域被引用次数最多的论文之一

，其提出的残差衔接结构已渗入进 Transformer、AlphaGo Zero、AlphaFold 等险些所有现代 AI 系统

。2024 年

，他从 Meta AI 加盟 MIT

，起头系统钻研天生模型

。

「我看到何恺明的论文

，我就点进去

。」

ELF

，是这支团队迄今在说话天生方向上最独具一格的创新

。

既然扩散模型最擅利益理陆续空间

，何不让它在陆续空间里走齐全段旅程

，只在终点才做一次「翻译」？

具体来说

，ELF 的做法是这样的：

首先

，把一句话的每个词

，通过一个预训练好的编码器（论文中使用的是 T5 编码器）

，转换成一组陆续的高维向量

。这个向量不只代表单个词

，而是捉拿了高低文语义的「语境嵌入」

。

而后

，用「流匹配」（Flow Matching）

，一种近年在图像天生中大行其路的陆续扩散框架

，在这些向量上做去噪：从一团高斯噪声启程

，沿着学到的速度场

，一步步把噪声推向干净的嵌入向量

。

最后

，也只有在最后这一步

，ELF 才把去噪后的陆续向量

，通过一个「反嵌入层」映射回词汇表

，输出具体的词

。

与之前的陆续扩散说话模型分歧的是

，ELF 在整个去噪过程中

，从不中途把陆续向量变回到词的空间

。不打断流动的陆续性

，让扩散动力学有最大的自由度

。而正由于全程都在向量空间里

，图像扩散领域开发的各类技术能够险些原封不动地搬进来使用

，好比「无分类器疏导」（Classifier-Free Guidance

，CFG）

。

一个网络

，两种模式

ELF 设计上另一个值得一提的巧思

，是用一个网络同时承担「去噪」和「解码」两个职能

，靠一个「mode token」来切换

。

训练时

，统一个网络的 80% 功夫用于进建去噪（MSE 损失）

，剩下 20% 功夫进建若何把最终的嵌入向量映射回词（交叉熵损失）

。

推理时

，在最后一步之前

，网络一向处于去噪模式；到了最后时刻

，它切换成解码模式

，将陆续向量翻译成词输出

。这样

，不必要额表训练一个独立的解码器

，整个流程简洁而统一

。

此表

，ELF 还引入了「自前提」（Self-Conditioning）机造：网络在每一步去噪时

，能够把自己上一步的预测了局当作参考输入

，而不是从零起头猜测

。这不仅提高了天生质量

，还为 CFG 提供了现成的「前提信号」起源

，险些不带来额表的推算职守

。

尝试了局：用极度之一的训练量

，碾压敌手

论文的尝试了局很有说服力

。

钻研者拔取的基准测试

，是扩散说话模型领域通畅的尺度设定：在 OpenWebText 语料库上训练

，用天生猜疑度（Generative Perplexity

，值越低越好

，代表天生文本越流畅天然）和词汇熵（Entropy

，值越高越好

，代表天生多样性越丰硕）衡量质量

。

ELF 只用了 32 个采样步数就达到了猜疑度 24

。 相比之下

，目前主流的离散扩散说话模型（MDLM、Duo 等）即便经过专门的「蒸馏」训练来加快推理

，在一致步数下的阐发也不及 ELF

，而 ELF 齐全没有做蒸馏

。

训练成本的差距越发悬殊

。论文统计

，MDLM、Duo、FLM 等主流步骤各自使用了约 5000 亿个 Token 的训练数据

，ELF 只用了约 450 亿 ——约莫是它们的极度之一

在更具现实意思的前提天生工作上

，ELF 同样阐发凸起

。在 WMT14 德英机械翻译基准上

，ELF 获得了 26.4 的 BLEU 分数

，超过了一致规模的自回归模型（25.2）以及 MDLM（18.4）、CDCD（24.9）等敌手

。在 XSum 新闻提要工作上

，ELF 在 ROUGE-1、ROUGE-2、ROUGE-L 三项指标上也均居首位

。

从前两年

，扩散说话模型的钻研进展险些都集中在离散空间 —— 更精彩的掩码战术、更高效的解码方式、更大规模的训练

。陆续扩散路线由于与说话「离散性质」之间存在天然张力

，一向处于相对边缘的地位

。

ELF 的出现

，提供了一个分歧的参照点：陆续扩散不是说话建模的阻碍

，而可能是一个尚未充分开发的优势地点

。陆续空间里的流动更滑润

，更容易借用图像天生领域堆集的技术

，也更容易做疏导和节造

。ELF 在规模测试中阐发出的优良扩大性（从 1 亿参数到 6.5 亿参数

，质量持续提升）

，也注明这条路上仍有相当大的空间

。

当然

，ELF 目前的评估还重要停顿在中等规模模型和学术基准测试上

。它能否在更大规模、更宽泛的工作上与当前最强的自回归大模型形成真实竞争

，还有待后续验证

。但就当下的了局而言

，它至少清澈地回覆了一个悬而未决的问题：

陆续扩散说话模型

，似乎终于找对了步骤

。

更多详情

，请参阅原论文

。