ConvergeFlow : Language Flow with Provable Convergence to Token Embeddings¶
作者: Na Li, Yuchen Jiao, Changxiao Cai, Gen Li
来源: XAGI 2026 交叉智能大会 · Session 12 扩散语言模型 · 返回会议场次
报告: ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings · 讲者 李根(香港中文大学 · 统计与数据科学)
论文: arXiv:2608.23551
本页是会议报告的对应论文长篇精读;会议现场的报告摘要见场次页。
一、领域脉络与小综述¶
这个方向是什么¶
本文所处的子方向是连续扩散/流匹配(flow matching)语言模型。其根本问题在于:语言是离散符号序列,而扩散模型天然在连续空间上操作。研究者将离散 token 映射为连续 embedding,在 embedding 空间上做扩散/流匹配,再设法将连续轨迹终点映射回离散 token。该方向的成熟度处于快速上升期但尚未收敛:离散扩散模型(如 MDLM、SEDD)已能与 AR 模型竞争,连续扩散模型(如 Diffusion-LM、FLD)则长期受困于"轨迹终点不在合法 token 上"的问题,需要额外的解码器或 CE 辅助损失来兜底。本文试图从架构层面根治这一问题。
发展脉络¶
- 奠基工作:扩散模型在连续域的成功(Ho et al., 2020; Song et al., 2020)催生了将其迁移到文本的尝试。Diffusion-LM(Li et al., 2022)首次将 token 映射为连续向量并在其上做扩散,但生成质量远逊于 AR 模型。同期,离散状态空间的扩散模型(Hoogeboom et al., 2021; Austin et al., 2021; Campbell et al., 2022)被提出,直接在 token 类别上定义前向/反向过程。
- 主要进展:离散扩散模型在规模化和训练技巧上取得突破。MDLM(Sahoo et al., 2024)和 SEDD(Lou et al., 2023)通过掩码扩散和分数熵估计,将离散扩散的性能提升到接近 AR 模型;后续工作(Nie et al., 2025; Arriola et al., 2025)进一步将 MDLM 扩展到大规模。在连续侧,FLD(Gulrajani & Hashimoto, 2023)引入 embedding 空间上的流匹配,并发现 CE 辅助损失对训练至关重要;LangFlow(Chen et al., 2026)通过 Bregman 散度将流匹配与 CE 目标统一,首次让连续扩散模型在困惑度上逼近离散扩散模型。ELF(Hu et al., 2026)则展示了纯 MSE 目标配合共享权重解码器的可行性。
- 当前 frontier:连续扩散模型能否摆脱 CE 辅助损失,仅靠流匹配目标实现端到端的离散 token 生成?这涉及两个子问题:(i) 如何让轨迹终点落在合法 token embedding 上;(ii) 如何在不引入离散监督的前提下保证生成质量。本文直接回应了这两个问题。
- 本文的位置:作者提出 ConvergeFlow,通过将数据预测器参数化为"embedding 凸包上的加权平均"(权重 = 可学习基权重 × 精确高斯核),从结构上保证预测器输出始终在 token embedding 的凸包内,从而让流轨迹终点收敛到合法 token。理论证明(Theorem 1)给出收敛条件,实验显示在 OWT 上达到 33.17 的 Gen. PPL,显著优于 LangFlow(~60)和 ELF(~65),且无需 CE 解码器。
子线索聚类¶
- 离散扩散模型(MDLM、SEDD、Duo):直接在 token 空间定义扩散过程,理论清晰但难以利用连续空间中的几何结构。
- 连续 embedding 空间扩散(Diffusion-LM、FLD、LangFlow、ELF):利用预训练 embedding 的语义结构,但面临"轨迹终点偏离合法 token"的困境,通常需要 CE 辅助或额外解码器。
- 流匹配与最优传输(Lipman et al., 2022; Liu et al., 2022):为连续扩散提供更灵活的框架,本文的收敛性分析建立在此基础之上。
- 理论分析(Li & Cai, 2024; Chen et al., 2023a; Benton et al., 2023):为扩散/流匹配提供采样收敛保证,本文的 Theorem 1 属于这一脉络在离散 token 场景下的延伸。
这个方向在追问的核心问题¶
- 收敛性:连续流轨迹能否在有限步内收敛到合法 token embedding?误差如何随步数、维度、词汇量变化?
- 训练目标:MSE(流匹配)与 CE(离散监督)在 embedding 空间中的关系是什么?能否用纯 MSE 达到 CE 辅助的效果?
- 解码策略:从连续轨迹终点到离散 token 的映射(最近邻、权重 argmax、距离阈值)对生成质量的影响?
- 可控性:如何在不牺牲质量的前提下控制生成多样性(熵)?
⚠️ 作者的 framing(这是作者的说法)¶
作者将缺口 frame 为:"现有连续扩散 LM 的轨迹终点无法保证落在合法 token embedding 上,因此必须依赖 CE 监督的解码器;本文通过结构化的数据预测器参数化,从数学上保证收敛,从而消除对 CE 解码器的需求。" 这一 framing 将问题从"工程修补"(加解码器、加辅助损失)提升为"架构保证"(参数化即收敛)。被淡化的竞争路线包括:离散扩散模型(MDLM、SEDD)在纯离散空间中的成功——作者未正面比较 ConvergeFlow 与离散模型在同等规模下的性能差距;以及 ELF 已经展示的"纯 MSE + 共享权重解码器"方案——作者认为 ELF 的解码器仍是"训练好的"而非"结构保证的"。
张力¶
未见明显对立引用。但存在一个值得注意的张力:LangFlow 的结论是"CE 辅助损失对连续扩散 LM 至关重要",而本文声称"纯 MSE + 结构参数化即可"。两者并非直接矛盾(本文用了 LangFlow 的预训练 embedding 和架构),但若本文的收敛性证明成立,LangFlow 中 CE 的必要性结论就需要重新审视——这可能暗示 CE 的作用并非不可替代,而是对无结构预测器的补偿。
二、最核心、最简单的例子 / 数学内核¶
第一步:符号、模型、可观测数据¶
符号清单(按本文出现顺序):
| 记号 | 含义 | 类型 |
|---|---|---|
| \(s = (s^{(1)}, \ldots, s^{(L)})\) | 长度为 \(L\) 的 token 序列 | 随机变量(数据) |
| \(V\) | 词汇表大小 | 常数 |
| \(d\) | embedding 维度 | 常数 |
| \(E \in \mathbb{R}^{V \times d}\) | 固定 embedding 矩阵,第 \(j\) 行为 \(e_j^\top\) | 已知参数(预训练) |
| \(x^\star = (e_{s^{(1)}}, \ldots, e_{s^{(L)}})^\top \in \mathbb{R}^{L \times d}\) | 序列的连续表示(目标) | 潜在变量(数据) |
| \(z \in \mathbb{R}^{L \times d}\) | 标准高斯噪声 | 随机变量 |
| \(x_t = \alpha_t x^\star + \sigma_t z\) | 插值路径上的中间状态 | 随机变量 |
| \(\alpha_t, \sigma_t\) | 插值调度函数,\(\alpha_t/\sigma_t\) 单调递增,\(\alpha_1/\sigma_1 = \infty\) | 已知函数 |
| \(\mu_\theta(x_t, t) \in \mathbb{R}^{L \times d}\) | 数据预测器(神经网络) | 待估参数 \(\theta\) 的函数 |
| \(w_\theta^{(i)}(j \mid x_t, t)\) | 第 \(i\) 个 token 位置、第 \(j\) 个词汇的凸组合权重 | 待估参数 \(\theta\) 的函数 |
| \(f_\theta^{(i)}(j \mid x_t, t)\) | 可学习基权重函数,输出 \(\mathbb{R}^V\) | 待估参数 \(\theta\) 的函数 |
| \(\Delta_t\) | 采样步长 | 超参数 |
| \(N\) | 采样步数 | 超参数 |
| \(\mathcal{L}_{\text{MSE}}\) | 流匹配 MSE 损失 | 目标函数 |
模型(数据生成机制):
- 数据层:\(s \sim p_{\text{data}}\),\(x^\star\) 是 \(s\) 的 embedding 拼接。
- 前向插值:\(x_t = \alpha_t x^\star + \sigma_t z\),\(z \sim \mathcal{N}(0, I_{Ld})\)。当 \(t \to 0\),\(x_t \to z\)(纯噪声);当 \(t \to 1\),\(x_t \to x^\star\)(干净数据)。
- 参数化(本文核心):对每个位置 \(i\),
\[\mu_\theta^{(i)}(x_t, t) = \sum_{j=1}^{V} w_\theta^{(i)}(j \mid x_t, t) \, e_j, \qquad w_\theta^{(i)}(j \mid x_t, t) = \frac{f_\theta^{(i)}(j \mid x_t, t) \cdot \exp\left(-\frac{\|x_t^{(i)} - \alpha_t e_j\|_2^2}{2\sigma_t^2}\right)}{\sum_{j'=1}^{V} f_\theta^{(i)}(j' \mid x_t, t) \cdot \exp\left(-\frac{\|x_t^{(i)} - \alpha_t e_{j'}\|_2^2}{2\sigma_t^2}\right)}.\]即:预测器输出是 embedding 的凸组合,权重 = 可学习基权重 × 精确高斯核(衡量当前噪声状态与每个 token 的匹配度)。
- 训练目标:
\[\mathcal{L}_{\text{MSE}}(\theta) = \mathbb{E}_{t, x^\star, z} \left[ \left\| \mu_\theta(x_t, t) - x^\star \right\|_F^2 \right].\]
- 采样:从 \(x_0 \sim \mathcal{N}(0, I)\) 出发,按 Euler 步进求解 ODE(式 10),最后用最近邻或权重 argmax 解码。
可观测数据:只有 token 序列 \(s\)(训练语料)。\(x^\star\) 由预训练 embedding 矩阵 \(E\) 确定,\(z\) 是人为注入的噪声。不可观测:真实数据分布 \(p_{\text{data}}\)、最优预测器 \(\mu^\star\)。
第二步:最小内核¶
剥掉所有一般性假设后,本文的核心数学命题是:
命题(最小形式):设词汇表 \(\{e_1, \ldots, e_V\} \subset \mathbb{R}^d\) 满足"凸包分离"条件(任意两个不同 token 的凸组合不重叠,即 \(\operatorname{conv}\{e_j\}\) 的顶点就是 \(\{e_j\}\) 本身),且数据预测器 \(\mu_\theta\) 的参数化保证 \(\mu_\theta(x, t) \in \operatorname{conv}\{e_1, \ldots, e_V\}\)(对任意 \(x, t\))。则当采样步长 \(\Delta_t \to 0\) 且步数 \(N \to \infty\) 时,流轨迹 \(x_t\) 以概率 1 收敛到某个 token embedding \(e_j\)。
为什么这个命题是"最小内核"?
- 它剥离了所有神经网络架构、训练动态、调度函数选择等工程细节,只保留两个数学要素:凸包参数化 + 高斯核权重。
- 凸包参数化保证预测器输出不会"飞出"token 集合的凸包;高斯核权重保证当 \(t \to 1\)(即 \(\sigma_t \to 0\))时,权重集中在与当前状态最接近的 token 上,从而预测器输出逼近某个具体的 \(e_j\)。
- 证明的关键步骤(Appendix A.1)是构造一个辅助序列 \(\hat{x}_t\),其更新规则与真实轨迹一致,但使用"冻结"的基权重。通过比较辅助序列与真实序列的密度比,利用高斯核的指数衰减性质,证明真实轨迹的分布逐渐集中在凸包的顶点上。
这个内核的直观理解:
想象一个粒子在 embedding 空间中运动。传统扩散 LM 的预测器可以指向空间中的任意位置,因此粒子可能停在"真空地带"(不是任何 token)。ConvergeFlow 给预测器戴上了"紧箍咒":它的输出必须是 token 的加权平均。当噪声还很大时,权重分散,预测器输出接近凸包中心;当噪声减小,高斯核变得尖锐,权重集中到最近的 token 上,预测器输出被"拉"向某个顶点。最终,粒子被"吸"到最近的 token 上,完成离散化。
这个内核的局限(作者承认但未解决):
- 收敛性依赖于"凸包分离"条件,即不同 token 的凸组合不能重叠。当 \(V > d+1\) 时(词汇量远大于维度,实际中总是如此),凸包分离不可能严格成立。作者在 Theorem 1 中假设"embedding 具有足够分离度",但未给出定量条件。
- 收敛性证明假设预测器误差有界,但未说明误差界如何随模型容量、训练步数变化。
- 高斯核的方差由 \(\sigma_t\) 决定,但 \(\sigma_t\) 的调度选择(线性、余弦、sigmoid)对收敛速度的影响未分析。
三、这篇论文做了什么¶
三句话¶
- 研究了什么问题:连续流匹配语言模型的采样轨迹能否在无 CE 解码器的前提下,直接收敛到合法 token embedding?
- 核心方法:将数据预测器参数化为"可学习基权重 × 精确高斯核"的凸组合形式,从结构上保证预测器输出始终在 token embedding 的凸包内。
- 主要结论:在正则条件下,流轨迹以概率 1 收敛到合法 token embedding;在 OWT 上,ConvergeFlow 达到 33.17 的 Gen. PPL(熵 5.44),显著优于 LangFlow(~60)和 ELF(~65),且与离散扩散模型 Duo(77.69)相比也有明显优势。
关键设定与假设¶
- 固定 embedding:使用 LangFlow 预训练的 embedding 矩阵 \(E\),训练和推理中均不更新。作者明确说明这是为了避免"embedding 坍缩"(即 MSE 目标下 embedding 退化为零向量或低秩矩阵)。
- 凸包参数化:预测器输出 \(\mu_\theta(x_t, t) = E^\top w_\theta(x_t, t)\),其中 \(w_\theta\) 是 simplex 上的权重向量。这保证了 \(\mu_\theta\) 落在凸包内。
- 高斯核权重:权重 = 基权重 × 高斯核,高斯核的带宽由 \(\sigma_t\) 控制。当 \(t \to 1\),高斯核趋于 Dirac 函数,权重集中到最近 token。
- 正则条件(Theorem 1):(i) 基权重函数 \(f_\theta\) 逐项为正;(ii) 基权重的对数沿轨迹 Lipschitz 连续;(iii) 时间网格满足 \(\max_k (t_{k+1} - t_k)/(1 - t_{k+1})^3 < \delta\)(\(\delta\) 足够小);(iv) embedding 满足分离条件(\(\max_{j \neq j'} \langle e_j, e_{j'} \rangle / \|e_j\|_2 \|e_{j'}\|_2 \le 1 - \rho\))。
- 与已有文献的对比:相比 LangFlow(CE 沿轨迹监督)和 ELF(纯 MSE + 共享权重解码器),本文的贡献在于结构保证而非训练技巧;相比离散扩散(MDLM、SEDD),本文保留了连续空间的几何结构,但需要额外的分离条件。
主要结果¶
理论结果:
- Theorem 1:在正则条件下,Euler 离散化的流轨迹 \(x_{t_N}\) 以概率 \(1 - O(\delta)\) 收敛到某个 token embedding \(e_j\),且收敛误差随 \(N \to \infty\) 趋于 0。证明思路:构造辅助序列 \(\hat{x}_t\),其密度与真实轨迹的密度比沿轨迹有界,从而将真实轨迹的分布控制在高斯核的混合分布附近;当 \(\sigma_t \to 0\) 时,混合分布退化为 token 上的 Dirac 测度。
- Proposition 1:给出后验 token 分布的分解公式,说明高斯核权重 + 基权重 = 后验概率的精确分解。
- Proposition 2:构造反例,证明无结构的数据预测器(直接回归 \(x^\star\))即使误差趋于 0,其诱导的流轨迹也可能不收敛到任何 token embedding。
- Proposition 3:在 embedding 分离条件下,预测器收敛到 token embedding 等价于权重向量收敛到 one-hot 向量。
实验设计:
- 数据集:OpenWebText(OWT),序列长度 \(L=1024\)。
- 模型:DiT 风格 Transformer,12 层,hidden size 768,12 注意力头,约 130M 参数。与 LangFlow 架构一致,仅改变输出层参数化和训练目标。
- 训练:MSE 目标(式 17),无 CE 辅助。使用 LangFlow 预训练 embedding 并冻结。训练 200K 步,batch size 480,学习率 \(10^{-5}\)。
- 评估:Gen. PPL(GPT-2 Large 评估)和 unigram 熵。对比基线包括 AR Transformer、MDLM、Duo、SEDD、FLM、LangFlow、ELF。
核心数值结果:
| 模型 | Gen. PPL (↓) | 熵 (↑) | 模型大小 |
|---|---|---|---|
| AR Transformer | 35.90 | 5.58 | 170M |
| MDLM | 104.85 | 5.63 | 170M |
| Duo | 77.69 | 5.55 | 170M |
| SEDD Uniform | 99.90 | 5.56 | 170M |
| SEDD Absorb | 105.03 | 5.62 | 170M |
| FLM | 62.23 | 5.33 | 179M |
| LangFlow | 60.09 | 5.43 | 130M |
| ELF | 65.30 | 5.44 | 105M |
| ConvergeFlow | 33.17 | 5.44 | 130M |
关键观察:
- ConvergeFlow 的 Gen. PPL(33.17)不仅大幅优于连续扩散基线(LangFlow 60.09、ELF 65.30),甚至优于 AR Transformer(35.90),且熵(5.44)与数据集熵(5.44)完全一致,说明生成分布与真实分布的多样性匹配。
- 在相同架构和计算预算下,MSE 目标 + 凸包参数化显著优于 CE 目标(LangFlow),说明结构先验比监督信号更有效。
- 图 2 显示,凸包参数化的预测器在低 SNR 时输出接近凸包中心,高 SNR 时输出集中在最近的 token 上;而无结构预测器的输出始终偏离 token 集合。
消融与鲁棒性(Appendix B):
- 采样步数 \(N\) 从 32 到 512 变化时,Gen. PPL 从 38.2 降至 33.1,熵从 5.52 降至 5.44,收敛行为与 Theorem 1 一致。
- 两种解码规则(最近邻 vs. 权重 argmax)在 \(N \geq 64\) 时几乎无差异,验证了 Theorem 1 的收敛保证。
- 时间自适应调度(Configuration B/C)在高熵区域优于固定调度,但低熵区域差异不大。
🔎 结论是否比证明窄¶
是,存在明显差距:
- Theorem 1 的假设未在实验中验证:定理要求 embedding 满足分离条件(\(\rho > 0\)),但作者未报告实际 embedding 的 \(\rho\) 值,也未测试 \(\rho\) 对收敛的影响。如果实际 \(\rho\) 很小(词汇量大时几乎必然),定理的适用性存疑。
- 定理只保证收敛到"某个" token,不保证收敛到"正确" token:Theorem 1 的结论是 \(x_{t_N} \to e_j\)(某个 \(j\)),但没有给出 \(j\) 与真实 token \(s^{(i)}\) 一致的概率下界。实验中的 Gen. PPL 是间接证据,但定理本身不提供生成正确性的保证。
- Proposition 2 的反例过于简单:反例中的预测器是"光滑但无结构"的,而实际神经网络预测器可能天然具有某种结构(如低秩性),因此反例的适用范围有限。
- 实验规模有限:130M 参数、OWT 数据集,未在更大规模(如 1B+ 参数、Pile 或 C4)上验证。作者在 Discussion 中承认"扩展到更大模型和数据集的性能尚待验证"。
- 未与离散扩散模型在同等规模下直接对比:表 1 中 Duo 和 MDLM 的结果来自原论文(可能使用不同训练配置),ConvergeFlow 与它们的对比不是严格公平的。
四、开放问题¶
以下问题均扎根于本文的具体语句,只罗列、不判断可行性:
-
联合学习 embedding 与预测器(Discussion 第一段):作者承认"固定 embedding 避免了坍缩,但也限制了表达能力"。要证明什么:是否存在一个正则化项或架构约束,使得 embedding 与预测器可以联合训练而不坍缩?这需要刻画 MSE 目标下 embedding 梯度的退化方向。
-
非渐近收敛率(Theorem 1 的局限):定理只给出 \(N \to \infty\) 的收敛性,未给出有限步误差的显式界。要证明什么:在给定 embedding 分离度 \(\rho\)、调度函数 \((\alpha_t, \sigma_t)\)、步数 \(N\) 下,\(P(x_{t_N} \neq e_{s^{(i)}})\) 的上界。这需要控制高斯核权重的集中速率与 Euler 离散化误差的交互。
-
分离条件的定量刻画(Theorem 1 假设 (iv)):作者未回答"实际预训练 embedding 的 \(\rho\) 是多少"。要计算什么:对常见预训练 embedding(如 GPT-2、LLaMA 的 embedding 矩阵),\(\rho\) 的数值范围;以及 \(\rho\) 与词汇量 \(V\)、维度 \(d\) 的标度关系(是否 \(\rho \asymp 1/\sqrt{d}\) 或更差)。
-
解码规则的误差传播(Section 3.2):作者提出两种解码规则(最近邻、权重 argmax),但未分析它们的误差差异。要证明什么:在 Theorem 1 的收敛保证下,两种解码规则的错误概率是否相同?是否存在第三种解码规则(如基于权重熵的阈值)能进一步降低错误率?
-
与离散扩散的统一视角(Related work 末尾):作者未讨论连续扩散与离散扩散(MDLM)在理论上的关系。要证明什么:是否存在一个框架,将连续 embedding 空间中的流匹配与离散 token 空间中的掩码扩散统一为同一最优传输问题的两种离散化?这需要建立两个空间的测度对应关系。
-
计算-统计权衡(Discussion 第二段):作者提到"凸包参数化增加了每次前向的计算量(需计算 \(V\) 个高斯核)"。要分析什么:在给定计算预算下,凸包参数化与无结构参数化 + CE 解码器的统计效率比较——是否存在一个计算复杂度阈值,超过该阈值后凸包参数化的优势消失?
提醒:若要确认上述某条是否为真 gap,建议去读同子领域近期约 5 篇论文的 intro(如 MDLM、SEDD、FLD、LangFlow、ELF 的后续工作)。若多篇都指向同一问题(如"连续扩散的收敛保证"),则可能是共识性 gap;若各篇说法不一(如有的认为 CE 必要、有的认为不必要),则可能是机会所在。
Maintained by 陈星宇 · Homepage · Source