跳转至

ConvergeFlow : Language Flow with Provable Convergence to Token Embeddings

作者: Na Li, Yuchen Jiao, Changxiao Cai, Gen Li
来源: XAGI 2026 交叉智能大会 · Session 12 扩散语言模型 · 返回会议场次
报告: ConvergeFlow: Language Flow with Provable Convergence to Token Embeddings · 讲者 李根(香港中文大学 · 统计与数据科学)
论文: arXiv:2608.23551

本页是会议报告的对应论文长篇精读;会议现场的报告摘要见场次页。


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是连续扩散/流匹配(flow matching)语言模型。其根本问题在于:语言是离散符号序列,而扩散模型天然在连续空间上操作。研究者将离散 token 映射为连续 embedding,在 embedding 空间上做扩散/流匹配,再设法将连续轨迹终点映射回离散 token。该方向的成熟度处于快速上升期但尚未收敛:离散扩散模型(如 MDLM、SEDD)已能与 AR 模型竞争,连续扩散模型(如 Diffusion-LM、FLD)则长期受困于"轨迹终点不在合法 token 上"的问题,需要额外的解码器或 CE 辅助损失来兜底。本文试图从架构层面根治这一问题。

发展脉络

  • 奠基工作:扩散模型在连续域的成功(Ho et al., 2020; Song et al., 2020)催生了将其迁移到文本的尝试。Diffusion-LM(Li et al., 2022)首次将 token 映射为连续向量并在其上做扩散,但生成质量远逊于 AR 模型。同期,离散状态空间的扩散模型(Hoogeboom et al., 2021; Austin et al., 2021; Campbell et al., 2022)被提出,直接在 token 类别上定义前向/反向过程。
  • 主要进展:离散扩散模型在规模化和训练技巧上取得突破。MDLM(Sahoo et al., 2024)和 SEDD(Lou et al., 2023)通过掩码扩散和分数熵估计,将离散扩散的性能提升到接近 AR 模型;后续工作(Nie et al., 2025; Arriola et al., 2025)进一步将 MDLM 扩展到大规模。在连续侧,FLD(Gulrajani & Hashimoto, 2023)引入 embedding 空间上的流匹配,并发现 CE 辅助损失对训练至关重要;LangFlow(Chen et al., 2026)通过 Bregman 散度将流匹配与 CE 目标统一,首次让连续扩散模型在困惑度上逼近离散扩散模型。ELF(Hu et al., 2026)则展示了纯 MSE 目标配合共享权重解码器的可行性。
  • 当前 frontier:连续扩散模型能否摆脱 CE 辅助损失,仅靠流匹配目标实现端到端的离散 token 生成?这涉及两个子问题:(i) 如何让轨迹终点落在合法 token embedding 上;(ii) 如何在不引入离散监督的前提下保证生成质量。本文直接回应了这两个问题。
  • 本文的位置:作者提出 ConvergeFlow,通过将数据预测器参数化为"embedding 凸包上的加权平均"(权重 = 可学习基权重 × 精确高斯核),从结构上保证预测器输出始终在 token embedding 的凸包内,从而让流轨迹终点收敛到合法 token。理论证明(Theorem 1)给出收敛条件,实验显示在 OWT 上达到 33.17 的 Gen. PPL,显著优于 LangFlow(~60)和 ELF(~65),且无需 CE 解码器。

子线索聚类

  1. 离散扩散模型(MDLM、SEDD、Duo):直接在 token 空间定义扩散过程,理论清晰但难以利用连续空间中的几何结构。
  2. 连续 embedding 空间扩散(Diffusion-LM、FLD、LangFlow、ELF):利用预训练 embedding 的语义结构,但面临"轨迹终点偏离合法 token"的困境,通常需要 CE 辅助或额外解码器。
  3. 流匹配与最优传输(Lipman et al., 2022; Liu et al., 2022):为连续扩散提供更灵活的框架,本文的收敛性分析建立在此基础之上。
  4. 理论分析(Li & Cai, 2024; Chen et al., 2023a; Benton et al., 2023):为扩散/流匹配提供采样收敛保证,本文的 Theorem 1 属于这一脉络在离散 token 场景下的延伸。

这个方向在追问的核心问题

  1. 收敛性:连续流轨迹能否在有限步内收敛到合法 token embedding?误差如何随步数、维度、词汇量变化?
  2. 训练目标:MSE(流匹配)与 CE(离散监督)在 embedding 空间中的关系是什么?能否用纯 MSE 达到 CE 辅助的效果?
  3. 解码策略:从连续轨迹终点到离散 token 的映射(最近邻、权重 argmax、距离阈值)对生成质量的影响?
  4. 可控性:如何在不牺牲质量的前提下控制生成多样性(熵)?

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"现有连续扩散 LM 的轨迹终点无法保证落在合法 token embedding 上,因此必须依赖 CE 监督的解码器;本文通过结构化的数据预测器参数化,从数学上保证收敛,从而消除对 CE 解码器的需求。" 这一 framing 将问题从"工程修补"(加解码器、加辅助损失)提升为"架构保证"(参数化即收敛)。被淡化的竞争路线包括:离散扩散模型(MDLM、SEDD)在纯离散空间中的成功——作者未正面比较 ConvergeFlow 与离散模型在同等规模下的性能差距;以及 ELF 已经展示的"纯 MSE + 共享权重解码器"方案——作者认为 ELF 的解码器仍是"训练好的"而非"结构保证的"。

张力

未见明显对立引用。但存在一个值得注意的张力:LangFlow 的结论是"CE 辅助损失对连续扩散 LM 至关重要",而本文声称"纯 MSE + 结构参数化即可"。两者并非直接矛盾(本文用了 LangFlow 的预训练 embedding 和架构),但若本文的收敛性证明成立,LangFlow 中 CE 的必要性结论就需要重新审视——这可能暗示 CE 的作用并非不可替代,而是对无结构预测器的补偿。


二、最核心、最简单的例子 / 数学内核

第一步:符号、模型、可观测数据

符号清单(按本文出现顺序):

记号 含义 类型
\(s = (s^{(1)}, \ldots, s^{(L)})\) 长度为 \(L\) 的 token 序列 随机变量(数据)
\(V\) 词汇表大小 常数
\(d\) embedding 维度 常数
\(E \in \mathbb{R}^{V \times d}\) 固定 embedding 矩阵,第 \(j\) 行为 \(e_j^\top\) 已知参数(预训练)
\(x^\star = (e_{s^{(1)}}, \ldots, e_{s^{(L)}})^\top \in \mathbb{R}^{L \times d}\) 序列的连续表示(目标) 潜在变量(数据)
\(z \in \mathbb{R}^{L \times d}\) 标准高斯噪声 随机变量
\(x_t = \alpha_t x^\star + \sigma_t z\) 插值路径上的中间状态 随机变量
\(\alpha_t, \sigma_t\) 插值调度函数,\(\alpha_t/\sigma_t\) 单调递增,\(\alpha_1/\sigma_1 = \infty\) 已知函数
\(\mu_\theta(x_t, t) \in \mathbb{R}^{L \times d}\) 数据预测器(神经网络) 待估参数 \(\theta\) 的函数
\(w_\theta^{(i)}(j \mid x_t, t)\) 第 \(i\) 个 token 位置、第 \(j\) 个词汇的凸组合权重 待估参数 \(\theta\) 的函数
\(f_\theta^{(i)}(j \mid x_t, t)\) 可学习基权重函数,输出 \(\mathbb{R}^V\) 待估参数 \(\theta\) 的函数
\(\Delta_t\) 采样步长 超参数
\(N\) 采样步数 超参数
\(\mathcal{L}_{\text{MSE}}\) 流匹配 MSE 损失 目标函数

模型(数据生成机制):

  1. 数据层:\(s \sim p_{\text{data}}\),\(x^\star\) 是 \(s\) 的 embedding 拼接。
  2. 前向插值:\(x_t = \alpha_t x^\star + \sigma_t z\),\(z \sim \mathcal{N}(0, I_{Ld})\)。当 \(t \to 0\),\(x_t \to z\)(纯噪声);当 \(t \to 1\),\(x_t \to x^\star\)(干净数据)。
  3. 参数化(本文核心):对每个位置 \(i\),
    \[\mu_\theta^{(i)}(x_t, t) = \sum_{j=1}^{V} w_\theta^{(i)}(j \mid x_t, t) \, e_j, \qquad w_\theta^{(i)}(j \mid x_t, t) = \frac{f_\theta^{(i)}(j \mid x_t, t) \cdot \exp\left(-\frac{\|x_t^{(i)} - \alpha_t e_j\|_2^2}{2\sigma_t^2}\right)}{\sum_{j'=1}^{V} f_\theta^{(i)}(j' \mid x_t, t) \cdot \exp\left(-\frac{\|x_t^{(i)} - \alpha_t e_{j'}\|_2^2}{2\sigma_t^2}\right)}.\]
    即:预测器输出是 embedding 的凸组合,权重 = 可学习基权重 × 精确高斯核(衡量当前噪声状态与每个 token 的匹配度)。
  4. 训练目标:
    \[\mathcal{L}_{\text{MSE}}(\theta) = \mathbb{E}_{t, x^\star, z} \left[ \left\| \mu_\theta(x_t, t) - x^\star \right\|_F^2 \right].\]
  5. 采样:从 \(x_0 \sim \mathcal{N}(0, I)\) 出发,按 Euler 步进求解 ODE(式 10),最后用最近邻或权重 argmax 解码。

可观测数据:只有 token 序列 \(s\)(训练语料)。\(x^\star\) 由预训练 embedding 矩阵 \(E\) 确定,\(z\) 是人为注入的噪声。不可观测:真实数据分布 \(p_{\text{data}}\)、最优预测器 \(\mu^\star\)。

第二步:最小内核

剥掉所有一般性假设后,本文的核心数学命题是:

命题(最小形式):设词汇表 \(\{e_1, \ldots, e_V\} \subset \mathbb{R}^d\) 满足"凸包分离"条件(任意两个不同 token 的凸组合不重叠,即 \(\operatorname{conv}\{e_j\}\) 的顶点就是 \(\{e_j\}\) 本身),且数据预测器 \(\mu_\theta\) 的参数化保证 \(\mu_\theta(x, t) \in \operatorname{conv}\{e_1, \ldots, e_V\}\)(对任意 \(x, t\))。则当采样步长 \(\Delta_t \to 0\) 且步数 \(N \to \infty\) 时,流轨迹 \(x_t\) 以概率 1 收敛到某个 token embedding \(e_j\)。

为什么这个命题是"最小内核"?

  • 它剥离了所有神经网络架构、训练动态、调度函数选择等工程细节,只保留两个数学要素:凸包参数化 + 高斯核权重。
  • 凸包参数化保证预测器输出不会"飞出"token 集合的凸包;高斯核权重保证当 \(t \to 1\)(即 \(\sigma_t \to 0\))时,权重集中在与当前状态最接近的 token 上,从而预测器输出逼近某个具体的 \(e_j\)。
  • 证明的关键步骤(Appendix A.1)是构造一个辅助序列 \(\hat{x}_t\),其更新规则与真实轨迹一致,但使用"冻结"的基权重。通过比较辅助序列与真实序列的密度比,利用高斯核的指数衰减性质,证明真实轨迹的分布逐渐集中在凸包的顶点上。

这个内核的直观理解:

想象一个粒子在 embedding 空间中运动。传统扩散 LM 的预测器可以指向空间中的任意位置,因此粒子可能停在"真空地带"(不是任何 token)。ConvergeFlow 给预测器戴上了"紧箍咒":它的输出必须是 token 的加权平均。当噪声还很大时,权重分散,预测器输出接近凸包中心;当噪声减小,高斯核变得尖锐,权重集中到最近的 token 上,预测器输出被"拉"向某个顶点。最终,粒子被"吸"到最近的 token 上,完成离散化。

这个内核的局限(作者承认但未解决):

  • 收敛性依赖于"凸包分离"条件,即不同 token 的凸组合不能重叠。当 \(V > d+1\) 时(词汇量远大于维度,实际中总是如此),凸包分离不可能严格成立。作者在 Theorem 1 中假设"embedding 具有足够分离度",但未给出定量条件。
  • 收敛性证明假设预测器误差有界,但未说明误差界如何随模型容量、训练步数变化。
  • 高斯核的方差由 \(\sigma_t\) 决定,但 \(\sigma_t\) 的调度选择(线性、余弦、sigmoid)对收敛速度的影响未分析。

三、这篇论文做了什么

三句话

  1. 研究了什么问题:连续流匹配语言模型的采样轨迹能否在无 CE 解码器的前提下,直接收敛到合法 token embedding?
  2. 核心方法:将数据预测器参数化为"可学习基权重 × 精确高斯核"的凸组合形式,从结构上保证预测器输出始终在 token embedding 的凸包内。
  3. 主要结论:在正则条件下,流轨迹以概率 1 收敛到合法 token embedding;在 OWT 上,ConvergeFlow 达到 33.17 的 Gen. PPL(熵 5.44),显著优于 LangFlow(~60)和 ELF(~65),且与离散扩散模型 Duo(77.69)相比也有明显优势。

关键设定与假设

  • 固定 embedding:使用 LangFlow 预训练的 embedding 矩阵 \(E\),训练和推理中均不更新。作者明确说明这是为了避免"embedding 坍缩"(即 MSE 目标下 embedding 退化为零向量或低秩矩阵)。
  • 凸包参数化:预测器输出 \(\mu_\theta(x_t, t) = E^\top w_\theta(x_t, t)\),其中 \(w_\theta\) 是 simplex 上的权重向量。这保证了 \(\mu_\theta\) 落在凸包内。
  • 高斯核权重:权重 = 基权重 × 高斯核,高斯核的带宽由 \(\sigma_t\) 控制。当 \(t \to 1\),高斯核趋于 Dirac 函数,权重集中到最近 token。
  • 正则条件(Theorem 1):(i) 基权重函数 \(f_\theta\) 逐项为正;(ii) 基权重的对数沿轨迹 Lipschitz 连续;(iii) 时间网格满足 \(\max_k (t_{k+1} - t_k)/(1 - t_{k+1})^3 < \delta\)(\(\delta\) 足够小);(iv) embedding 满足分离条件(\(\max_{j \neq j'} \langle e_j, e_{j'} \rangle / \|e_j\|_2 \|e_{j'}\|_2 \le 1 - \rho\))。
  • 与已有文献的对比:相比 LangFlow(CE 沿轨迹监督)和 ELF(纯 MSE + 共享权重解码器),本文的贡献在于结构保证而非训练技巧;相比离散扩散(MDLM、SEDD),本文保留了连续空间的几何结构,但需要额外的分离条件。

主要结果

理论结果:

  • Theorem 1:在正则条件下,Euler 离散化的流轨迹 \(x_{t_N}\) 以概率 \(1 - O(\delta)\) 收敛到某个 token embedding \(e_j\),且收敛误差随 \(N \to \infty\) 趋于 0。证明思路:构造辅助序列 \(\hat{x}_t\),其密度与真实轨迹的密度比沿轨迹有界,从而将真实轨迹的分布控制在高斯核的混合分布附近;当 \(\sigma_t \to 0\) 时,混合分布退化为 token 上的 Dirac 测度。
  • Proposition 1:给出后验 token 分布的分解公式,说明高斯核权重 + 基权重 = 后验概率的精确分解。
  • Proposition 2:构造反例,证明无结构的数据预测器(直接回归 \(x^\star\))即使误差趋于 0,其诱导的流轨迹也可能不收敛到任何 token embedding。
  • Proposition 3:在 embedding 分离条件下,预测器收敛到 token embedding 等价于权重向量收敛到 one-hot 向量。

实验设计:

  • 数据集:OpenWebText(OWT),序列长度 \(L=1024\)。
  • 模型:DiT 风格 Transformer,12 层,hidden size 768,12 注意力头,约 130M 参数。与 LangFlow 架构一致,仅改变输出层参数化和训练目标。
  • 训练:MSE 目标(式 17),无 CE 辅助。使用 LangFlow 预训练 embedding 并冻结。训练 200K 步,batch size 480,学习率 \(10^{-5}\)。
  • 评估:Gen. PPL(GPT-2 Large 评估)和 unigram 熵。对比基线包括 AR Transformer、MDLM、Duo、SEDD、FLM、LangFlow、ELF。

核心数值结果:

模型 Gen. PPL (↓) 熵 (↑) 模型大小
AR Transformer 35.90 5.58 170M
MDLM 104.85 5.63 170M
Duo 77.69 5.55 170M
SEDD Uniform 99.90 5.56 170M
SEDD Absorb 105.03 5.62 170M
FLM 62.23 5.33 179M
LangFlow 60.09 5.43 130M
ELF 65.30 5.44 105M
ConvergeFlow 33.17 5.44 130M

关键观察:

  1. ConvergeFlow 的 Gen. PPL(33.17)不仅大幅优于连续扩散基线(LangFlow 60.09、ELF 65.30),甚至优于 AR Transformer(35.90),且熵(5.44)与数据集熵(5.44)完全一致,说明生成分布与真实分布的多样性匹配。
  2. 在相同架构和计算预算下,MSE 目标 + 凸包参数化显著优于 CE 目标(LangFlow),说明结构先验比监督信号更有效。
  3. 图 2 显示,凸包参数化的预测器在低 SNR 时输出接近凸包中心,高 SNR 时输出集中在最近的 token 上;而无结构预测器的输出始终偏离 token 集合。

消融与鲁棒性(Appendix B):

  • 采样步数 \(N\) 从 32 到 512 变化时,Gen. PPL 从 38.2 降至 33.1,熵从 5.52 降至 5.44,收敛行为与 Theorem 1 一致。
  • 两种解码规则(最近邻 vs. 权重 argmax)在 \(N \geq 64\) 时几乎无差异,验证了 Theorem 1 的收敛保证。
  • 时间自适应调度(Configuration B/C)在高熵区域优于固定调度,但低熵区域差异不大。

🔎 结论是否比证明窄

是,存在明显差距:

  1. Theorem 1 的假设未在实验中验证:定理要求 embedding 满足分离条件(\(\rho > 0\)),但作者未报告实际 embedding 的 \(\rho\) 值,也未测试 \(\rho\) 对收敛的影响。如果实际 \(\rho\) 很小(词汇量大时几乎必然),定理的适用性存疑。
  2. 定理只保证收敛到"某个" token,不保证收敛到"正确" token:Theorem 1 的结论是 \(x_{t_N} \to e_j\)(某个 \(j\)),但没有给出 \(j\) 与真实 token \(s^{(i)}\) 一致的概率下界。实验中的 Gen. PPL 是间接证据,但定理本身不提供生成正确性的保证。
  3. Proposition 2 的反例过于简单:反例中的预测器是"光滑但无结构"的,而实际神经网络预测器可能天然具有某种结构(如低秩性),因此反例的适用范围有限。
  4. 实验规模有限:130M 参数、OWT 数据集,未在更大规模(如 1B+ 参数、Pile 或 C4)上验证。作者在 Discussion 中承认"扩展到更大模型和数据集的性能尚待验证"。
  5. 未与离散扩散模型在同等规模下直接对比:表 1 中 Duo 和 MDLM 的结果来自原论文(可能使用不同训练配置),ConvergeFlow 与它们的对比不是严格公平的。

四、开放问题

以下问题均扎根于本文的具体语句,只罗列、不判断可行性:

  1. 联合学习 embedding 与预测器(Discussion 第一段):作者承认"固定 embedding 避免了坍缩,但也限制了表达能力"。要证明什么:是否存在一个正则化项或架构约束,使得 embedding 与预测器可以联合训练而不坍缩?这需要刻画 MSE 目标下 embedding 梯度的退化方向。

  2. 非渐近收敛率(Theorem 1 的局限):定理只给出 \(N \to \infty\) 的收敛性,未给出有限步误差的显式界。要证明什么:在给定 embedding 分离度 \(\rho\)、调度函数 \((\alpha_t, \sigma_t)\)、步数 \(N\) 下,\(P(x_{t_N} \neq e_{s^{(i)}})\) 的上界。这需要控制高斯核权重的集中速率与 Euler 离散化误差的交互。

  3. 分离条件的定量刻画(Theorem 1 假设 (iv)):作者未回答"实际预训练 embedding 的 \(\rho\) 是多少"。要计算什么:对常见预训练 embedding(如 GPT-2、LLaMA 的 embedding 矩阵),\(\rho\) 的数值范围;以及 \(\rho\) 与词汇量 \(V\)、维度 \(d\) 的标度关系(是否 \(\rho \asymp 1/\sqrt{d}\) 或更差)。

  4. 解码规则的误差传播(Section 3.2):作者提出两种解码规则(最近邻、权重 argmax),但未分析它们的误差差异。要证明什么:在 Theorem 1 的收敛保证下,两种解码规则的错误概率是否相同?是否存在第三种解码规则(如基于权重熵的阈值)能进一步降低错误率?

  5. 与离散扩散的统一视角(Related work 末尾):作者未讨论连续扩散与离散扩散(MDLM)在理论上的关系。要证明什么:是否存在一个框架,将连续 embedding 空间中的流匹配与离散 token 空间中的掩码扩散统一为同一最优传输问题的两种离散化?这需要建立两个空间的测度对应关系。

  6. 计算-统计权衡(Discussion 第二段):作者提到"凸包参数化增加了每次前向的计算量(需计算 \(V\) 个高斯核)"。要分析什么:在给定计算预算下,凸包参数化与无结构参数化 + CE 解码器的统计效率比较——是否存在一个计算复杂度阈值,超过该阈值后凸包参数化的优势消失?


提醒:若要确认上述某条是否为真 gap,建议去读同子领域近期约 5 篇论文的 intro(如 MDLM、SEDD、FLD、LangFlow、ELF 的后续工作)。若多篇都指向同一问题(如"连续扩散的收敛保证"),则可能是共识性 gap;若各篇说法不一(如有的认为 CE 必要、有的认为不必要),则可能是机会所在。


Maintained by 陈星宇 · Homepage · Source

评论