跳转至

Beyond Conditional Computation: Retrieval-Augmented Genomic Foundation Models with Gengram

作者: Huinan Xu, Xuyang Feng, Junhong Chen, Junchen Liu, Kaiwen Deng, Kai Ding et al.
来源: XAGI 2026 交叉智能大会 · Session 09 AI4Science · 返回会议场次
报告: Memory Mechanisms in Genomic Foundation Models · 讲者 许慧楠(中国科学院大学 · 杭州高等研究院)
论文: arXiv:2601.22203

本页是会议报告的对应论文长篇精读;会议现场的报告摘要见场次页。


一、领域脉络与小综述

这个方向是什么

本文所处的子方向是基因组基础模型(Genomic Foundation Models, GFMs)的架构设计,核心问题是:如何让基于 Transformer 的模型在 DNA 序列上高效地捕捉多核苷酸(multi-nucleotide)功能基序(motif),同时保持对超长序列(如人类基因组)的可扩展性。当前 GFMs 的主流做法是依赖大规模预训练和密集计算,让模型从单碱基(single-base)输入中隐式地推断基序;本文提出的 Gengram 则引入一个显式的、基于哈希查找的条件记忆模块,将基序检索从"计算"变为"查表",从而在更少的计算预算下获得更好的下游任务表现。该方向目前处于快速发展的早期成熟阶段——已有多个代表性模型(DNABERT、Caduceus、Evo2、Genos 等),但架构设计空间远未收敛,尤其在"如何注入生物学先验(如 DNA 双螺旋结构)"这一问题上缺乏系统探索。

发展脉络(history)

  • 奠基工作:Transformer 进入基因组学。 DNABERT [8] 首次将 BERT 式双向编码器应用于 DNA 序列,证明了预训练 Transformer 能在有限标注数据下提取局部基序(如剪接位点、启动子)。其核心贡献是证明了"DNA 语言"可以用自监督方式学习,但受限于 512bp 左右的上下文窗口,无法捕捉远程调控相互作用。
  • 主要进展:长上下文与状态空间模型。 为突破 Transformer 的二次复杂度瓶颈,Caduceus [11] 引入 Mamba 架构(选择性状态空间模型),实现线性复杂度,并加入反向互补(reverse complement)等变性,使模型能同时利用上下游序列信息。同期,GENERator [19] 将上下文扩展到 98k 碱基,验证了长上下文对基因调控预测的价值。这些工作共同确立了"长序列 + 线性复杂度"作为 GFMs 的硬性要求。
  • 当前 frontier:规模竞赛与效率瓶颈。 Evo2(40B 参数,9.3T 训练 token)和 Genos [3](10B 参数,2.2T token)代表了当前 GFMs 的规模上限。但本文引用 [4](Tzanakakis et al. 2026)指出,这些模型在真实基因组序列生成上存在系统性失败——它们能捕捉局部统计规律,却无法保持长程组织(如染色质结构域)。这暗示:单纯堆参数和数据的路线存在天花板,需要架构层面的新机制。
  • 本文的位置: Gengram 位于"效率-表现"权衡的交叉点。它不追求更大的模型或更长的上下文,而是通过显式记忆模块(哈希表 + 门控)将基序知识从网络权重中"卸载"到可检索的存储中。其核心主张是:GFMs 的瓶颈不在容量,而在检索效率——模型花了太多计算在"回忆"已知基序上,而非"推理"新组合。这一思路直接回应了 [4] 指出的"隐式记忆不可靠"问题。

子线索聚类

被引文献大致落在三条子线索上:

  1. 架构演进线([6] Attention, [7] Mamba, [11] Caduceus, [29] DeepSeek-V2):关注如何设计高效的序列建模层。从自注意力到线性注意力再到状态空间模型,核心指标是复杂度-表现权衡。Gengram 在这条线上属于"附加模块"而非"替代架构",它假设主干网络不变,只增加一个旁路记忆。
  2. 基因组学应用线([8] DNABERT, [9] Nucleotide Transformer, [10] NTv3, [3] Genos, [19] GENERator):关注预训练策略、tokenization 和下游任务适配。这条线的主要分歧在 tokenization:单碱基 vs. k-mer vs. BPE。Gengram 的 k-mer 哈希表实际上是一种"软 tokenization"——不改变输入表示,但在隐空间注入多碱基先验。
  3. 生物学先验注入线([16] 剪接位点、[17] 基因组 benchmark、[18] 重复序列、[25-27] DNA 结构):关注如何将已知的生物学知识(如双螺旋周期、基序保守性)编码进模型。这条线最不成熟,Gengram 是少数明确利用 DNA 结构先验(21bp 双螺旋周期)的工作之一。

这个方向在追问的核心问题

  1. 如何平衡局部基序与长程依赖? 已知功能基序(如 TATA box)长度通常为 6-20bp,但调控作用可跨越 100kb。现有模型要么擅长局部(DNABERT),要么擅长长程(Caduceus),鲜有两全。
  2. 如何降低基序学习的样本复杂度? 基因组中功能性基序远少于非功能序列,且高度重复([33, 34] 指出大量 k-mer 高频但弱信息)。模型需要从海量噪声中识别稀疏信号。
  3. 如何实现可解释的基序检索? 注意力权重难以直接对应到生物学基序,而 Gengram 的哈希表天然提供了"哪个基序被激活"的显式记录。
  4. 如何将结构先验(如双螺旋周期)编码为归纳偏置? 这是 Gengram 最独特的主张:21bp 窗口对应 DNA 两圈螺旋的周期,使得同一面上的碱基被聚合,从而捕捉与蛋白质结合相关的空间模式。

⚠️ 作者的 framing(这是作者的说法)

作者将缺口 frame 为:"现有 GFMs 缺乏显式的基序记忆机制,被迫用密集计算隐式模拟基序检索,导致效率低下且难以解释。" 他们据此提出 Gengram 作为"显然的下一步"——一个轻量、可插拔、架构无关的记忆模块。被淡化的竞争路线包括:(a) 纯 k-mer tokenization(如 GENERator 的 6-mer),作者认为这会丢失单碱基分辨率和反向互补等变性;(b) 检索增强生成(RAG)式的数据库外挂,作者未讨论其与端到端学习的优劣;(c) 图神经网络或卷积网络对基序的显式建模,作者完全未提及。

值得研究者去查的问题:为什么作者没有引用任何关于 DNA 语言模型可解释性分析的工作(如 attribution 方法)?如果现有模型已经能通过注意力头隐式识别基序,Gengram 的增量价值是否只是效率而非能力?另外,[4] 的"系统性失败"结论是否已被其他团队复现?

张力

未见明显对立引用。但存在一个隐含张力:规模路线 vs. 效率路线。Evo2 和 Genos 的结论是"更大 = 更好",而 Gengram 的结论是"更聪明的架构 = 更好"。两者并不直接矛盾(Gengram 也受益于更大的主干),但资源有限的研究者需要选择站队。另一个张力在 tokenization:GENERator 的 6-mer 与 Gengram 的 1-6mer 哈希表都试图捕捉多碱基模式,但前者是硬切分(有信息损失),后者是软检索(保留单碱基分辨率)。作者暗示后者更优,但没有直接对比实验。


二、最核心、最简单的例子 / 数学问题

第一步:符号、模型、可观测数据

符号清单(按本文出现顺序):

符号 含义 类型
\(X \in \mathbb{R}^{n \times d_{model}}\) 输入序列的嵌入表示(n 为序列长度,\(d_{model}\) 为隐藏维度) 可观测(由主干网络产生)
\(X^{(\ell-1)} \in \mathbb{R}^{n \times d_{model}}\) 第 \(\ell\) 层 Transformer 的输入隐藏状态 可观测(中间变量)
\(N \in \mathcal{N} = \{1,2,3,4,5,6\}\) k-mer 长度集合 超参数
$M^{(N)} \in \mathbb{R}^{ \Sigma ^N \times d_m}$
$h_N(\cdot): \Sigma^N \to {0,\dots, \Sigma ^N-1}$
\(W_t = \{t-W, \dots, t-1\}\) 位置 t 的因果局部窗口(W 为窗口大小) 超参数
\(G_t^{(N)}\) 窗口内所有 N-gram 的集合(去重后) 由输入序列导出
\(\tilde{G}_t^{(N)}\) 去重后的 N-gram 集合 由输入序列导出
\(m_t^{(N)}\) 第 N 级聚合后的记忆向量 中间变量
\(m_t\) 跨 N 级拼接后的总记忆向量 中间变量
\(z_t, u_t\) 门控机制的投影向量 中间变量
\(\tilde{u}_t\) 门控后的记忆信号 中间变量
\(Y_t\) Gengram 模块的输出(残差加到主干) 可观测(输出)

模型(数据生成机制):

  1. 主干网络:任意 Transformer 架构(本文测试了 MHA、MLA、GQA 三种注意力机制),输入为单碱基 one-hot 编码的 DNA 序列。
  2. Gengram 模块(插入到指定层 \(\ell\)):
  3. 检索:对位置 t,在窗口 \(W_t\) 内枚举所有 N-gram(N=1..6),通过哈希函数 \(h_N\) 查表得到向量 \(M^{(N)}[h_N(g)]\)。
  4. 聚合:对每个 N 级,对去重后的 N-gram 向量做平均池化(mean pooling),得到 \(m_t^{(N)}\)。
  5. 融合:拼接所有 N 级的 \(m_t^{(N)}\),得到 \(m_t\)。
  6. 门控:计算 \(z_t = m_t W_z + b_z\),\(u_t = m_t W_u + b_u\),然后通过缩放点积门控 \(\tilde{u}_t = \sigma(\text{RMSNorm}(X_t)^T \text{RMSNorm}(z_t) / \sqrt{d_{model}}) \cdot u_t\)。
  7. 残差注入:\(Y_t = \text{SiLU}(\text{RMSNorm}(\tilde{u}_t)) + X_t^{(\ell-1)}\)。

  8. 训练目标:标准的下游任务监督学习(分类/回归),或预训练的自回归/掩码语言建模目标。

可观测数据: - 预训练:约 250B token 的 DNA 序列(人类 + 非人灵长类,来自 HPRC 和 RefSeq),序列长度 8,192(阶段一)和 32,768(阶段二 CPT)。 - 下游评估:18 个 benchmark 数据集,覆盖 5 大类任务(基因组结构理解、基因调控预测、表观遗传谱、变异效应、进化分析)。

关键识别问题:Gengram 的 estimand 是"给定局部 DNA 上下文,预测当前碱基/区域的功能属性"。其识别策略完全依赖于监督学习的经验风险最小化——没有显式的因果模型,也没有处理混淆的机制。这是一个纯预测问题,而非因果推断问题。

第二步:最小内核

最小例子:假设我们有一个极简的 DNA 序列,只含 3 个位置:ATG。设窗口大小 W=2,N ∈ {1,2}。

  • 位置 t=3(当前碱基 G):
  • 窗口 \(W_3 = \{1, 2\}\),即碱基 A, T。
  • N=1:枚举 1-gram {A, T},查表得到 \(M^{(1)}[h_1(A)]\) 和 \(M^{(1)}[h_1(T)]\),平均得 \(m_3^{(1)}\)。
  • N=2:枚举 2-gram {AT},查表得到 \(M^{(2)}[h_2(AT)]\),平均得 \(m_3^{(2)}\)(只有一个元素,平均不变)。
  • 拼接:\(m_3 = [m_3^{(1)}, m_3^{(2)}]\)。
  • 门控:计算 \(z_3, u_3\),然后 \(\tilde{u}_3 = \sigma(\text{sim}(X_3, z_3)) \cdot u_3\),其中 sim 是 RMSNorm 后的点积。
  • 输出:\(Y_3 = \text{SiLU}(\text{RMSNorm}(\tilde{u}_3)) + X_3^{(0)}\)。

这个例子揭示了 Gengram 的核心思想:模型不是从零开始"计算"基序的含义,而是直接查找预先存储的基序向量。这类似于语言模型中的"记忆增强"——把频繁出现的模式(如启动子、剪接位点)存储在哈希表中,避免每次重新推理。

数学本质:Gengram 做的事情可以看作是一个可微的、基于内容的记忆检索。形式上,它计算的是:

\[m_t^{(N)} = \frac{1}{|\tilde{G}_t^{(N)}|} \sum_{g \in \tilde{G}_t^{(N)}} M^{(N)}[h_N(g)]\]

这等价于对窗口内所有 N-gram 的嵌入做平均池化。门控机制 \(\tilde{u}_t\) 则是一个软选择:它根据当前 token 表示与记忆内容的相似度,决定记忆信号注入的强度。

为什么有效:DNA 序列中,功能基序(如 TATA box)是高度保守的。Gengram 的哈希表相当于一个"基序词典",模型在预训练中学会了哪些基序重要(通过梯度更新 \(M^{(N)}\)),在下游任务中直接检索。这比让 Transformer 从单碱基开始隐式组合基序更高效——因为基序的组合是组合爆炸的,而查表是 O(1) 的。

关键假设: 1. 局部性假设:功能基序主要影响其邻近位置(窗口 W=21 对应 DNA 两圈螺旋)。 2. 可加性假设:不同长度的基序(1-6mer)对功能的贡献是可加的(通过拼接而非非线性组合)。 3. 静态性假设:基序的语义在不同上下文中不变(哈希表的键是固定的)。

这个最小内核的局限:它无法处理基序之间的长程交互(如增强子-启动子环化),也无法处理基序的上下文依赖性(同一个基序在不同染色质状态下功能不同)。这些是 Gengram 的已知边界,也是后续工作的潜在切入点。


三、这篇论文做了什么

三句话

  1. 研究了什么问题:Transformer 架构的 GFMs 缺乏显式的多碱基基序记忆机制,导致在基序主导的功能基因组学任务上效率低下、表现次优。
  2. 核心工具/方法:提出 Gengram,一个基于哈希表的条件记忆模块,通过局部窗口聚合和门控机制,将 k-mer 基序知识显式注入 Transformer 主干,且仅增加约 60M 参数。
  3. 主要结论:在 18 个 benchmark 任务上,Gengram 相比基线模型(同参数量、同训练数据)取得最高 14% 的 AUC 提升;在长上下文任务上,8k 上下文的 Gengram 可匹配或超越 32k 上下文的基线模型;Gengram 还稳定了 MoE 的负载均衡。

关键设定与假设

完整设定(在最小内核基础上补充):

  • 主干网络:12 层 Transformer,hidden size 4096(10B 模型),GQA 注意力(8 个 query 组)。对比基线包括 MHA、MLA、GQA 三种注意力机制。
  • Gengram 插入位置:层 {3, 6, 10}(浅、中、深各一层),通过层选择实验确定。
  • k-mer 范围:N = 1,2,3,4,5,6,每个 N 级维护独立的哈希表 \(M^{(N)} \in \mathbb{R}^{5^N \times 1024}\)。
  • 窗口大小:W = 21(通过窗口扫描实验确定,见 Figure 2 bottom)。
  • 门控机制:缩放点积门控,使用 RMSNorm 归一化。
  • 训练:两阶段。阶段一:8k 上下文,250B token(其中 50B 用于消融,200B 用于正式训练)。阶段二:CPT 到 32k 上下文,100B token,引入双链随机分配(56% 负链 / 44% 正链),移除基因距离过滤。
  • 评估协议:零样本(frozen backbone + MLP/XGBoost 分类头),18 个数据集。

关键假设(相比已有文献的强化/弱化):

假设 本文设定 相比文献
基序长度 1-6mer 比 GENERator 的 6-mer 更灵活(软检索 vs. 硬切分)
局部性 W=21(两圈 DNA 螺旋) 比 Evo2 的全局注意力更强调局部先验
记忆容量 每级 \(5^N\) 行 显式可扩展,不随序列长度增长
计算复杂度 O(n) 检索 比注意力 O(n²) 更高效

统计含义: - Gengram 的哈希表可以看作是一个非参数的基序频率估计器——它存储了所有可能 k-mer 的嵌入,相当于对基序空间做了完全枚举。 - 门控机制是一个自适应核回归:它根据当前 token 与记忆内容的相似度(点积)加权记忆信号。 - 窗口聚合是局部平滑:它假设基序的影响在 21bp 范围内是平稳的。

主要结果

核心定量结果(Table 3):

任务类别 Gengram-10B (8k) Genos-10B Evo2-40B GENERator-3B
剪接位点识别 (splice_sites_all) 0.9009 0.7990 0.9138 0.8071
多物种外显子分类 0.9832 0.9755 0.9332 0.9455
灵长类-哺乳动物物种分类 (8k) 0.9611 0.9739 0.8867 0.8424
灵长类-哺乳动物物种分类 (32k) 0.9630 0.9804 0.9101 0.8928

关键对比: - Gengram-10B 仅用 200B token 训练,在剪接位点识别上超过 Evo2-40B(9.3T token)0.9 个百分点(0.9009 vs 0.9138 的差距缩小到 1.3 个百分点,但 Evo2 用了 46 倍数据)。 - Gengram-10B 在多物种外显子分类上超过 Genos-10B(2.2T token)0.8 个百分点。 - 8k 上下文的 Gengram 在灵长类-哺乳动物分类上超过 32k 上下文的 Evo2-40B(0.9611 vs 0.9101)。

消融实验(Table 2): - 窗口机制贡献:Gengram-10B-L3_6_10-W21-8k vs Gengram-10B-L3_6_10-8k(无窗口)在 splice_sites_all 上提升 5.6 个百分点(0.9009 vs 0.8453)。 - CPT 到 32k 的增益:对窗口版本仅提升 0.3 个百分点(0.9009 → 0.8858 反而下降),说明窗口机制已内化了长程能力。

负载均衡(Figure 5): - 在 Top-2/128、64、32 专家设置下,Gengram 的负载均衡损失曲线更平稳,方差更小。作者归因于门控机制吸收了局部噪声,减少了路由器的"虚假信号"。

可解释性(Figure 6-9): - 窗口化 Gengram 使隐藏状态范数更平滑,抑制了高频抖动。 - 3-mer 哈希表的 t-SNE 可视化显示:反向互补对(如 ATG/CAT)在嵌入空间中距离较近,但不完全重合;同义密码子并未聚类在一起(近零 ARI),说明哈希表不是简单的"密码子词典",而是编码了更丰富的上下文信息。

证明路线与技术技巧

整体路线:本文是实证驱动的架构论文,没有形式化定理。证明"有效性"的方式是:(1) 消融实验分离变量贡献;(2) 跨架构泛化测试(MHA/MLA/GQA);(3) 机制分析(隐藏状态范数、负载均衡、嵌入可视化)。

关键技术技巧:

  1. 哈希函数设计:使用确定性 base-5 编码(A=0, C=1, G=2, T=3, N=4),将 N-gram 映射到 \([0, 5^N-1]\) 的整数索引。这保证了:
  2. 无碰撞(完美哈希)
  3. 计算 O(1)(纯索引操作)
  4. 可微(嵌入矩阵的查表操作可通过梯度反传)

  5. 去重聚合:对窗口内重复出现的 N-gram 先去重再平均,避免高频重复基序(如 poly-A)主导记忆信号。这是对"频率偏置"的显式修正。

  6. 门控机制:缩放点积门控 \(\sigma(\text{RMSNorm}(X_t)^T \text{RMSNorm}(z_t)/\sqrt{d_{model}})\) 是一个软开关——当输入与记忆内容相关时,门控接近 1,记忆信号被注入;否则接近 0,记忆被抑制。这比硬门控(如 ReLU)更平滑,有利于梯度流动。

  7. 层选择策略:通过单层扫描实验确定最优插入层({3, 6, 10}),而非在所有层都插入。这避免了过度参数化,也符合"浅层处理局部特征、深层处理全局语义"的直觉。

  8. 两阶段训练:阶段一(8k)学习基础表示,阶段二(CPT 到 32k)引入双链随机分配和全基因组暴露。这种课程学习策略使模型先掌握局部基序,再扩展长程能力。

证明中的薄弱环节(值得研究者注意): - 没有与同参数量的纯注意力模型在相同 FLOPs 下对比(Table 3 的对比对象训练数据量不同)。 - 负载均衡的改善缺乏统计检验(只有曲线图,没有方差数值)。 - 可解释性分析是定性的(t-SNE 图),没有量化指标(如基序富集分析的 p 值)。

真实例子与应用

数据:预训练数据来自 HPRC release 2(94 个单倍型组装,来自 47 个祖先多样性个体)+ NCBI RefSeq(人类 + 灵长类)。阶段一 250B token(8k 序列),阶段二 100B token(32k 序列)。

下游任务(18 个数据集,5 大类): 1. 基因组结构理解:编码 vs 非编码区分、外显子分类、剪接位点识别 2. 基因调控预测:启动子/增强子预测、转录因子结合位点 3. 表观遗传谱:组蛋白修饰(H3、H3K36me3)预测 4. 变异效应:eQTL 因果变异识别 5. 进化分析:灵长类-哺乳动物物种分类

关键例子:剪接位点识别(splice_sites_all)是基序主导任务的代表——剪接供体/受体位点由高度保守的短序列基序(如 GT-AG 规则)决定。Gengram 在此任务上从 0.8453(无窗口)提升到 0.9009(有窗口),说明显式基序记忆直接转化为任务性能。相比之下,在需要长程整合的任务(如物种分类)上,窗口机制的增益较小(0.9611 vs 0.9630),因为这类任务更多依赖全局序列组成而非局部基序。

这个例子的意义:它验证了 Gengram 的核心假设——基序主导的任务是 GFMs 的薄弱环节,而显式记忆可以精准补强。同时,它也划定了 Gengram 的适用边界:对长程、非基序任务,增益有限。


四、开放问题

  1. 窗口大小的自适应选择(扎根于 Figure 2 bottom 的窗口扫描实验):作者固定 W=21,但不同功能元件(如增强子 vs 启动子)的最优窗口可能不同。能否让窗口大小成为可学习的参数,或根据序列上下文动态调整?

  2. 哈希表的生物学语义验证(扎根于 Section 5.5.3 和 Appendix B):作者展示了 3-mer 嵌入的反向互补对称性,但没有系统验证哈希表是否编码了已知的转录因子结合基序(如 JASPAR 数据库)。能否用基序富集分析(如 HOMER)量化哈希表与已知基序的一致性?

  3. 记忆容量与泛化的权衡(扎根于 Section 3.2 的哈希表设计):\(|\Sigma|^N\) 随 N 指数增长,6-mer 需要 \(5^6=15625\) 行。当 N 更大时,记忆矩阵是否过参数化?能否用低秩分解或哈希技巧压缩记忆表?

  4. Gengram 与长程机制的协同(扎根于 Section 5.1 的 CPT 实验):窗口机制在 8k 上下文下已接近 32k 基线的表现,但这是否意味着 Gengram 可以替代长上下文?还是说两者互补——Gengram 处理局部基序,注意力处理长程调控?

  5. 理论保证的缺失(扎根于全文无定理的现状):Gengram 的"记忆 + 门控"机制能否被形式化为某种核回归或稀疏编码模型?能否给出泛化误差界,说明在什么条件下记忆模块优于纯注意力?

确认 gap 的方法:要验证上述问题是否为真 gap,建议去读以下近期工作的 intro:(a) 基因组基础模型的 tokenization 对比研究(如 Evo2 的技术报告);(b) 检索增强生成在生物学中的应用;(c) DNA 语言模型的可解释性分析。如果这些工作都没有涉及显式基序记忆,那么 Gengram 打开的这条线确实值得跟进。


Maintained by 陈星宇 · Homepage · Source

评论