Session 01 · Keynote¶
XAGI 2026 交叉智能大会 · 10 月 17 日(周六)上午 08:45-12:00 · 聚英厅(友谊宫二层) · 返回会议总览
- 4 场报告 · 已精读 4 场
主持:王健桥(清华大学)
本场导览¶
自动生成:归纳本场主线,不打分、不排名。
这一场由四场报告构成,核心关切是生成式AI的底层机制与学科交叉的边界。孙茂松的“随想录”从研究者视角提出生成式AI尚未解决的基本问题,并讨论大学在AI产学研模式中的角色调整;冯建峰则从神经科学数据(点场到连续随机场)出发,强调统计工具在解析大脑计算中的必要性,将AI视为理解脑的科学工具;邱子涵聚焦大模型内部机制,对Attention Sinks与Residual Sinks提出统一的功能性解释。三者分别从宏观学科生态、跨学科方法论、微观机制三个层面切入,但共享一个隐含前提:当前AI的“智能”仍缺乏可解释的底层原理。
最突出的主线是邱子涵对离群值的功能性分析,它直接回应了孙茂松提到的“基本问题”之一——高维激活中的涌现现象如何被理解。该报告提出离群值驱动的缩放机制,通过干预实验(移除归一化层或裁剪离群值)证明这些异常值并非噪声,而是与Softmax、RMSNorm协同实现高维优化的稳定缩放因子。这一视角与冯建峰的报告形成互补:冯建峰从神经科学数据中寻找统计规律,邱子涵则从模型内部激活中提炼结构规律,两者都在用统计工具逼近“计算如何发生”这一核心问题。孙茂松的讨论则提供了更宏观的框架,将这类机制研究置于大学与企业角色分工的语境中,暗示基础机制的理解可能影响未来产学研模式的走向。
若想快速进入本场,建议先看邱子涵的报告,它提供了可操作的机制假设和实验范式,适合作为理解大模型内部结构的入口;随后读冯建峰的报告,了解神经科学数据如何为AI机制研究提供类比或启发;孙茂松的报告适合作为收尾,用于将前两者的技术细节置于学科发展的宏观叙事中。三场报告在主题上递进:从微观机制到跨学科方法,再到学科生态反思,可按此顺序安排阅读。
1. 主办方致辞¶
讲者:刘军(清华大学 · 统计与数据科学系) · 08:45-09:10
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
(未检索到公开论文,以下依据讲者简介与会议主题推断)
问题:本场是大会开场致辞,而非学术报告。其要解决的问题不是某个具体技术难题,而是为“交叉智能”这一会议主题确立讨论起点:为什么统计与数据科学应当进入人工智能的核心议题。从讲者身份看,刘军作为统计与数据科学系主任、国际计算生物学会会士,致辞很可能将智能系统面临的不确定性、可解释性与可重复性问题,归因于缺乏严格的统计推断框架,从而把统计建模定位为交叉智能的基础环节。当前生成式AI与决策智能的规模化部署,恰好使这类问题从理论关切变成工程瓶颈,因此这一致辞具有明确的时间背景。
核心方法:致辞不提出新的算法或系统设计,因此没有通常意义上的核心方法。若从“致辞如何起作用”来看,其方法是通过讲者的学术权威与机构位置来构建议题框架:以美国科学院院士、JASA前联席主编的身份,将统计推断、计算生物学与人工智能并置,暗示它们共享方法论基础。简介中给出的40余名博士生、300余篇论文与10万余次引用,在此语境下不是技术贡献,而是支撑“统计学科有能力参与交叉智能对话”的可信度资源。
与已有工作的关系:由于未检索到对应论文,无法定位到具体基线或同期工作。从简介推断,讲者的长期方向横跨统计计算与计算生物学,这与以深度学习端到端学习为主的AI主流路线形成对照:致辞可能强调从数据生成机制出发的建模传统,而非仅依赖大规模拟合。但材料未给出任何方法名或比较对象,故只能停留在方向层面。
贡献与边界:贡献在于为会议设定议程,将统计推断与数据科学明确纳入交叉智能的讨论范围,并借助讲者履历为这一交叉提供合法性。边界同样明显:致辞不包含可检验的技术主张,官网未给摘要,无法评估其具体论证;其效果依赖听众对“统计是智能基础”这一前提的认同。若会议后续报告未跟进统计视角,则致辞的框架作用可能仅限于开场。
讲者简介
刘军,美国科学院院士、清华大学兴华卓越讲席教授、清华统计与数据科学系主任。于1991-2025年间,他曾任哈佛大学和斯坦福大学统计系助理教授、副教授、终身教授;还曾任美国统计协会会刊(JASA)联席主编及多个国际一流统计杂志副主编等职。曾获统计领域最高荣誉考普斯会长奖(2002)、华人数学家大会晨兴应用数学金奖(2010)、泛华统计协会许宝騄奖(2016)。于2004、2005和2022年分别成为数理统计学会(IMS)、美国统计学会(ASA)和国际计算生物学会(ISCB)选举会士。于2025年当选美国国家科学院院士。他指导了40多位博士生、30多位博士后;在国际权威期刊发表300余学术论文篇和一本专著,被引用10万余次 (GoogleScholar)。
2. 人工智能随想录¶
讲者:孙茂松(清华大学 · 计算机科学与技术系) · 09:10-10:00
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
摘要(会议官网)
本报告一方面从一名人工智能研究者的角度阐释了生成式人工智能亟待深入探究的若干基本问题,夹叙夹议地谈了他的一些学术困惑。另一方面,针对人工智能时代一流大学应如何做出适应性调整进行了初步讨论,强调指出从“企业主导的AI产学研用模式”拓展到“大学使能的初创企业主导的AI产学研用模式”的必要性和可能性。
(未检索到公开论文,以下依据报告摘要与讲者方向推断)
问题:报告聚焦生成式人工智能当前发展阶段中“亟待深入探究的基本问题”,并试图从一线研究者的视角提出学术困惑。背景是生成式AI已大规模落地,但底层机制、能力边界与理论解释仍不清晰;同时,AI对高等教育的组织模式和人才培养方式构成系统性冲击。报告将这两个问题并列,暗示它们并非孤立:AI研究的未解问题与大学如何培养下一代AI研究者、如何组织产学研生态,在逻辑上相互关联。
核心方法:报告不是提出新算法或新系统,而是以“随想录”形式的学术反思展开。前半部分围绕生成式AI的基本问题,采用“夹叙夹议”的方式逐条梳理研究困惑,官网摘要未给出具体问题清单或技术细节。后半部分提出一个明确的模式转变主张:从“企业主导的AI产学研用模式”转向“大学使能的初创企业主导的AI产学研用模式”。其关键构造是让大学在初创企业生态中扮演“使能者”角色,而非直接作为产业主体;摘要未给出该模式的具体运行机制、案例或量化评估。
与已有工作的关系:报告涉及两条已有讨论脉络。其一,生成式AI的可解释性、鲁棒性与理论根基问题,是当前NLP与AI领域广泛争论的议题,孙茂松作为自然语言处理学者,其“学术困惑”大概率指向语言模型的可解释性、涌现机制、评测方法等方向,但摘要未点名具体基线或同期工作。其二,关于大学在AI产学研中的角色,既有讨论多强调“企业主导”或“校企合作”,报告则明确主张以“大学使能”为杠杆、以“初创企业”为创新主体,这一提法区别于常见的“大学成果转化”或“企业研究院”模式,但摘要未给出与现有模式的比较分析。
贡献与边界:主要贡献在于以资深研究者的身份,公开提出生成式AI领域尚未解决的基本问题清单,并给出一个关于大学角色转型的制度性主张,具有议题设置和方向引导价值。边界也很明显:报告是“随想录”性质,非实证研究,未提供系统论证、数据支撑或案例验证;官网摘要未给出具体问题、模式细节或可行性分析。讲者简介显示其长期从事NLP、社会人文计算与计算教育学研究,并担任多项国家级项目首席科学家,这为报告的可信度提供了背景支撑,但不能替代对具体论点的学术检验。
讲者简介
孙茂松,清华大学计算机科学与技术系教授、博士生导师,清华大学人工智能研究院常务副院长,清华大学计算机学位评定分委员会主席,欧洲科学院外籍院士。2007-2018年任该系系主任、党委书记。主要研究领域为自然语言处理、人工智能、社会人文计算和计算教育学。国家重点基础研究发展计划(973计划)项目首席科学家,国家社会科学基金重大项目首席专家。北京智源人工智能研究院自然语言处理重大研究方向首席科学家,中央音乐学院、青海师范大学兼职教授、博士生导师,新加坡国立大学访问教授。在重要国际刊物、国际会议、国内核心刊物上发表论文200余篇,Google Scholar论文引用约9万次。
3. Neuroscience Where AI = Science¶
讲者:冯建峰(复旦大学 · 复旦大学类脑智能科学与技术研究院、大数据学院) · 10:00-10:50
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
摘要(会议官网)
Understanding our brain has always been an original source of inspiration for the development of AGI and current AI. I will first introduce the challenges we face with the sheer amount of data collected in neuroscience, ranging from point fields to continuous random fields. By using and developing statistical tools, we are able to gradually peer through the layers of the mysterious computations implemented in the brain. Empowered by our current knowledge in neuroscience, we then move toward developing a whole-brain model at the neuronal scale, with 86 billion neurons and 100 trillion parameters to be learned: the Digital Twin Brain (DTB). Finally, I will introduce several applications of the DTB, including a clinical application platform, an experimental platform, and embodied AI.
(未检索到公开论文,以下依据报告摘要与讲者方向推断)
问题:报告要解决的核心问题是:脑科学数据规模爆炸式增长,但缺乏能从中提炼计算原理、并反哺人工智能的统一样本框架。官网摘要指出,神经科学数据从点过程到连续随机场,形态复杂、体量巨大,而现有统计工具难以直接刻画大脑的“神秘计算”。同时,AGI 的发展长期从脑启发中获取灵感,因此需要一条从数据到机制、再到可计算模型的通路。讲者简介中提到的抑郁症“奖惩环路失衡”机制与精神分裂语言起源假说,也表明其动机在于用数据驱动方式建立脑机制的可检验模型。
核心方法:方法分三步。第一步,用和发展统计工具处理从点场到连续随机场的多模态神经数据,逐步“透视”大脑计算层。第二步,基于这些知识构建全脑尺度的数字孪生脑(DTB)模型:在神经元尺度上包含 860 亿个神经元、待学习参数达 100 万亿(即 \(8.6\times10^{10}\) 个神经元、\(10^{14}\) 量级参数)。第三步,将 DTB 用于三类应用:临床平台、实验平台和具身 AI。讲者简介补充了其数学基础——矩神经网络数学理论,但官网摘要未给出 DTB 的训练方式、参数估计方法或验证指标。
与已有工作的关系:该工作属于“脑启发 AI”路线中从局部机制走向全脑仿真的一支。相比常见的脉冲神经网络(SNN)或连接组约束模型,DTB 的规模设定(860 亿神经元、100 万亿参数)直接对标人脑全尺度,而非皮层局部回路。讲者简介中“全世界首个全脑数字孪生脑模型”的表述,暗示其相对已有脑仿真工作的定位是“数字孪生”而非单纯生物物理模拟;矩神经网络理论则提供了一种不同于梯度下降或 STDP 的统计学习框架。官网摘要未列出具体基线或同期工作名称。
贡献与边界:主要贡献是提出一个端到端路线:从统计工具到全脑神经元尺度模型,再到临床、实验与具身 AI 应用,并给出 DTB 的规模定义。边界方面:官网摘要未给出 DTB 的仿真时间、生物保真度评估或与真实脑活动的定量对比;100 万亿参数的学习在现有算力下必然依赖强简化假设(如神经元同质性、连接规则先验),摘要未说明这些假设。临床平台与具身 AI 的具体效果、是否已进入验证阶段,官网摘要也未提供证据。因此,该报告更偏向研究纲领与系统架构展示,而非已完成的实验结论。
讲者简介
冯建峰,国家高层次引进人才,长江学者,复旦大学浩清教授,现任复旦大学类脑智能科学与技术研究院、大数据学院院长,上海数学中心首席教授,英国华威大学计算机系教授。长期致力于数学、脑科学和计算机科学的交叉融合研究,推动计算脑科学及其应用领域的发展。 主要研究贡献包括:在精神疾病研究方向,提出并在治疗上论证了抑郁症“奖惩环路失衡”神经机制,通过大数据挖掘验证精神分裂的语言起源假说;在计算神经科学方向,发展了全世界首个全脑数字孪生脑模型和矩神经网络数学理论;在人工智能方向,发展了多种新型神经网络结构和算法等。共发表五百多篇学术文章,许多成果以通讯作者发表在Cell, Science, Nature子刊,Science子刊,Lancet子刊,JAMA子刊,IEEE TPAMI和PRL等。中国NIPs第一人,2011年获英国皇家学会沃夫森研究功勋奖(首位华人),2019年作为三十年来的首位华人受邀在剑桥大学做Paykel Lecture年度冠名讲座,2023年获洪堡研究奖。
4. 大模型中离群值的功能性分析¶
讲者:邱子涵(阿里巴巴 · Qwen 预训练) · 11:10-12:00
对应论文:A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training · arXiv:2601.22966 · 📖 长篇精读
摘要(会议官网)
大语言模型(LLM)的高维激活空间中存在若干显著的涌现现象,尤以 Attention Sinks (少数词元获得异常偏高的注意力得分)与 Residual Sinks (少数固定维度持续保持较大幅值)最为典型。这些离群值常被视为异常或量化障碍,本文则提出一种统一的功能性视角:它们是实现高维缩放的关键机制。 具体而言,少量离群值与归一化层(如 Softmax、RMSNorm)协同,对非离群分量施加有效缩放,我们称之为离群值驱动的缩放(outlier-driven rescaling)。干预实验表明,离群值与归一化层联合发挥作用,主要充当缩放因子而非直接的语义载体:移除归一化层会使相应离群值消失,但训练稳定性下降;保留归一化层而裁剪离群值同样损害性能,表明该缩放机制对高维优化的稳定至关重要。这一视角亦为若干架构改进的有效性提供了统一解释。基于上述发现,我们进一步展示了将离群值吸收入可学习参数或引入显式门控缩放加以缓解的方法,有效提升了训练性能与量化鲁棒性。
问题
大模型高维激活中的离群值——Attention Sinks(少数词元获得异常高的注意力得分)与 Residual Sinks(少数固定维度持续保持大激活)——长期被视为量化障碍或异常现象,但直接裁剪或移除它们会严重损害性能。报告提出一个统一的功能性视角:这些离群值并非病理产物,而是与归一化层(Softmax、RMSNorm)协同、对非离群分量实施有效缩放的关键机制,即“离群值驱动的缩放”(outlier-driven rescaling)。该问题之所以现在值得做,是因为随着模型规模扩大,离群值对训练稳定性与量化鲁棒性的影响愈发显著,而既有工作多停留在现象描述或工程规避,缺乏对其功能角色的系统性解释。
核心方法
论文通过干预实验验证假设:移除归一化层会使对应离群值消失,但训练稳定性下降;保留归一化层而直接裁剪离群值同样导致性能退化,表明离群值主要充当缩放因子而非语义载体——其最终贡献远小于非离群分量。基于此,作者提出两类缓解手段:将离群值吸收进可学习参数(如 PreAffine,在 RMSNorm 前引入可训练逐元素缩放向量 \(\lambda_1\)),或引入显式门控缩放(GatedNorm,在归一化后加低秩自门控 \(y_g=\sigma(W_{up}(\text{swish}(W_{down}(y))))\),\(r\ll d\))。在 2B 模型、120B tokens 的设置下,GatedNorm 仅增加约 3.7M 参数(约 2%),延迟开销约 5%;平均提升训练性能 2 点,并在 W4A4 量化下将退化控制在 1.2 点以内。
与已有工作的关系
该工作直接回应了 Attention Sinks(Xiao et al., 2023b)与 massive activations(Sun et al., 2024)等既有观察,并将二者统一到同一缩放机制下。它区别于仅将离群值视为 Softmax 或 RMSNorm 副产品的解释,也不同于通过架构替换(如 DyT 点式归一化)来消除离群值的路线——论文实验显示 DyT 虽降低离群值幅度,却带来显著性能损失(+0.259)。同时,它借鉴了 Gated Attention(Bondarenko et al., 2023)中显式门控的思想,将其推广到残差流归一化,并证明在引入门控后,SwiGLU 与基于 sigmoid 的 GLU 性能差距缩小甚至反转,说明离群值缩放机制是架构选择敏感性的重要来源。
贡献与边界
主要贡献是提出并验证了离群值驱动的缩放作为 Transformer 训练稳定性的必要机制,为 Attention Sinks 与 Residual Sinks 提供了统一的功能性解释,并给出两种可落地的缓解方案(PreAffine、GatedNorm),同时改善训练性能与量化鲁棒性。边界方面:核心结论基于 2B 模型与 120B tokens 的稠密设置,虽在 24.6B MoE 上有初步验证,但更大规模、更长训练下的外推性仍需更多证据;论文假设离群值主要起缩放作用而非语义载体,这一判断在特定任务或下游微调中是否始终成立,官网摘要未给出充分讨论;此外,GatedNorm 的延迟开销在 MoE 中虽会下降,但稠密小模型上约 5% 的额外成本是否值得,取决于具体部署约束。
讲者简介
邱子涵本科毕业于清华大学姚班,现就职于 Qwen 预训练团队,专注于大模型架构与训练策略研究,基于模型机制提高训练稳定性和性能上限。已发表十余篇论文,其中一作论文荣获 NeurIPS 2025 最佳论文奖和 NAACL 2024 杰出论文奖。作为核心成员参与 Qwen2.5、Qwen3、Qwen3-Next、Qwen3.5、Qwen3.8-Flash-Next 等系列模型的研发,Google Scholar 引用量逾 2 万次。
Maintained by 陈星宇 · Homepage · Source