Session 11 · Physics of Deep Learning¶
XAGI 2026 交叉智能大会 · 10 月 18 日(周日)上午 10:00-12:00 · 5会(友谊宫二层5号会议室) · 返回会议总览
- 3 场报告 · 已精读 3 场
主持:陈焕然(清华大学)
本场导览¶
自动生成:归纳本场主线,不打分、不排名。
这一场报告共同指向一个核心问题:如何把深度学习从“工程试错”推进为“可理解、可预测、可设计”的科学对象。三条主线清晰可辨:一是以实验系统为工具,把训练过程变成可观测、可干预的对象(刘子鸣、张耀宇);二是从物理原理出发,为模型结构提供设计依据(罗迪);三是将上述理解反哺为AI自动设计自身的能力(刘子鸣的ArchitectureIQ部分)。三场报告在方法论上形成互补:张耀宇强调现象驱动的归纳路径,刘子鸣则在此基础上加入“人机协作实验”的闭环,罗迪提供自上而下的物理约束作为理论锚点。
最突出的主线是“实验科学化”路径。张耀宇提出用简单可控系统观察训练动态,寻找稳定规律并构造描述量,其立场是现象研究应作为独立科学实践,与纯数学推导和工程应用并行。刘子鸣的ComfyResearch将这一思路工程化:把神经网络训练做成可观测、可干预的实验平台,系统研究scaling law、grokking等具体现象;进而通过Physics of AI Game把研究问题转化为标准化“实验题”,训练人和AI从训练曲线与内部observable出发提出假设、设计干预——这实质上是把张耀宇的“现象驱动”方法论固化为可重复的流程。罗迪的沃尔什度分析则提供了量化工具:用自由能视角刻画函数变量交互阶数,直接关联MLP宽度深度、RBM隐藏单元数,为“现象”提供可计算的描述量,与张耀宇“构造合适描述量”的目标形成直接对接。
若按主题选择入口:想了解“如何把训练过程变成实验科学”,先看张耀宇的框架性论述,再看刘子鸣的ComfyResearch与Physics of AI Game作为具体实现;若关注“物理原理如何约束模型设计”,直接进入罗迪的报告,其中费米对称性用于量子态表征、沃尔什度分析用于网络结构设计、QuanTA用于大模型微调,三个案例覆盖从底层表征到高层应用的完整链条。刘子鸣的ArchitectureIQ部分可作为进阶内容,它把前两者的成果(实验平台+物理描述量)整合为“AI理解架构”的测试场景,适合已熟悉前两场内容的读者。
1. 从AI的物理学到AI自进化¶
讲者:刘子鸣(清华大学 · 人工智能学院) · 10:00-10:40
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
摘要(会议官网)
今天的 AI 很大程度上仍然依赖于规模化的试错:更大的模型、更多的数据、更昂贵的实验。但如果我们希望 AI 能够真正实现自主进化,一个更基础的问题是:我们是否能够理解、预测,并最终自动设计 AI 本身? 本报告将介绍我们从 Science of AI 到 AI for AI 的一系列探索。首先,我们开发了 ComfyResearch,将神经网络训练变成一个可观测、可干预的实验系统,系统研究 scaling law、grokking、优化动力学等现象;在此基础上,我们进一步构建 Physics of AI Game,把这些研究问题转化为可控的“实验题”,训练人和 AI 从训练曲线与内部 observable 出发,通过提出假设、设计干预、总结规律来解决问题。进一步地,ArchitectureIQ 将这种能力扩展到模型架构:给定不同的网络结构与训练条件,测试一个智能体能否理解架构如何影响训练动力学,并找到更好的模型设计。 这些项目最终指向一个更长期的目标:构建能够理解 AI 的 Meta Model,以及能够自主开展研究的 Auto Research 系统。我们希望 AI 不再只是在巨大的架构空间中盲目搜索,而是像科学家一样,通过实验积累知识、形成规律,并利用这些规律提出新的架构和算法。 从观测 AI,到理解 AI;从预测 AI,到设计 AI;最终,让 AI 成为研究和进化 AI 自身的工具。这可能代表一种不同于单纯扩大算力的新路径:Scale insight, not compute.
(未检索到公开论文,以下依据报告摘要与讲者方向推断)
问题:当前 AI 研发依赖“规模化试错”——扩大模型、数据和算力,但缺乏对训练过程本身的理解与预测。报告提出一个更基础的问题:能否像物理学研究自然现象那样,把 AI 系统当作可观测、可干预的实验对象,理解其规律,进而让 AI 自动设计 AI?这一方向在 scaling law、grokking 等经验现象大量积累但缺乏统一理论的背景下显得迫切,摘要中明确以“Scale insight, not compute”作为替代路径的纲领。
核心方法:报告描述了一条从“观测”到“设计”的递进式工具链。首先是 ComfyResearch,将神经网络训练转化为可观测、可干预的实验系统,用于系统研究 scaling law、grokking、优化动力学;接着是 Physics of AI Game,把研究问题变成可控“实验题”,让人类和 AI 从训练曲线与内部 observable 出发,通过提出假设、设计干预、总结规律来求解;ArchitectureIQ 进一步把能力扩展到架构层面,测试智能体能否理解网络结构如何影响训练动力学并找到更优设计。这些工具最终指向 Meta Model(理解 AI 的模型)与 Auto Research(自主开展研究的系统),使 AI 能基于实验积累知识并生成新架构与算法。
与已有工作的关系:该路线属于 Science of AI 与 AI for AI 的交叉,与讲者此前在机械可解释性(如 grokking 研究)、生成模型(PFGM/PFGM++)及架构设计(Kolmogorov-Arnold Networks)上的工作一脉相承。相比单纯用搜索或元学习自动找架构的路线,这里强调先建立“训练动力学”的可解释模型,再让 AI 基于规律进行设计;与同期强调 scaling law 预测的工作相比,更侧重干预实验和闭环验证。摘要未给出与具体基线方法的定量对比。
贡献与边界:主要贡献是提出一套将 AI 研究“实验科学化”的系统框架,把理解、预测、设计 AI 三个层次串联起来,并给出三个具体工具作为落地载体。边界在于:摘要未提供任何实验规模、性能数字或验证结果,因此尚不清楚这些系统在多大程度上超越了人工经验;其核心假设是训练曲线与内部 observable 足以支撑对 AI 行为的规律发现,但这一假设对超大规模模型是否成立并未讨论;此外,Meta Model 与 Auto Research 仍属长期目标,当前阶段更接近方法论倡议而非成熟系统。
讲者简介
刘子鸣,清华大学人工智能学院助理教授、上海期智研究院 PI、元环智能创始人。本科毕业于北京大学物理学院,博士毕业于 MIT 物理系,师从 Max Tegmark,曾于 Stanford University 从事博士后研究。 研究方向聚焦于 Science of AI、AI for AI 与 AI for Science,致力于理解人工智能系统背后的基本规律,并利用 AI 自动发现和设计更好的 AI。代表性工作包括 Kolmogorov-Arnold Networks(KAN)、PFGM/PFGM++、AI Poincaré、Grokking 等。目前重点探索 AI 训练动力学、模型架构自动发现、元模型(Meta Model)与世界模型,希望推动 AI 研发从依赖人工经验的试错范式,走向可理解、可预测、可自动化的科学范式。 曾获 Google PhD Fellowship,研究成果发表于 NeurIPS、ICML、ICLR 等国际会议,并受到 Quanta Magazine、Scientific American、MIT News 等媒体报道。
2. Towards the Foundation of Deep Learning¶
讲者:张耀宇(上海交通大学 · 自然科学研究院、数学科学学院) · 10:40-11:20
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
摘要(会议官网)
深度学习在过去十余年取得了令人瞩目的进展,但我们对其基本工作原理的理解仍远落后于工程实践。面对神经网络这样高度非线性、高维、强耦合的复杂系统,仅依赖自上而下的理论推导往往难以识别真正关键的结构与规律。本报告将从“现象驱动”的视角讨论深度学习基础研究的一种可能路径:通过简单、可控的实验系统观察训练过程,发现稳定且可复现的行为规律,构造合适的描述量,并进一步研究这些现象的适用边界、相互联系及其背后的机制。结合若干深度学习与语言模型中的代表性案例,我将讨论实验与现象研究如何作为一种相对独立的科学实践,与数学理论和工程研究相互促进,并进一步思考这些零散现象如何逐步汇聚成对深度学习更系统的理解。
(未检索到公开论文,以下依据报告摘要与讲者方向推断)
问题:深度学习工程成功与理论理解严重脱节,核心难题在于网络是高度非线性、高维、强耦合的复杂系统,自上而下的公理化推导难以识别真正关键的结构。报告主张转向“现象驱动”路径:用简单可控的实验系统观察训练过程,先发现稳定可复现的行为规律,再构造描述量并追问其边界与机制。这一转向的动机是,现有理论往往从理想化模型出发,而真实训练中涌现的规律可能才是理论建设的更可靠起点。
核心方法:方法上不是提出单一数学模型,而是建立一套“实验—现象—理论”的研究范式:设计最小化实验系统,记录训练动态,提取不依赖具体架构的规律性描述量,再研究这些描述量之间的关联与适用条件。讲者简介中提到的代表性成果可视为该范式的实例:深度学习的凝聚现象与动力学态相图、损失景观的嵌入原则、样本效率的乐观估计。报告将结合深度学习与语言模型案例,说明这些现象如何从零散观察逐步汇聚为系统性理解。
与已有工作的关系:这条路线区别于纯数学推导的深度学习理论(如泛化界、神经正切核等自上而下框架),更接近统计物理中“先观察相变、再构建理论”的做法。讲者合著的《深度学习现象导论:从感知机到大模型》暗示其工作覆盖从经典小模型到现代大模型的连续谱系。凝聚现象与相图分析对应训练动态中的临界行为,损失景观嵌入原则则与高维非凸优化的景观几何研究相关,但报告摘要未给出与具体基线的直接对比。
贡献与边界:主要贡献是把“现象研究”提升为相对独立的科学实践,与数学理论、工程研究形成互补,而非仅作为理论的辅助验证。边界在于:现象驱动依赖实验系统的可控制性与可观测性,简单系统发现的规律能否迁移到真实大模型仍需论证;报告摘要未给出具体实验规模、数据集或定量结果,因此无法评估其结论的稳健性与普适范围。此外,未检索到对应公开论文,以上推断仅基于摘要与讲者方向,具体方法细节待原文验证。
讲者简介
张耀宇,上海交通大学长聘教轨副教授,2012年于上海交通大学致远学院获应用物理学学士学位及应用数学第二专业,2016年于上海交通大学数学科学学院获数学博士学位,2016年至2020年先后于纽约大学阿布扎比分校&库朗研究所、普林斯顿高等研究院从事博士后研究工作,2020年加入上海交通大学。他的研究领域聚焦深度学习的理论基础,代表性成果包括深度学习的凝聚现象与动力学态的相图分析、损失景观的嵌入原则、样本效率的乐观估计等。相关工作发表于JMLR、M3AS、SIMODS、NeurIPS、ICML等机器学习和应用数学权威期刊和会议,并合著出版《深度学习现象导论:从感知机到大模型》。
3. 物理第一性 AI:从物理到智能¶
讲者:罗迪(清华大学 · 物理系、高等研究院) · 11:20-12:00
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
摘要(会议官网)
物理规律不仅为人工智能提供应用场景,也能为模型结构、表征能力与学习机制提供设计依据。本报告围绕“物理第一性 AI”,探讨物理与人工智能的双向启发。首先,从神经网络量子态出发,介绍如何将费米反对称性与规范对称性融入网络结构,以表征和模拟复杂量子系统。其次,从自由能视角引入沃尔什度,刻画函数中不同阶数的变量交互,讨论其与多层感知机(MLP)的宽度和深度、限制玻尔兹曼机(RBM)的隐藏单元数和连接度之间的关系,以及基底选择对量子态表征的影响。最后,介绍量子理论对人工智能的启发,包括用于大语言模型高效高秩微调的量子启发张量适配(QuanTA)、语言模型的信息结构与互信息标度,以及从物理过程构建生成模型的思路。报告将据此讨论如何把物理中的对称性、复杂度与信息结构转化为人工智能模型的设计原则。
(未检索到公开论文,以下依据报告摘要与讲者方向推断)
问题:报告聚焦“物理第一性 AI”,试图回答如何将物理规律转化为人工智能模型的设计原则。当前AI模型结构多依赖经验调参,而物理中的对称性、复杂度与信息结构提供了可形式化的约束。报告从量子多体问题出发,认为物理不仅是AI的应用场景,更是模型结构、表征能力与学习机制的设计依据。这一方向在量子计算与大规模语言模型并行的当下,具有交叉驱动的价值。
核心方法:报告提出双向启发框架。一方面,从神经网络量子态出发,将费米反对称性与规范对称性嵌入网络结构,以表征复杂量子系统;另一方面,从自由能视角引入沃尔什度,刻画函数中变量交互的阶数,并分析其与MLP宽度/深度、RBM隐藏单元数/连接度以及基底选择的关系。在AI侧,报告介绍了量子启发张量适配(QuanTA)用于大语言模型的高效高秩微调,并讨论语言模型的信息结构与互信息标度,以及从物理过程构建生成模型的思路。
与已有工作的关系:该工作沿两条路线推进:一是将物理对称性嵌入神经网络,相对通用MLP/RBM结构,强调利用费米反对称性与规范对称性;二是将量子理论工具用于AI模型设计,如QuanTA面向大语言模型的高效高秩微调,属于量子启发的张量适配方法。摘要未给出与具体基线的对比,也未提及同期工作名称,因此只能确认其方法定位在物理与AI的交叉地带。
贡献与边界:主要贡献是提出“物理第一性 AI”研究范式,将对称性、复杂度与信息结构系统性地转化为AI设计原则,并覆盖量子系统表征、模型结构分析、大模型微调与生成模型多个场景。边界在于:方法依赖物理对称性与自由能等假设,对不具备明确物理对称性的任务适用性未知;官网摘要未给出实验规模、数据集或性能数字,且未检索到公开论文,具体效果与局限无法从材料中确认。
讲者简介
罗迪(Di Luo),清华大学物理系副教授、清华大学高等研究院双聘研究员,智源青年学者。曾任麻省理工学院与哈佛大学博士后、美国人工智能与基本相互作用研究所(IAIFI)Fellow,以及加州大学洛杉矶分校助理教授。他的研究聚焦人工智能与量子物理的交叉领域,既利用神经网络研究量子多体系统,也以量子理论和统计物理启发人工智能模型设计。他提出“物理第一性 AI”研究范式,探索从物理学基本原理出发理解和构建人工智能系统,并入选2025年度《麻省理工科技评论》中国区“35岁以下科技创新35人”。
Maintained by 陈星宇 · Homepage · Source