Session 05 · AI Infra¶
XAGI 2026 交叉智能大会 · 10 月 17 日(周六)下午 14:00-16:00 · 3会(友谊宫二层3号会议室) · 返回会议总览
- 3 场报告 · 已精读 3 场
主持:杨朋昆(清华大学)
本场导览¶
自动生成:归纳本场主线,不打分、不排名。
这一场聚焦 AI 基础设施的工程化落地,三条主线并行:异构算力调度与成本优化(张先轶、李秀红)、面向 Agent 的训练系统改造(吴晨玮)。前两者处理“如何用更便宜的硬件跑更多 Token”,后者处理“如何让模型学会在真实环境里自主行动”,共同指向同一目标——把大模型从演示推向生产。
最突出的是跨集群异构推理这条线。李秀红介绍的无问芯穹 PDD 架构把传统 PD 分离拆成“Prefill-RelayDecode-MainDecode”三级,用广域网以太网串联多地存量数据中心,让不同“偏科”的硬件只做自己擅长的阶段。关键突破在于 RelayDecode 环节解决了以太网下 KV Cache 传输延迟的瓶颈,实测首 Token 延迟降 51.5%、单 Token 成本降 37.5%。张先轶的 FlagOS 则从系统软件层切入,面向私有化与公有云混合场景做统一调度,与 PDD 形成互补——一个侧重跨地域的链路重构,一个侧重单集群内的软硬件协同优化。两者都强调“存量资源”而非新建算力,是同一降本逻辑的不同层级。
若按主题选择入口:对推理成本与异构调度感兴趣,先看李秀红(PDD 架构,链路重构的完整案例),再看张先轶(FlagOS,系统软件层的通用方案);若关注训练侧,直接看吴晨玮——昇腾上的 AgenticRL 训练体系,涉及长轨迹强化学习的稳定性、训练与推理耦合等工程问题,并给出网络运维场景的落地实例,可作为“从训练到部署”的进阶参考。三场之间无直接依赖,可按需单独切入。
1. 基于FlagOS的高性价比混合云Token工厂¶
讲者:张先轶(澎峰科技 · 软件) · 14:00-14:40
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
摘要(会议官网)
面向多种异构算力,基于统一系统软件平台FlagOS,通过软硬件系统优化,打造高性价比的私有化与公有云Token工厂解决方案,满足当前AGI时代的降本增效需求。
(未检索到公开论文,以下依据报告摘要与讲者方向推断)
问题:报告面向AGI时代大模型推理与服务成本高企的痛点,提出在混合云(私有化+公有云)环境下构建“Token工厂”的解决方案。官网摘要指出,其动机是“满足当前AGI时代的降本增效需求”,而难点在于底层算力异构、系统软件栈割裂,导致资源利用率与运维效率不高。讲者背景(OpenBLAS发起人、CCF高性能计算专委常委)暗示问题定位在系统软件层,而非模型算法层。
核心方法:核心是统一系统软件平台FlagOS,对多种异构算力做抽象与调度,再通过软硬件系统优化,形成高性价比的Token生产/服务系统。方向层面可推断:FlagOS类似“算力操作系统”,向下屏蔽CPU/GPU/加速器差异,向上提供统一接口;优化可能涉及计算内核、内存管理、通信调度等。官网摘要未给出具体架构、优化技术或评测数字。
与已有工作的关系:从讲者经历看,这是从底层高性能计算库(OpenBLAS)向AI系统平台的延伸。OpenBLAS解决单机CPU上的线性代数性能,FlagOS则面向多机多卡、混合云场景的Token服务,属于“库→平台”的路线推进。与常见的模型推理服务框架相比(材料未点名具体系统),其差异点在于强调异构算力统一与软硬件协同,而非仅优化单一模型推理。以上为方向推断。
贡献与边界:贡献在于提出一个以系统软件平台为中心的Token工厂方案,试图在不依赖特定硬件的前提下降低单位Token成本,并兼顾私有化与公有云部署。边界:官网摘要未给出实现细节、性能数据或成本对比;未检索到公开论文,无法验证其实际效果。其可行性依赖FlagOS对异构算力的抽象效率与软硬件协同优化的实际收益,而这些在现有材料中均未展开。
讲者简介
中科院博士, UT Austin和MIT博后,CCF高性能计算专委常委,OpenBLAS开源项目发起人,澎峰科技创始人
2. 跨集群异构PD分离:挑战、设计与工程实践¶
讲者:李秀红(无问芯穹 · 技术) · 14:40-15:20
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
摘要(会议官网)
本演讲将介绍无问芯穹发布的跨集群异构推理架构PDD(Prefill-RelayDecode-MainDecode)。该架构以高性价比的广域网以太网串联多地已建成的同构数据中心,并将传统的 PD 分离链路“P-D”创新解构为“P-RLD-MD”的三级分离式推理架构。在让“偏科”的硬件能够只刷自己最擅长的题的同时,更突破性解决了以太网环境下 KV Cache 的传输延迟痛点。实测显示,该架构在实现了首 Token 延迟降低 51.5% 的同时,单 Token 成本可降低 37.5%。不仅意味着用户端速度体验得到显著提升,更实现了全域异构算力的最大化调度,让分散各处的存量集群资源能够充分释放产业价值。
(未检索到公开论文,以下依据报告摘要与讲者方向推断)
问题:本报告针对跨集群异构推理中传统 PD(Prefill-Decode)分离在广域网以太网环境下的瓶颈。多地已建成的数据中心算力分散,但硬件“偏科”严重,传统两级分离假设专用高带宽网络,而以太网下 KV Cache 传输延迟成为首 Token 延迟和成本的主要痛点。在推理成本高企、存量集群资源闲置的背景下,如何用低成本网络串联异构算力并提升利用率,是当前推理基础设施的关键问题。
核心方法:提出跨集群异构推理架构 PDD,将传统“P-D”链路解构为“P-RLD-MD”三级:Prefill(预填充)、RelayDecode(中继解码)、MainDecode(主解码)。通过广域网以太网串联多地数据中心,让不同硬件只执行各自擅长的阶段,同时针对以太网环境优化 KV Cache 传输。实测显示,该架构实现首 Token 延迟降低 51.5%,单 Token 成本降低 37.5%。但具体传输优化机制(如压缩、调度策略)与实验配置,官网摘要未给出。
与已有工作的关系:相对传统 PD 分离路线的直接推进。传统 PD 通常将 Prefill 与 Decode 拆到不同集群,依赖 RDMA 等低延迟网络;PDD 则面向广域网以太网这一更廉价但高延迟的环境,并引入中继解码环节来缓解 KV Cache 传输压力。讲者团队在高性能计算与推理基础设施方向有积累(如 ASPLOS '24 最佳论文),但本次报告的技术细节未公开,无法确认与具体基线方法的量化对比。
贡献与边界:主要贡献是提出三级分离架构,在以太网环境下同时改善用户感知延迟与单位成本,并提升异构算力调度效率。边界在于:实测数据可能依赖特定硬件组合与网络拓扑,未给出模型规模、集群规模及 KV Cache 传输的具体实现;且未检索到公开论文,无法验证复现。该架构是否适用于超长上下文、多租户混部等场景,仍需进一步材料支撑。
讲者简介
李秀红,无问芯穹技术副总裁,负责无问芯穹Agentic MaaS 模型推理技术。李博士在北京大学获得学士学位和博士学位,并在香港中文大学从事博士后研究。他在高性能计算、模型训练与推理基础设施领域拥有丰富经验。他在顶级国际期刊和会议上发表多篇论文,相关研究成果以第一作者和通信作者,获 ASPLOS '24 最佳论文奖和 PPoPP '19 最佳论文提名。
3. 基于昇腾的AgenticRL训练技术与企业级Agent落地实践¶
讲者:吴晨玮(华为 · GTS-AI算法部) · 15:20-16:00
对应论文:未检索到公开论文(以下为依据报告摘要与讲者方向的推断)
摘要(会议官网)
随着大模型从对话式智能向自主完成复杂任务的Agent演进,如何通过强化学习提升Agent的长程规划、工具调用与环境交互能力,正在成为大模型训练的重要前沿方向。然而,相比传统语言模型训练,AgenticRL具有轨迹长、交互复杂、训练与推理强耦合等特点,在训练稳定性、系统效率以及软硬件协同等方面带来了新的挑战。 本次报告将结合华为GTS在企业级Agent研发中的实践,介绍基于昇腾构建端到端AgenticRL训练体系的关键技术,包括强化学习训练稳定性与效率优化、领域模型能力增强,以及面向复杂真实任务的训练与评测方法。同时,将分享 AgenticRL 如何从训练技术走向实际业务,支撑网络运维等复杂领域中的企业级Agent落地。最后,报告将进一步探讨从“训练一个更强的模型”走向“构建能够在真实环境中持续学习和演进的智能体系统”所带来的新问题与技术机会。
(未检索到公开论文,以下依据报告摘要与讲者方向推断)
问题:大模型正从对话式智能转向自主完成复杂任务的 Agent,而强化学习(RL)被视为提升长程规划、工具调用与环境交互能力的关键训练范式。但 AgenticRL 相比传统语言模型训练,具有轨迹长、交互复杂、训练与推理强耦合等特点,带来训练稳定性、系统效率与软硬件协同三方面挑战。报告以华为 GTS 的企业级 Agent 研发为背景,聚焦“如何在昇腾平台上构建端到端可用的 AgenticRL 训练体系”,并追问训练技术如何真正支撑网络运维等复杂业务场景。
核心方法:报告提出一套基于昇腾的端到端 AgenticRL 训练方案,覆盖三个层面:一是强化学习训练稳定性与效率优化,针对昇腾硬件上的 RL 训练不稳定、效率低的问题做系统级改造;二是领域模型能力增强,通过多项领域化训练关键技术,使模型在 GTS 业务领域的任务能力提升 20% 以上(讲者简介数据);三是面向复杂真实任务的训练与评测方法,将长程轨迹、工具调用等真实业务信号纳入训练闭环。整体设计强调训练与推理的耦合处理,而非仅改进单点算法。
与已有工作的关系:该工作属于“RL 训练系统 + 领域落地”的交叉路线,与常见的通用 RLHF/PPO 训练框架不同,更接近针对 Agent 长轨迹交互的强化学习训练系统(如基于环境反馈的迭代式 RL 训练)。其特点在于绑定昇腾软硬件栈,解决国产芯片上 RL 训练的系统性问题;同时以网络运维等 GTS 实际业务为评测场,区别于以通用基准为主的学术研究。由于未检索到公开论文,无法确认其与具体基线(如 vLLM 推理耦合、Ray 分布式 RL 等)的对比细节。
贡献与边界:主要贡献是给出了昇腾上 AgenticRL 从训练到企业级落地的完整实践路径,并展示了领域能力提升 20% 以上的量化效果。边界在于:该结果来自讲者简介,官网摘要未给出具体实验设置、任务类型与评测指标,因此无法判断提升的统计显著性与泛化性;方案高度依赖华为昇腾硬件与 GTS 业务场景,迁移到其他芯片或非运维领域需要额外适配;报告最后提出的“真实环境中持续学习和演进的智能体系统”仍属展望,尚未给出可验证的系统设计或评估结果。
讲者简介
本科毕业于清华姚班,吉林省高考理科状元,杜克大学计算机博士、研究方向为深度学习理论,现就职于华为GTS-AI算法部,负责GTS领域大模型训练与应用,从算法、训练系统到实际应用开展了系统性探索。在昇腾上克服RL训练不稳定、效率低的难题,实现端到端AgenticRL模型训练方案;突破多项在昇腾上进行模型领域化训练的关键技术,实现模型领域能力提升20%以上;深入网络运维等多个GTS重大业务领域,主导设计的多款Agent应用已在华为公司内外实际业务中落地。
Maintained by 陈星宇 · Homepage · Source