英伟达拿下全球74%的新增AI Agent推理容量,为什么峰值算力不再是唯一标准?

AI正在从单轮问答走向能够持续执行复杂任务的智能体,显存容量、内存带宽、芯片互联和软硬件协同的重要性随之提升。

文章作者、来源:ME News

TL;DR

  • Epoch AI最新研究显示,从2025年第二季度到2026年第二季度,全球AI Agent推理容量增至原来的4.6倍,而同期8位峰值算力仅增至2.6倍,反映出传统算力指标已经难以完整衡量AI基础设施的进步。
  • 英伟达Blackwell和Blackwell Ultra系列芯片贡献了这一时期全球74%的新增AI Agent推理容量,成为此轮推理基础设施升级的最大推动者。
  • 在Epoch AI设定的Agent工作负载下,GB300 NVL72系统平均每颗GPU的推理容量约为H100的25倍、H200的8倍,但其8位峰值算力仅为H100的2.5倍。
  • AI正在从单轮问答走向能够持续执行复杂任务的智能体,显存容量、内存带宽、芯片互联和软硬件协同的重要性随之提升。
  • 英伟达于11月17日确认停止向中国出货获许可的Hopper系列数据中心芯片,而华为计划在2027年第一季度推出昇腾960DT,国产AI芯片需要重新审视追赶目标。
  • AI推理效率的提升有望降低应用成本,但不意味着算力需求必然下降。未来AI产业真正值得关注的经济指标,将逐渐从单位算力成本转向完成单位有效任务的成本。

11月18日,人工智能研究机构Epoch AI发布了一项值得整个AI产业重新审视的研究。按照其最新估算,从2025年第二季度到2026年第二季度,全球累计售出的AI芯片所能提供的Agent推理容量增至原来的4.6倍,而同期峰值算力仅增至2.6倍。其中,英伟达Blackwell和Blackwell Ultra系列芯片贡献了74%的新增Agent推理容量。

更值得关注的是,GB300在研究设定的工作负载下,平均每颗GPU的Agent推理容量约为H100的25倍,而两者的8位峰值算力仅相差2.5倍。

就在这项研究发布前一天,英伟达公布了2027财年第三季度财报,季度营收达到1158亿美元,同比增长103%,其中数据中心业务收入达到1076亿美元,同比增长110%。

将这两件事放在一起看,我们或许能够更加准确地理解英伟达过去几年的商业成功。它不仅受益于全球科技公司对算力基础设施的大规模投资,也在相当程度上掌握了AI芯片性能的演进方向。

随着AI产业从聊天机器人迈向智能体,过去那套以峰值算力为核心的芯片评价体系正在暴露出局限性,而这场变化的影响,将从半导体产业逐渐传导至云计算、大模型和整个AI应用市场。

一、为什么GB300的推理容量可以达到H100的25倍?

过去几年,市场在讨论AI芯片性能时,最常使用的指标是FLOPS,即每秒浮点运算次数。无论是芯片厂商发布新品,还是投资机构评估不同企业之间的技术差距,这都是一项直观且容易进行横向比较的指标。

但峰值算力衡量的是芯片理论上的计算能力,并不能完整反映芯片处理实际业务的效率。尤其是在AI Agent逐渐普及之后,计算能力已经不再是决定推理效率的唯一核心变量。

以一个编程Agent为例,当用户要求AI修复某个软件项目中的错误时,它可能需要先理解项目结构,随后搜索代码、读取文件、分析错误日志、修改程序、运行测试,并根据测试结果重新调整方案。整个过程中,模型不仅需要持续生成内容,还需要保留此前积累的大量信息,并在后续推理中反复使用这些信息。

这些中间信息通常以KV Cache(键值缓存)的形式保存。随着任务持续时间延长、上下文不断增加,同时运行大量Agent所需要占用的显存也会相应增长。

这就带来了一个问题:即便芯片拥有足够强大的计算能力,如果显存空间不足,或者数据无法及时传输至计算单元,理论算力也很难得到充分利用。

英伟达近年来的产品迭代,恰好体现了这种变化。H100 SXM采用80GB高带宽显存,显存带宽约为3.35TB/s;H200将显存容量提升至141GB,带宽提升至4.8TB/s;Blackwell Ultra则将每颗GPU的标称显存容量进一步提升至288GB,带宽达到8TB/s。

与此同时,GB300 NVL72通过第五代NVLink将72颗GPU连接至一个高速互联域,整套系统的GPU互联总带宽达到约130TB/s。

这些改进并不是彼此独立的。更大的显存能够容纳更多模型数据和上下文缓存,更高的带宽能够加快数据访问,更强的互联能力则有助于降低大规模模型在多颗GPU之间运行时的通信开销,再配合低精度计算和模型架构优化,最终形成远超单项硬件指标增幅的推理容量提升。

Epoch AI的另一组数据尤其能够说明问题:同样采用Blackwell Ultra GPU的GB300 NVL72和B300 HGX,由于系统互联规模不同,前者平均每颗GPU的Agent推理容量约为后者的1.9倍。

这意味着,即使芯片本身属于同一代产品,不同的系统架构也可能带来显著的性能差异。英伟达如今的竞争力,已经越来越难通过一颗芯片的规格参数来完整解释。

当然,25倍并非适用于所有AI任务的通用性能结论。Epoch AI采用的是特定长上下文工作负载、四种代表性模型架构,以及每个请求每秒生成50至400个Token的速度要求进行建模估算,不能将其直接理解为所有AI应用的运行速度都提高了25倍。

二、贡献74%的新增推理容量,英伟达真正领先的是什么?

如果说25倍的性能差距反映的是技术路线的变化,那么74%的新增容量贡献率,体现的则是英伟达将技术优势转化为产业规模的能力。

Epoch AI的研究显示,截至2026年第二季度,Blackwell和Blackwell Ultra系列芯片约占全球累计售出AI芯片Agent推理容量的73%,但在同期累计8位峰值算力中的占比约为50%。

这两个数字之间的差异,比单纯讨论芯片出货量更有价值。它意味着即便其他厂商在出货规模或者传统算力指标上缩小了与英伟达的差距,也未必能够同步缩小实际Agent推理容量上的差距。

这正是英伟达近年来从GPU供应商向完整AI基础设施供应商转型的商业意义所在。

过去,数据中心采购GPU,可以在相当程度上采用标准化的硬件思维,比较芯片价格、计算性能和功耗。但随着模型规模扩大、推理任务复杂化,客户必须同时考虑服务器架构、通信网络、液冷系统、模型部署工具和推理调度软件等一系列问题。

对于一家需要服务数百万用户的AI公司而言,采购价格最低的芯片未必是最经济的选择。如果硬件利用率偏低,或者部署和维护需要投入大量工程资源,最终的使用成本可能反而更高。

英伟达通过CUDA软件生态、NVLink互联技术、网络设备以及机架级计算平台,将原本需要客户分别解决的问题整合到一套相对成熟的体系之中。这种系统级能力既提高了客户的部署效率,也增加了竞争对手实现全面替代的难度。

从投资角度来看,英伟达的护城河不能再简单归结为GPU性能领先。它更大的优势,在于能够根据主流AI模型的演进方向,协调计算、存储、通信和软件等多个环节,并将这些技术能力转化为大规模商业交付。

对于竞争对手而言,追赶的对象正在从一颗性能强大的芯片,变成一套持续迭代的计算体系。

三、推理容量大幅提升,为什么AI算力需求未必会下降?

一个看似合理的推论是,既然新一代芯片能够承载更多AI请求,那么科技公司未来需要采购的芯片数量是否会减少?

这种判断的问题在于,它默认AI的使用需求保持不变。然而,AI产业目前恰恰处于应用形态快速变化的阶段,单位任务成本下降,本身就可能催生新的需求。

过去,普通用户使用AI,主要集中在文章写作、信息查询、内容翻译等相对简单的场景。这些任务通常只需要一次或少数几次模型调用,而一个能够独立执行工作的Agent,可能需要在一项任务中反复调用模型,并持续运行数十分钟甚至更长时间。

当一家企业尝试将Agent引入软件开发、财务分析、客户服务或者内部运营流程时,AI消耗的计算资源不再只取决于有多少员工使用AI,还取决于每位员工同时运行多少个Agent、每个Agent需要执行多少步骤,以及任务复杂程度。

这种现象在经济学上可以借助杰文斯悖论来理解:当技术进步显著提高某种资源的使用效率时,如果效率改善能够充分刺激需求,那么该资源的整体消耗量反而可能增加。

但这一规律并不意味着AI算力需求必然无限增长。Agent能否稳定完成工作、企业是否愿意付费、自动化创造的价值能否覆盖运行成本,最终才是决定需求规模的关键。

对于AI应用创业公司而言,推理容量的增长首先意味着商业模式获得了更多探索空间。此前因为模型调用频率过高、运行成本过于昂贵而难以商业化的产品,未来可能具备更合理的经济性。

与此同时,市场也需要警惕另一种过度乐观的判断:推理容量增长25倍,并不等于推理成本下降至原来的二十五分之一。新一代设备的采购价格、电力消耗、冷却要求、折旧成本以及实际资源利用率,都会影响最终的商业成本。

因此,相较于每百万Token的价格,我更关注未来AI企业能否降低完成一项有效任务的综合成本。对于用户而言,真正有价值的是AI能否交付可靠的工作成果,而不是它在后台生成了多少Token。

四、中国AI芯片的追赶目标,也需要重新审视

11月17日,英伟达临时CEO Colette Kress在财报电话会上确认,公司已停止向中国出货获得许可的Hopper系列数据中心产品,这一系列包括H200。

根据路透社报道,英伟达在截至2026年10月25日的季度内,向中国销售了价值24亿美元的获许可Hopper系列数据中心产品,但其下一季度业绩指引未纳入来自中国的数据中心计算业务收入。目前,停止出货的安排是否具有永久性,尚未得到明确说明。

与此同时,华为在今年9月宣布,将昇腾960DT的上市时间提前至2027年第一季度,较原有路线图提前三个季度。

按照已经公开的产品规划,昇腾960DT的FP8峰值算力为2 PFLOPS,配备288GB内存,内存带宽达到9.6TB/s,芯片互联带宽达到2.2TB/s。

作为对比,英伟达H200 SXM公布的FP8峰值算力约为3.96 PFLOPS,但这一数字包含稀疏计算加速,其非稀疏理论峰值约为1.98 PFLOPS。因此,在统一计算口径之前,不能仅凭公开规格直接认定两款芯片的实际性能差距。

不过,从华为公布的下一代产品路线来看,其研发重点显然已经不局限于提升峰值算力,而是更加重视内存容量、带宽和多芯片协同能力。

华为同时公布了基于昇腾960系列芯片的Atlas 960E超节点方案,其设计规模最高可扩展至4096颗NPU,并提供最高约1PB的高带宽内存容量。这种技术路线与英伟达强调系统级计算能力的发展方向,在一定程度上存在共通之处。

但必须看到,昇腾960DT目前仍处于正式上市之前,公开规格不等同于经过独立验证的商业部署性能,最大规模的超节点设计也不代表已经实现同等规模的实际交付。

中国AI芯片产业面临的挑战,是如何在硬件制造、先进封装、高带宽内存、互联架构和软件生态等多个维度同步提升,并通过量产和真实业务验证形成可靠的商业供给。

如果未来衡量AI芯片竞争力的标准逐渐从峰值算力转向实际推理效率,那么单纯实现某项规格参数对标H100或者H200,其商业意义也需要重新评估。

五、英伟达的优势能够持续多久?

虽然Blackwell贡献了74%的新增Agent推理容量,但也不能据此线性外推英伟达未来几年的技术增长速度。

Epoch AI在最新研究中明确指出,从Hopper到Blackwell的技术迭代,已经实现了相当可观的软硬件协同收益,后续产品未必能够继续维持同等幅度的性能跃升。

按照该机构的建模结果,GB300的Agent推理容量约为H200的8倍,而英伟达新一代Vera Rubin平台所采用的VR200,其推理容量约为GB300的2.2倍。

英伟达已在11月17日发布的财报中确认,Vera Rubin NVL72已经开始出货。这意味着即便Blackwell仍然是当前全球AI基础设施的重要组成部分,下一轮产品周期也已经启动。

与此同时,谷歌TPU、亚马逊Trainium以及AMD等竞争力量也在探索各自的计算架构。特别是拥有自研模型和大规模云计算业务的科技公司,可以围绕相对明确的内部工作负载进行针对性优化,并不一定需要在所有应用场景中全面追赶英伟达。

当AI推理进入规模化商业阶段,企业对于供应商的选择也会越来越理性。如果其他计算平台能够在特定任务中提供更低的综合成本,那么英伟达的通用性优势和生态优势,也未必能够成为所有客户接受高额硬件溢价的充分理由。

英伟达未来真正需要证明的,是其产品迭代所带来的效率改善,能够持续转化为客户的经济收益。

结语

Epoch AI这项研究最大的价值,并不只是帮助市场重新认识Blackwell的技术性能,而是提醒整个产业重新思考算力的定义。

过去几年,AI产业的竞争主要围绕谁能够采购更多芯片、训练更大的模型展开。但随着智能体逐渐进入实际生产环境,产业价值的衡量标准正在发生变化。能够以更低成本、更稳定地支撑复杂任务的计算平台,将具备更强的商业竞争力。

英伟达贡献全球74%的新增Agent推理容量,说明它在这一轮技术转型中取得了显著的先发优势,但这个数字终究衡量的是潜在服务容量,而非实际使用需求、任务完成质量或者最终创造的经济价值。

对于整个AI产业而言,建设算力基础设施只是第一步。未来数年真正需要回答的问题,是这些不断增长的推理容量,究竟能够转化为多少真实生产力,以及由此创造的经济价值,能否支撑今天规模庞大的基础设施投资。

这将决定AI产业能否从资本密集型的基础设施扩张,真正走向具有可持续商业回报的应用繁荣。