AI芯片竞争格局正在发生深刻变化。OpenAI发布Jalapeño芯片专注LLM推理，NVIDIA将GPU与Groq LPU结合实现异构计算，Google则将训练和推理拆分为TPU 8t和TPU 8i两款芯片。这三条路线反映了训练与推理对硬件资源的不同需求：训练侧重矩阵计算和大规模互联，推理则需要更高HBM带宽、更大SRAM和更短网络路径。随着两类workload的芯片配方差距拉大，FLOPS不再是唯一衡量标准，Token成本正成为AI硬件竞争的新坐标。
文章作者、来源：雷峰网
Token 成本成为大模型硬件竞争的新坐标
具身智能，攻入油烟弥漫的后厨
百万流量下的机器人打工记
前Covariant AI 副总裁、舟谱数中直接把 LPU 的作用概括为填补 Vera Rubin 在低延迟 Decode 区域的短板。
Groq 的芯片设计也几乎围绕这件事展开。一套 LPX 机架有 256 颗 LPU，加起来只有 128 GB SRAM，容量和 GPU 机架里的 HBM 没法放在一个尺度上比较，但聚合 SRAM 带宽可以达到 40 PB/s。
这个设计看重的就是“近”。HBM 能装很多模型状态，却离计算单元更远；SRAM 很贵、容量难做大，但数据就在芯片内部，能够提供极高带宽和很低的访问延迟。
Decode 每一步做的计算有限，又频繁取数据，把数据放得更靠近 ALU，收益会非常直接地反映在下一个 Token 的等待时间上。
Groq 还进一步减少了动态硬件控制。LPU 是确定性执行架构，指令调度主要由软件提前完成。每颗芯片同时充当处理器和路由器，编译器会一起安排计算资源和网络资源，甚至省掉了传统硬件流控和虚拟通道这类机制。
代价也很明显：这种架构没有 GPU 那么通用，片上 SRAM 又装不下完整的大模型状态。所以 NVIDIA 没有让 Groq 3 独立运行整个模型，而是做了一套更复杂的异构系统。
Prefill 在 GPU 上进行，大部分 Decode 放到 LPU；Decode 里的 Attention 又可以回到 GPU。GPU 和 LPU 分别维护自己的 KV Cache，两边主要交换 draft Tokens，同时通过 micro-batch 把计算和通信重叠起来。由于 LPU 是同步域，而 GPU 和外部 KV Cache 属于异步系统，NVIDIA 甚至加入 FPGA 作为两边的异步桥接。
这套结构很能说明 AI 芯片分工已经走到了什么程度。它拆的已经不只是“训练芯片”和“推理芯片”，连一次 Decode 里面的不同部分也可以放到不同架构执行。
不过 NVIDIA 展示的数据也给出了这条路线的边界：当业务只追求总体吞吐，并且能够接受较高延迟时，Rubin GPU 依然很有效率；随着对单用户 Token 速度要求提高，LPX 才逐渐发挥优势，而使用更多 LPU 之后，总体吞吐效率也会下降。
所以 Groq 3 的出现并不意味着 GPU 被推理淘汰了。它说明另一件事：同一颗 GPU 很难同时占住高吞吐和极低延迟两端，让两种硬件分别跑自己更擅长的区间，系统反而更容易把性能曲线拉开。
Google 则把这道切口放在了更上层。
训练和推理，用两套芯片配方
Google 在 TPU 8 这一代同时做了 TPU 8t 和 TPU 8i，t 面向训练，i 面向推理。这种分法背后的逻辑，直接写在芯片的内存配置上。
Hot Chips 现场展示中，TPU 8t 使用 6 组 HBM，TPU 8i 反而用了 8 组。Google 给出的解释是，推理每单位计算需要更多 HBM，同时还需要更高比例的 SRAM，因此 8i 把更多资源给了 SRAM、内存容量和带宽。
这个差异很值得琢磨。如果 AI 芯片只是在比矩阵算力，推理版没有理由把这么多芯片面积和封装资源花在内存上。TPU 8i 这样设计，说明 Google 看到的瓶颈已经移到了数据供应。
训练时，大 Batch 能够把权重读取成本摊到很多 Token 上；Decode 中每次生成的 Token 很少，权重和 KV Cache 却仍然频繁访问。于是每单位 FLOPS 需要配多少 HBM 带宽，两类任务的答案并不一样。
Google 甚至把这种差异做到了网络拓扑。过去 TPU 常用的 3D Torus 更适合训练，强调的是大规模集群里的整体吞吐。TPU 8i 支持 BoardFly，网络路径更短：BoardFly 的路径上限为 7 hops，3D Torus 则达到 16 hops。
对训练来说，几次额外网络跳转之后通常还有很大一块矩阵计算，通信时间可以被摊薄。Decode 每一步的计算窗口短，几跳网络延迟更容易直接落进 Token 间隔里。
MoE 又让这个问题变得更明显。MoE 可以让一个 Token 只激活一部分 Expert，从计算量上看很划算，但 Router 会把 Token 发往不同 Expert。一旦这些 Expert 分布在不同芯片上，计算减少的同时，All-to-All 通信会增加。
因此 TPU 8i 还加入了 Collective Acceleration Engine，把部分 collective 操作放在靠近网络接口的 I/O Die 上处理。数据无需先搬进 Compute Die，再经过 HBM 完成操作，可以直接省掉一部分芯片内部数据移动。
训练版 TPU 8t 的资源分配则明显朝另一边倾斜。训练需要大量 FLOPS，也需要巨大的 Scale-Up 域去同步参数和梯度。TPU 8t 的 Superpod 可以扩展到 9600 颗芯片，拥有约 2 PB 共享 HBM 和 121 EFLOPS FP4 聚合计算能力，Google 还为它引入 Virgo 网络，把更大范围的训练连接做成专门体系。
Google 在现场还提到了一个很实际的芯片设计问题：dark silicon。
芯片面积和功耗预算有限。如果同一颗芯片同时塞入训练需要的大量矩阵计算资源，又塞进推理需要的更多 SRAM、HBM 和低延迟网络，在某一种 workload 运行时，总会有一部分电路长期闲置。
既然两种任务已经需要不同的资源比例，直接做两颗芯片反而更干净。
从 FLOPS 到 Token 经济学
把三条路线放在一起，差异其实很清楚。
OpenAI 做 Jalapeño，把芯片专用化到 LLM 推理这一层，但保留 Prefill 和 Decode 在同构硬件上的灵活调度；NVIDIA 往下继续拆，让 GPU 和 Groq LPU 分担一次推理里的不同阶段；Google 往上切，把训练和推理直接做成两颗 TPU。
这几条路线背后并没有神秘的新计算原理，改变的是资源比例。训练希望把更多晶体管投入矩阵计算和大规模互联，因为高 Batch 能把数据搬运成本摊开；低延迟推理需要更高的 HBM 带宽、更大的 SRAM、更好的 KV Cache 局部性和更短的网络路径，因为很多时间花在等待数据上。
当两类负载需要的“芯片配方”越拉越开，用一颗通用芯片同时照顾它们，效率损失自然会越来越明显。
这也是为什么这轮硬件竞争里的核心数字正在变化。FLOPS 依然重要，但旁边开始出现 Tokens/s/user、TBT、TTFT、Tokens/kW、HBM 带宽以及网络延迟。
它们描述的其实是同一件事：算力已经放在那里了，系统能不能持续把数据喂进去，并把生成的 Token 尽快送出来。
OpenAI、NVIDIA 和 Google 现在选择的分界线还不一样，后面真正会继续变化的，很可能也是这条线应该画在哪里。
训练和推理可以拆，Prefill 和 Decode 可以拆，Decode 内部的 Attention 与其他计算也可以继续拆。拆得越细，单项效率越容易提高，但资源调度、KV Cache 搬运和跨硬件通信也会变得更复杂。
因此下一阶段 AI 芯片竞争的难题，或许已经不只是造出一颗更强的芯片。
更难的是决定：哪些任务值得专门做一颗芯片，哪些任务继续放在同一套硬件里，整套系统的 Token 成本才更低。