结论先行：在推理场景里，标称算力往往不是瓶颈，显存带宽才是决定单卡吞吐的第一约束，互联拓扑决定多卡扩展的边际收益，功耗预算则决定这套账最终能不能落地。乐球吧技术解读栏目本期用公开资料把这三笔账拆开算，让工程师读完能用自己的话复述。

一、显存带宽为什么先于算力成为瓶颈

推理是访存密集型负载。每生成一个 token，模型权重和 KV 缓存都要被反复读取，计算单元大部分时间在等数据。乐球吧在整理公开规格书时发现，很多芯片的算力数字很漂亮，但带宽与算力的比值偏低，实际吞吐就被卡住。

可以用一个粗略的“字节每浮点运算”指标来估算：把单次前向所需的权重读取量除以有效算力，得到每算一次需要搬运多少字节。这个比值越高，越依赖带宽。乐球吧建议工程师先算这个比值，再看厂商给的带宽是否匹配，而不是直接比较算力峰值。

  • 权重量化到低精度后，带宽压力下降，但精度损失需要单独评估；
  • KV 缓存随上下文长度线性增长，长上下文场景要单独留带宽余量；
  • 批处理能摊薄权重读取，但会推高缓存占用，需要找平衡点。

二、互联拓扑决定多卡扩展的边际收益

单卡不够就堆卡，但堆卡的收益不是线性的。乐球吧在梳理公开互联方案时注意到，全互联、环形、交换式拓扑在带宽和延迟上差异明显，拓扑选错会让第二张卡的边际收益快速衰减。

判断方法很直接：先估算单次推理的通信量占总访存量的比例，再看拓扑能提供的聚合带宽。如果通信占比高而拓扑带宽低，加卡只会让等待时间变长。乐球吧提醒，拓扑设计要和模型并行策略一起看，张量并行对带宽敏感，流水并行对延迟更敏感，两者对拓扑的要求不同。

三、功耗预算才是最终的约束条件

带宽和算力都可以堆，但功耗预算决定了机柜能装多少卡、散热能扛多少热。乐球吧在公开资料中看到，很多方案在纸面上很激进，落到整机功耗和供电能力上就要打折。

实用的算法是先定整机功耗上限，再反推单卡可用功耗，最后看在这个功耗下带宽和算力能取到什么组合。乐球吧建议把“每瓦吞吐”作为横向比较指标，它比单纯的算力峰值更贴近真实部署成本。功耗、带宽、拓扑三者互相牵制，任何一项单独拉满都不划算。

  • 先算访存强度，确定带宽是否为瓶颈；
  • 再算通信占比，判断拓扑是否匹配并行策略；
  • 最后用每瓦吞吐校验整体方案是否可持续。

把这三步走完，工程师就能用自己的话讲清楚：这块推理芯片的账，到底亏在带宽、亏在拓扑，还是亏在功耗。乐球吧技术解读栏目会继续用公开资料拆解这类设计取舍，欢迎在客户端安卓、苹果 iOS、Windows 电脑版、Mac 电脑版上持续关注。