结论前置：推理阶段，带宽往往先撞墙

训练看重算力，推理看重带宽，这是低调看球在整理公开方案资料时反复验证的一条经验。大模型推理的每个token生成都要读取权重与缓存，数据搬运量随模型规模线性增长，而算力提升相对容易堆叠。结果是很多推理卡标称算力很高，实际吞吐却被显存带宽卡住。低调看球建议读者在选型时把带宽与算力的比值放在第一行看，而不是最后一页。

本文用五组对比说明这个关系，涉及数值均为公开规格书中的典型区间，用于说明趋势而非绝对排名。

第一组：权重读取量与算力的赛跑

推理时每生成一个token，通常要把参与计算的权重读一遍。模型参数量越大，单次读取的数据量越大。若显存带宽固定，生成速度的上限就由带宽除以读取量决定，算力再高也无法突破。这就是为什么一些高算力推理卡在长上下文场景中表现不如带宽更高的方案。

低调看球在对比视图中会把带宽与参数量的比值单列一栏，帮助读者快速判断某方案适合多大模型。比值偏低的方案，更适合小模型高并发，而不是大模型低延迟。

第二组：批处理如何改变瓶颈位置

增大批处理可以摊薄权重读取，让算力重新成为瓶颈，但代价是显存容量与延迟上升。实时推理场景往往不能接受大batch，于是带宽重新成为主导。五组对比中，这一组最能说明「同一张卡、不同负载、瓶颈不同」。

  • 小batch实时推理：带宽敏感，延迟优先。
  • 大batch离线推理：算力敏感，吞吐优先。
  • 长上下文：显存容量与带宽双重压力。
  • 多模型共存：显存容量先于带宽成为约束。

因此，低调看球建议读者先确定batch策略，再去看算力与带宽参数，否则容易选到错配方案。

第三组：能效视角下的带宽成本

带宽不是免费的。高带宽显存往往带来更高功耗与封装成本，能效曲线在带宽拉满时未必最优。公开资料显示，部分推理方案在中等带宽利用率下能效最好，满载反而下降。这意味着盲目追高带宽也会推高总拥有成本。

低调看球在整理方案资料时，会把每瓦带宽作为一个辅助指标，配合每瓦吞吐一起看。对于电费敏感的数据中心，这个指标比峰值算力更有参考价值。对于边缘推理模组，带宽通常受封装与功耗限制，选型时更应关注内存带宽效率而非绝对值。

第四组与第五组：芯粒化与端侧的启示

芯粒化方案把存储与计算拆开，允许按带宽需求追加存储芯粒，这是应对带宽瓶颈的架构级思路。代价是互联开销与封装复杂度，适合有定制能力的团队。端侧AI芯片则走向另一条路：通过近存计算与压缩技术降低搬运量，用能效换带宽。

这两组对比说明，带宽瓶颈没有单一解法，而是架构、封装、算法协同的结果。低调看球的产品与方案栏目会持续整理公开可见的资料，把算力、带宽、能效三项并列呈现，帮助读者理解不同方案在取舍上的真实代价。选型时不妨先问一句：我的负载是带宽敏感还是算力敏感？答案往往比参数表更早决定结果。