结论前置:推理芯片的能效比,只有在"芯片规格—整机功耗—机房电费"这条链条上连续换算三次,才能得到一个可比的数字。单看参数表上的每瓦吞吐,几乎一定会高估实际收益。低调看球技术解读栏目这次不谈新品,只复盘这套换算逻辑本身,让复杂参数变得可读可查。
第一次换算:从芯片能效到整机能效
芯片厂商标注的能效比,通常只统计芯片本体的功耗,测试条件也偏向理想负载。低调看球在整理公开规格书时发现,同一颗推理芯片放进不同整机,能效表现可以差出一大截,原因就在这次换算里被忽略的部件。
需要补上的功耗项至少包括以下几类:
- 显存与内存子系统的静态功耗,这部分在低负载时占比很高;
- 板级供电转换损耗,典型dc-dc链路会吃掉一部分预算;
- 风扇与液冷泵的散热功耗,风冷整机往往比芯片规格高出可观比例;
- 网卡与互联芯片的待机功耗,集群规模越大越不能忽略。
把这些项加回去,整机能效通常低于芯片能效。低调看球建议读者在看任何能效宣传时,先问一句测试边界画在哪里,这是复盘的第一步。
第二次换算:从整机能效到有效吞吐
整机功耗算清楚了,还要面对利用率问题。低调看球观察到,推理业务的实际吞吐很少能跑满标称值,第二次换算就是把"峰值能效"折成"有效能效"。
影响这次换算的变量主要有三个。其一是批处理规模,批次太小则计算单元空转,能效随之下滑;其二是模型结构,注意力机制占比高的负载对显存带宽更敏感,能效曲线更陡;其三是请求到达的波动性,波峰波谷之间的空载时间会摊薄平均能效。低调看球在参数对比中发现,同一颗芯片在稳定批量负载与突发零散负载下,有效能效可以相差数倍。
所以复盘时应当把能效比还原成一条曲线,而不是一个点。低调看球的术语百科里把这种曲线称为"能效包络",读者可以把它理解为芯片在不同负载下的能效区间,选型时看区间比看峰值更靠谱。
第三次换算:从有效吞吐到机房账单
最后一次换算最容易被忽视,却直接决定采购决策。低调看球的结论是:整机能效乘以有效利用率,再乘以电价与散热系数,才等于真实的每单位推理成本。
这次换算里有两个常被低估的项。散热系数方面,机房pue每高出一点,电费就按比例上浮,风冷与液冷方案在这张账单上差距明显。折旧方面,芯片能效再高,若三年内被新架构拉开代差,摊到每单位推理上的成本反而上升。低调看球提醒读者,能效账本要按生命周期算,不能只算当下电费。
把三次换算串起来看,一颗参数表上能效亮眼的推理芯片,落到机房账单上可能并不便宜;反过来,某些峰值能效普通的方案,凭借稳定负载表现和更低的散热开销,全周期成本反而更优。低调看球技术解读栏目会继续用这种结论前置的写法,把显存带宽、互联拓扑、能效比与chiplet封装这些议题拆成可查的账本。想随时翻看这些复盘,安卓、苹果iOS、Windows电脑版与Mac电脑版客户端都能同步阅读,赛程间隙也能低调看球、低调读参数。
这个三次换算的说法挺实在,以前只看参数表峰值,确实容易上头。
散热系数那段说到点子上了,机房电费才是真金白银。
能效包络这个概念第一次听,比单点数字好理解多了。
建议再写一篇讲批处理规模怎么影响能效曲线的,想看细一点。
低调看球这种拆账本的写法适合我,参数表终于能看懂了。