能效不是一个数字，而是一组约束条件

在芯智谷行业资讯栏目近期的读者提问中，关于推理芯片能效的困惑最集中：同样标注的能效数值，为什么在不同资料里差距明显？核心原因在于，能效从来不是单一指标，而是由算力类型、数据位宽、内存层级和负载形态共同约束的结果。芯智谷在梳理公开规格书时发现，脱离测试条件谈能效，几乎无法横向比较。本文尝试给出一套可操作的阅读框架，帮助读者把厂商公布的能效参数还原到真实业务语境中。

需要先明确一个前提：推理阶段的能效评价对象通常是「完成一次有效推理所消耗的能量」，而不是峰值算力除以峰值功耗。后者更像一个理论上限，前者才接近部署时的电费账单。芯智谷建议读者在阅读任何能效数据时，先问三个问题：测的是什么模型、跑的是什么批量、数据放在哪一级存储。

单位功耗算力：读懂分母与分子

单位功耗算力是最常见的入口指标，通常写作每瓦若干次运算。它的分子取决于精度定义，整数八位、浮点十六位与更低精度下的算力数值不可直接换算；分母则取决于功耗测量口径，是芯片典型功耗、板卡功耗还是整机功耗，差异可能达到数倍。芯智谷在整理公开资料时注意到，规范的规格书会明确标注精度与功耗边界，而简化的宣传页往往只给一个孤立的数字。

  • 精度口径：同一架构在不同精度下的能效曲线并非线性，低位宽通常更优，但精度损失需由算法侧补偿。
  • 功耗口径：芯片级、板卡级、整机级的能效依次下降，整机口径更贴近实际部署成本。
  • 批量口径：单条推理与批量推理的能效差异显著，批量增大通常提升利用率，但也抬高内存压力。

芯智谷提醒，若两份资料未标注上述三项，直接比较得出的结论可信度有限。更稳妥的做法是把能效数值当作筛选门槛，再进入具体场景验证。

内存访问：被低估的能耗大户

在真实推理负载中，相当一部分能量消耗并不发生在计算单元，而发生在数据搬运环节。权重读取、激活值写回、缓存换入换出都会产生能耗，且这部分开销与模型结构、批处理大小强相关。芯智谷在解读公开的架构材料时发现，大模型推理对显存带宽与容量的敏感度，往往高于对峰值算力的敏感度。

这也解释了一个常见现象：某些芯片算力参数亮眼，但在长上下文或大参数量场景下能效表现平平。原因在于计算单元等待数据的时间占比上升，利用率下降，单位有效推理的能耗随之抬升。芯智谷建议读者关注三个辅助信号：片上缓存容量、外部存储带宽、以及是否提供面向注意力机制的专用数据通路。这些信息比单一能效数字更能预示落地表现。

  • 权重驻留：模型能否完整驻留于片上或近存层级，直接决定重复读取的能耗。
  • 批处理策略：增大批量可摊薄权重读取成本，但会推高激活值存储需求。
  • 数据复用：算子融合与图优化程度影响中间结果的搬运次数。

场景负载差异：同一颗芯片的不同能效面孔

能效最终要在场景中兑现。芯智谷在梳理端侧与数据中心两类公开案例时看到，同一类芯片在不同负载下的能效排序可能反转。端侧强调低功耗待机与短时突发，数据中心强调持续吞吐与散热预算，两者的优化目标并不一致。

以智能座舱语音交互与云端内容生成为例，前者对响应时延和待机功耗敏感，后者对吞吐与显存容量敏感。芯智谷建议在选型时建立自己的负载画像：输入长度分布、输出长度分布、并发规模、时延上限。把这些参数代入能效讨论，才能判断某个数值是否与自己相关。芯智谷在过往的科普内容中反复强调，能效是场景的函数，不是芯片的固有属性。

对于希望进一步核验的读者，芯智谷建议优先查阅厂商公开的规格书与白皮书，关注测试条件章节，并结合自身负载做小规模实测。能效账算得越细，选型决策的确定性越高。