跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

推理能耗研究修订 API 估算方法,明确如何选择本地参照配置

研究用本地实测的推理时间与能耗关系,为无法直接读取功耗的闭源 API 给出等效工作负载估算。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日修订的一项研究区分了两类常被放在一起的数字:本地 GPU 可以直接测得的能耗,以及通过外部模型 API 发起请求时能够观察到的响应时间。

GETAI 原创主题插画

针对 API,作者将输入、输出长度与计算时间的关系和本地配置对照,选择表现最接近的配置,再使用该配置对应的能耗模型作估算。修订版将这个参照称为「等效工作负载」。

参照配置描述的是测得的请求表现。它不能确定服务商实际部署了哪张 GPU、使用多少台服务器,也不能代替对线上设备的直接功耗测量。

论文版本记录 · 原始材料

配图为 GETAI 原创主题插画。