11 月 19 日修订的一项研究区分了两类常被放在一起的数字:本地 GPU 可以直接测得的能耗,以及通过外部模型 API 发起请求时能够观察到的响应时间。
针对 API,作者将输入、输出长度与计算时间的关系和本地配置对照,选择表现最接近的配置,再使用该配置对应的能耗模型作估算。修订版将这个参照称为「等效工作负载」。
参照配置描述的是测得的请求表现。它不能确定服务商实际部署了哪张 GPU、使用多少台服务器,也不能代替对线上设备的直接功耗测量。
配图为 GETAI 原创主题插画。
GETAI EDITORIAL DISPATCH新闻报道
研究用本地实测的推理时间与能耗关系,为无法直接读取功耗的闭源 API 给出等效工作负载估算。