跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Kameleo 在推理时选择更合适的计算精度

一项加速器研究用正在处理的数据选择矩阵计算精度,比较了四个语言模型和七套数据。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日上传的预印本介绍 Kameleo,一种面向逐位运算的语言模型加速器设计。它根据任务开头的输入估计所需精度,降低后续部分运算开销。

AI 生成主题插画

论文用四个语言模型和七套数据做对照。按作者设定的困惑度变化范围,矩阵运算单元在预填充阶段所用周期约为原来的二分之一。

这项结果衡量的是特定硬件设计中的矩阵计算周期。论文同时评估了加入选择功能所需的额外面积。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。