11 月 19 日上传的预印本介绍 Kameleo,一种面向逐位运算的语言模型加速器设计。它根据任务开头的输入估计所需精度,降低后续部分运算开销。
论文用四个语言模型和七套数据做对照。按作者设定的困惑度变化范围,矩阵运算单元在预填充阶段所用周期约为原来的二分之一。
这项结果衡量的是特定硬件设计中的矩阵计算周期。论文同时评估了加入选择功能所需的额外面积。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
一项加速器研究用正在处理的数据选择矩阵计算精度,比较了四个语言模型和七套数据。