跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

NarrowSpec 研究缩窄推测解码草稿模型

草稿隐藏宽度无需与目标模型相同,但收益取决于硬件、批量和接受率。

AI 生成主题插画,非实拍

NarrowSpec 预印本研究推测解码中的草稿模型,将内部隐藏宽度缩为目标模型的一半或四分之一,目标模型仍负责验证草稿 token。

主题插画,AI 生成、非实拍

在单批、温度为零的指定测试中,作者报告 B200 上端到端加速约 1.06 至 1.12 倍。研究涵盖两类草稿与两个目标模型,每配置只有一次训练;接受率、数据预算和长上下文都会影响收益。

该工作以预印本公开,结果和实验范围以arXiv 论文为准。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?