NarrowSpec 预印本研究推测解码中的草稿模型,将内部隐藏宽度缩为目标模型的一半或四分之一,目标模型仍负责验证草稿 token。 在单批、温度为零的指定测试中,作者报告 B200 上端到端加速约 1.06 至 1.12 倍。研究涵盖两类草稿与两个目标模型,每配置只有一次训练;接受率、数据预算和长上下文都会影响收益。 该工作以预印本公开,结果和实验范围以arXiv 论文为准。 配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。