跳转到正文
开发动态arXivGETAI.APP查看原文

Sable 为量化模型推理结果生成可验证证明

研究尝试证明给定输出确实来自指定模型与输入,但生成证明仍有明显开销。

Sable 为量化模型推理结果生成可验证证明:论文首页

Sable 预印本提出一种推理证明系统,用来验证承诺过的整数化 Transformer 是否依据给定提示生成了指定 Token 序列。系统将舍入和采样等步骤也纳入确定性计算。

作者在单张 RTX PRO 6000 Blackwell 上测试 Qwen2.5-32B,4096 Token 的证明生成耗时为 92.5 秒。实验还覆盖其他 Qwen 模型。

论文报告证明生成约为普通服务耗时的 41 至 50 倍,并讨论整数化模型与原 BF16 模型之间的输出差异。这套方案面向开放权重模型,证明本身并非零知识。

来源:arXiv 原文。

图片来源:论文作者 / arXiv。

  • AI 研究

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?