跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

研究拆解可验证 AI 的证明成本与显存瓶颈

连接证明系统、密码学内核与硬件测量,发现容量和同步同样重要。

计算芯片主题插画

一项预印本把可验证 AI 的开销拆为工作负载、证明系统、密码学内核与硬件四层,并对六种证明器、七种内核进行测量。

结果显示,主导成本会随证明系统和输入长度变化;在文中特定的 130 亿参数微调证明配置中,40GB 显存无法容纳任务,80GB 设备可以完成。作者还发现指令发射和同步开销,不能只用带宽解释性能。这不是普通 130 亿参数模型推理的统一硬件要求。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?