11 月 19 日,开发者 Spiros Evangelatos 公布 SpiruxBench 的一轮本地编程模型对比。他测试了 22 个模型,关注实际在个人电脑上使用的量化配置。结果页列出任务得分,使读者可以比较模型解决了哪些问题。
每项任务都在隔离外网的容器内运行。模型通过 pi 编程助手操作,使用 10 万 token 上下文,最大输出为 3.2 万 token,另设用时限制。作者先让 Gemma 4 E4B 尝试候选题,再剔除它已经能完成的题目。这一筛选可能影响对 Gemma 系列的比较。
在作者列出的两种 UD V3.1 配置中,Flash 的综合得分略高,通过的挑战数量却较少。这也说明,挑选本地助手时,读者可以按自己的任务查看细项,综合分和完成任务数衡量的是不同表现。
配图为 GETAI 原创主题插画。
