跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

SpiruxBench 公布 22 个本地编程模型的测试,得分与通过数出现分歧

作者在隔离容器里比较可在个人电脑上运行的模型配置,并公开任务结果。题库筛选方式也影响排名。

返回资讯研究GitHub作者 · GETAI.APP查看原文

11 月 19 日,开发者 Spiros Evangelatos 公布 SpiruxBench 的一轮本地编程模型对比。他测试了 22 个模型,关注实际在个人电脑上使用的量化配置。结果页列出任务得分,使读者可以比较模型解决了哪些问题。

GETAI 原创主题插画

每项任务都在隔离外网的容器内运行。模型通过 pi 编程助手操作,使用 10 万 token 上下文,最大输出为 3.2 万 token,另设用时限制。作者先让 Gemma 4 E4B 尝试候选题,再剔除它已经能完成的题目。这一筛选可能影响对 Gemma 系列的比较。

在作者列出的两种 UD V3.1 配置中,Flash 的综合得分略高,通过的挑战数量却较少。这也说明,挑选本地助手时,读者可以按自己的任务查看细项,综合分和完成任务数衡量的是不同表现。

原始公告 · 相关资料

配图为 GETAI 原创主题插画。