跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Qwen 编程适配器更正 SWE-bench Pro 对照成绩,基础模型最高推理档为 74.5%

修订后的模型卡将关闭推理的 pi 适配器列为 64.7%,比基础模型最高推理档低 9.8 个百分点。

返回资讯研究Hugging Face作者 · GETAI.APP查看原文

11 月 19 日,harness-hub 更正 Qwen3.8-27B pi 适配器模型卡中的 SWE-bench Pro 对照结果,并补充运行轨迹。旧版把关闭推理的适配器与基础模型最高推理档都列为 64.7%。

GETAI 原创主题插画

更正后的适配器成绩仍为 64.7%,基础模型在最高推理力度下的成绩改为 74.5%。在这组项目自报实验中,适配器因此比该基线低 9.8 个百分点。

模型卡分别列出了不同任务。以 Terminal-Bench 2.1 为例,适配器和基础模型对应成绩为 56.6% 和 54.2%。这两套评测应分别比较,不能把一套任务中的领先套用到另一套。

原始说明 · 相关原始材料

配图为 GETAI 原创主题插画。