11 月 19 日,harness-hub 更正 Qwen3.8-27B pi 适配器模型卡中的 SWE-bench Pro 对照结果,并补充运行轨迹。旧版把关闭推理的适配器与基础模型最高推理档都列为 64.7%。
更正后的适配器成绩仍为 64.7%,基础模型在最高推理力度下的成绩改为 74.5%。在这组项目自报实验中,适配器因此比该基线低 9.8 个百分点。
模型卡分别列出了不同任务。以 Terminal-Bench 2.1 为例,适配器和基础模型对应成绩为 56.6% 和 54.2%。这两套评测应分别比较,不能把一套任务中的领先套用到另一套。
配图为 GETAI 原创主题插画。
