跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Hugging Face 测试为编程工具单独训练适配器

同一基础模型接入 pi 后,研究团队测得首轮通过率从 39% 升至 55%,每题平均 token 用量也随之下降。

返回资讯研究Hugging Face作者 · GETAI.APP查看原文

同一个编程模型装进不同工具,面对的指令格式、工具调用和执行反馈也会改变。Hugging Face 在 11 月 20 日公布训练方法与对照结果:团队冻结 Qwen3.8-27B 的基础权重,分别在 pi、Hermes Agent 和 OpenCode 的实际运行环境中训练小型 LoRA 适配器。

AI 生成主题插画

在 Terminal-Bench 2.1 的 pi 环境中,基础模型一次尝试通过 39% 的任务,平均每题用约 2,900 个 token。加入为 pi 训练的适配器后,一次通过率升至 55%,平均用量降至约 1,500 个 token。团队观察到模型减少了推理文本和工具调用,更多任务在第一次尝试时就做对。

训练前,团队也反过来检查每道题的评分程序:给它一个故意写错的答案,看程序会不会把错答当成正确。1,127 个候选任务中,有 858 个通过验证。报告按工具分别讨论结果,文中这组通过率与用量来自 pi 的实验,不能直接套用到另外两种工具。

原始来源

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。