同一个编程模型装进不同工具,面对的指令格式、工具调用和执行反馈也会改变。Hugging Face 在 11 月 20 日公布训练方法与对照结果:团队冻结 Qwen3.8-27B 的基础权重,分别在 pi、Hermes Agent 和 OpenCode 的实际运行环境中训练小型 LoRA 适配器。
在 Terminal-Bench 2.1 的 pi 环境中,基础模型一次尝试通过 39% 的任务,平均每题用约 2,900 个 token。加入为 pi 训练的适配器后,一次通过率升至 55%,平均用量降至约 1,500 个 token。团队观察到模型减少了推理文本和工具调用,更多任务在第一次尝试时就做对。
训练前,团队也反过来检查每道题的评分程序:给它一个故意写错的答案,看程序会不会把错答当成正确。1,127 个候选任务中,有 858 个通过验证。报告按工具分别讨论结果,文中这组通过率与用量来自 pi 的实验,不能直接套用到另外两种工具。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
