一份给智能体用的操作说明可能完全正确,执行者却跳过了关键步骤。如果只按任务成败来改写说明,下次运行可能把本来有效的规则也改掉。11 月 19 日公开的 SkillPlumber 预印本尝试把诊断的单位从整项任务缩小到单条指令。
框架查看相关执行记录,把每条说明标成三种情况:执行了、应该执行却没执行,或这次任务没有涉及。它据此提出修订问题,再查看下一轮运行中相同问题是否重现。跨任务的维护环节会从多次排查中整理出可复用的修改方法,让一次偶然失败不必直接变成长期规则。
在三个基准和三种执行器的实验中,作者报告系统解决了 64.7% 至 70.5% 的任务,比使用初始说明时高出 25.6 至 30.4 个百分点。这里比较的是指定执行器在基准任务中的表现。对于准备采用这类工具的团队,运行记录能否看清某条说明有没有被调用,会直接影响诊断是否有意义。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
