跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

SkillPlumber 区分规则写错和智能体没照做

研究把一次任务的执行记录拆到单条指令。在三项基准和三种执行器上,修订后解决任务的比例为 64.7% 至 70.5%。

返回资讯研究arXiv作者 · GETAI.APP查看原文

一份给智能体用的操作说明可能完全正确,执行者却跳过了关键步骤。如果只按任务成败来改写说明,下次运行可能把本来有效的规则也改掉。11 月 19 日公开的 SkillPlumber 预印本尝试把诊断的单位从整项任务缩小到单条指令。

AI 生成主题插画

框架查看相关执行记录,把每条说明标成三种情况:执行了、应该执行却没执行,或这次任务没有涉及。它据此提出修订问题,再查看下一轮运行中相同问题是否重现。跨任务的维护环节会从多次排查中整理出可复用的修改方法,让一次偶然失败不必直接变成长期规则。

在三个基准和三种执行器的实验中,作者报告系统解决了 64.7% 至 70.5% 的任务,比使用初始说明时高出 25.6 至 30.4 个百分点。这里比较的是指定执行器在基准任务中的表现。对于准备采用这类工具的团队,运行记录能否看清某条说明有没有被调用,会直接影响诊断是否有意义。

原始来源 · 核对材料

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。