跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

SilentGuard 拦截智能体的静默 API 错误

SilentGuard 研究把 API 结果检查放入智能体执行框架,对不满足确定性检查的结果复查并拦截;作者强调,减少错误主要依靠放弃回答,并非自动修复。

AI 生成主题插画,非实拍

11 月 16 日提交至 arXiv 的 SilentGuard 预印本研究了一类问题:API 虽返回 HTTP 200 和看似合理的数据,却忽略筛选条件或错误处理总数,智能体随后据此作答。

结果检查主题插画,AI 生成、非实拍

方法把检查放入执行工具调用的程序框架:先用计数一致性、返回记录及参数规范等规则核对结果,失败后复查一次;再次违反确定性检查时扣留数值,对可能误判的学习型检查则仅发出警告。

作者报告,在七个开放模型、针对检查目标故障的 AgentOrchBench 实验中,错误回答比例由 74.0% 降至 1.7%。但这主要依靠回答“无法确定”:故障任务中的正确回答比例也由 16.4% 降为 2.4%,不能解读为自动恢复正确答案。

论文注明,保持一致性的错误仍可能通过检查;动态总数、缺失值和短暂故障也会影响表现。项目仓库提供 Apache-2.0 代码与基准任务。上述结果为作者实验,本站未复现,预印本不代表已完成同行评审。

来源:arXiv · 2611.20595、论文 HTML 正文、GitHub · Sajib-006/silentguard。

配图:GETAI.APP 使用内置 imagegen 生成的主题插画,非真实实验数据图。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?