跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

SynthDCB 把设备控制评测从 7 个模型扩到 22 个

第二版继续使用 2560 个任务,最新参测模型中最高的平均首次通过率为 88.8%。

返回资讯研究arXiv作者 · GETAI.APP查看原文

这项评测用可执行的状态与事件模拟家庭、汽车和手机环境,记录工具调用前后的设备变化。题库包含 114 类设备、1166 个功能及 95 类事件。

设备控制各项任务的首次通过率热图

11 月 19 日修订版把参测模型从 7 个增至 22 个。第一版所报最高首次通过率为 68.2%,两个版本比较的模型集合不同。

作者还用扫地机器人协议检查模拟环境能覆盖多少真实设备属性,并将生成任务与现实中的参考指令做语义覆盖对照。

原始来源 · 核对材料

配图为 Zhu, Zichen 等 的图 9,等比缩放并留白。CC BY 4.0 许可。