这项评测用可执行的状态与事件模拟家庭、汽车和手机环境,记录工具调用前后的设备变化。题库包含 114 类设备、1166 个功能及 95 类事件。
11 月 19 日修订版把参测模型从 7 个增至 22 个。第一版所报最高首次通过率为 68.2%,两个版本比较的模型集合不同。
作者还用扫地机器人协议检查模拟环境能覆盖多少真实设备属性,并将生成任务与现实中的参考指令做语义覆盖对照。
配图为 Zhu, Zichen 等 的图 9,等比缩放并留白。CC BY 4.0 许可。
GETAI EDITORIAL DISPATCH新闻报道
第二版继续使用 2560 个任务,最新参测模型中最高的平均首次通过率为 88.8%。