BEAKER 测试 AI 能否理解实验室操作

11 月 4 日提交的 BEAKER 预印本，研究怎样评估用于自动化化学实验室的多模态模型。团队编制了 1,000 道图像和视频问答，覆盖 11 类任务，包括辨认仪器与实验状态、推断操作顺序，以及判断动作是否安全。

作者表示，题目和标注由化学与具身智能领域的专家人工编制、复核。基准评估的是模型对实验画面和操作决策的理解，实际设备运行的可靠性需要另行验证。

来源：arXiv · 论文全文。