11 月 18 日公开的预印本介绍 O-IN-Bench。测试让模型观看带原声的视频,根据画面和交流情境决定给出文字回复或保持沉默。
基准包含 1,000 个中英文样例。研究将相同说法放进不同情境,并分别评估语言、意图和回答内容。论文测试了 30 种模型配置。
作者发现,多人聊天中没有人向助手提问时,部分模型仍会回答。是否识别到请求,与能否满足请求内容,在评估中表现为两个不同问题。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
新基准包含 1,000 个中英文样例,分别评估模型能否判断该不该答、答什么。