跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

O-IN-Bench 测试视频通话中的口语意图

新基准包含 1,000 个中英文样例,分别评估模型能否判断该不该答、答什么。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日公开的预印本介绍 O-IN-Bench。测试让模型观看带原声的视频,根据画面和交流情境决定给出文字回复或保持沉默。

AI 生成主题插画

基准包含 1,000 个中英文样例。研究将相同说法放进不同情境,并分别评估语言、意图和回答内容。论文测试了 30 种模型配置。

作者发现,多人聊天中没有人向助手提问时,部分模型仍会回答。是否识别到请求,与能否满足请求内容,在评估中表现为两个不同问题。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。