跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

AURA 2.0 让视频模型主动发起对话并调用工具

加入主动对话、实时工具调用与视觉定位,开放权重和推理代码。

相机主题插画

AURA 2.0 在流式视频交互中加入模型主动发起对话:模型根据正在发生的画面判断何时值得开口,不必始终等待用户提问。

另外两项更新是结合实时上下文的工具调用,以及把输入标记、输出边界框与对应视频帧关联的视觉定位。团队还加入长时交互记忆,宣布开放权重和推理代码。当前效果来自研究团队的公开基准与定向评测,不代表模型能在所有实时场景中准确判断插话时机。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?