跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

MultiBinder 先把角色对准参考图,减少多主体视频中的特征串位

在生成视频之前,系统分别绑定主体名称和视觉特征,再把各自的动作放进场景描述。

返回资讯研究arXiv作者 · GETAI.APP查看原文

一段视频如果有好几个人物,模型有时会把甲的脸或衣着转移给乙。11 月 19 日公布的 MultiBinder 研究把这类错误追溯到生成前的条件处理:文字里提到的角色,未必与正确的参考图建立了清楚的对应关系。

GETAI 原创主题插画

作者将流程拆成两步。第一步从每张参考图中提取和身份有关的特征,与提示词中指向该主体的短语对应;第二步由多模态语言模型理解场景里谁在做什么,为各主体整理不同的动作和上下文,再送入视频扩散模型。

作者在通用评测以及专门整理的多主体测试上报告身份一致性改善。这里的“身份”指生成角色与参考图的外观能否对应。演示中的效果还会受主体数量、动作与提示词影响,现有测试无法覆盖所有场景。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。