一段视频如果有好几个人物,模型有时会把甲的脸或衣着转移给乙。11 月 19 日公布的 MultiBinder 研究把这类错误追溯到生成前的条件处理:文字里提到的角色,未必与正确的参考图建立了清楚的对应关系。
作者将流程拆成两步。第一步从每张参考图中提取和身份有关的特征,与提示词中指向该主体的短语对应;第二步由多模态语言模型理解场景里谁在做什么,为各主体整理不同的动作和上下文,再送入视频扩散模型。
作者在通用评测以及专门整理的多主体测试上报告身份一致性改善。这里的“身份”指生成角色与参考图的外观能否对应。演示中的效果还会受主体数量、动作与提示词影响,现有测试无法覆盖所有场景。
配图为 GETAI 原创 AI 主题插画。
