社交媒体帖子有时配了几张图,讽刺意味藏在文字与某一张图的落差中。11 月 19 日公开的 SEAF 预印本研究如何把这些证据分开使用。团队发现,让多模态模型一股脑描述图片,可能反复转述一眼可见的内容,反而掩盖理解原帖所需的背景。
SEAF 的文字部分结合原帖、相关实体的背景介绍和从图中识别出的文字。视觉部分则比较图片与原帖、图片与图片之间的关系,再按相关程度分配权重。即使某张图和原文在字面上相似度很低,系统仍保留它的一部分信息,因为这处不一致也可能是笑点。
在多图讽刺数据集 MMSD3.0 上,作者报告 SEAF 的宏平均 F1 为 86.17,对照的视觉融合方案为 84.34。两者需要训练的任务参数分别约为 3,388 万和 6,420 万。这个比较针对同一数据集和指定对照,尚不能推出模型能够跨语言、跨社群读懂日常交流中的讽刺。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
