11 月 18 日上传至 arXiv 的 MECI 预印本研究了多模态实体链接。它要把文字中的人名、地点或其他提及与知识库中的具体条目对齐,图片可以帮助区分名称相同的候选项。
研究者分别组织文字和视觉线索,再通过多视角专家和分层交互组合它们。扩展版 MECI+ 在取得一组候选实体后,使用语言模型重新排序。
论文在 WikiDiverse、RichpediaMEL 和 WikiMEL 三个公开数据集上报告了较高的首位命中率。结果对应论文采用的数据划分、候选池和对照方法。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
