跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

MECI 结合文字和图片识别指代实体

预印本提出用多视角专家和跨模态交互匹配知识库实体,并在三个公开数据集上评估。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日上传至 arXiv 的 MECI 预印本研究了多模态实体链接。它要把文字中的人名、地点或其他提及与知识库中的具体条目对齐,图片可以帮助区分名称相同的候选项。

AI 生成主题插画

研究者分别组织文字和视觉线索,再通过多视角专家和分层交互组合它们。扩展版 MECI+ 在取得一组候选实体后,使用语言模型重新排序。

论文在 WikiDiverse、RichpediaMEL 和 WikiMEL 三个公开数据集上报告了较高的首位命中率。结果对应论文采用的数据划分、候选池和对照方法。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。