11 月 2 日公布的 MultiInpaintCOCO 把细粒度图文理解评测扩展到 13 种语言,包含 953 组最小差异样本,用来检查模型能否发现图片中的关键细节。
作者报告,部分模型在跨语言选择中更偏向英语描述,即使对应描述不正确。不同架构的偏差程度不同,单语准确率接近也不代表跨语言行为一致。
11 月 2 日公布的 MultiInpaintCOCO 把细粒度图文理解评测扩展到 13 种语言,包含 953 组最小差异样本,用来检查模型能否发现图片中的关键细节。
作者报告,部分模型在跨语言选择中更偏向英语描述,即使对应描述不正确。不同架构的偏差程度不同,单语准确率接近也不代表跨语言行为一致。