跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

孟加拉语评测 Alikbachan 显示,换一组样本能改变幻觉检测排名

研究在两个阶段分别评估孟加拉语回答的错误识别能力,并检查人工标注、自动评审和竞赛结果。

返回资讯研究arXiv作者 · GETAI.APP查看原文

Alikbachan 把孟加拉语幻觉检测样本按文化距离、任务类型与错误类型分层。第一阶段有 2,516 个样本,第二阶段按配额构建并标注了 5,000 个样本,以便区分模型在哪类问题上失分。

GETAI 原创主题插画

研究者发现,四个零样本自动评审在不同分层间的宏平均 F1 差异超过 30 点。跨句段遗漏信息是一类共同难点,即便模型对某些样本给出高置信度判断,也可能判错。

两个阶段均参赛的 25 支队伍中,有 24 支在第二阶段成绩下降。用第一阶段排名预测第二阶段排名的相关系数只有 0.35,单一排行榜难以反映不同类型的孟加拉语错误。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。