Alikbachan 把孟加拉语幻觉检测样本按文化距离、任务类型与错误类型分层。第一阶段有 2,516 个样本,第二阶段按配额构建并标注了 5,000 个样本,以便区分模型在哪类问题上失分。
研究者发现,四个零样本自动评审在不同分层间的宏平均 F1 差异超过 30 点。跨句段遗漏信息是一类共同难点,即便模型对某些样本给出高置信度判断,也可能判错。
两个阶段均参赛的 25 支队伍中,有 24 支在第二阶段成绩下降。用第一阶段排名预测第二阶段排名的相关系数只有 0.35,单一排行榜难以反映不同类型的孟加拉语错误。
配图为 GETAI 原创 AI 主题插画。
