跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

阿语性别歧视识别研究保留标注分歧

MuDAS 保存三位标注者的独立判断。实验中,一致性较低的评论更容易被模型误判。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日提交的预印本介绍了 MuDAS 数据集,用于评估模型能否识别阿拉伯语评论中的性别歧视。数据来自 YouTube,覆盖沙特、埃及和摩洛哥方言,每条评论由三位该方言母语者分别标注。

AI 生成主题插画

作者比较微调过的阿语编码模型、GPT-5.6 Terra 及四个以阿语为重点的大模型。模型错误集中在标注者有分歧的评论。宏平均 F1 接近的模型也出现不同错误,前一类可能漏掉隐含歧视,GPT-5.6 Terra 则更容易将部分涉及性别的普通讨论标为歧视。

利用标注分布训练能改变模型与不同标注者的一致程度,但在这组实验中仍难可靠识别有争议的评论。三个方言的结果也有差异。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。