11 月 18 日提交的预印本介绍了 MuDAS 数据集,用于评估模型能否识别阿拉伯语评论中的性别歧视。数据来自 YouTube,覆盖沙特、埃及和摩洛哥方言,每条评论由三位该方言母语者分别标注。
作者比较微调过的阿语编码模型、GPT-5.6 Terra 及四个以阿语为重点的大模型。模型错误集中在标注者有分歧的评论。宏平均 F1 接近的模型也出现不同错误,前一类可能漏掉隐含歧视,GPT-5.6 Terra 则更容易将部分涉及性别的普通讨论标为歧视。
利用标注分布训练能改变模型与不同标注者的一致程度,但在这组实验中仍难可靠识别有争议的评论。三个方言的结果也有差异。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
