跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

HALTT 对照历史和现代语料,追踪同一词语并存的普通与贬损含义

研究团队从超过两万个候选中保留 19 个多义词,给不同年代和具体语境分别标注词义,用于评估仇恨言论识别。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日,Dario Franzese 等人公布 HALTT 词表。研究针对内容审核里的一个难题:某个普通词出现了新的贬损用法,旧的普通含义却仍在使用。只看这个词是否出现,既可能漏掉隐含攻击,也可能误伤无关的普通表达。

作者图 1 展示历史与现代语料的收集、筛选和人工复核流程

团队把 1770 至 1964 年的历史文本与 2001 至 2024 年的现代语料作对照。研究流程从超过两万个候选出发,先查词在原始材料里是否确有使用,再借助遮盖词形的定义评分、不同提示方式和人工定性分析筛选。最后保留的 19 个词都需要区分字面和贬损等具体义项。

这个资源的价值在于可以分别追问:算法是否识别出新义,又能否在旧义出现时避免误判。研究者还提出按时期评估语义变化的办法。词条数量小,语料也有明确的年代和来源,因此词表适合分析模型在这些例子上的表现,不能直接当作覆盖所有历史时期的屏蔽清单。

原始来源 · 核对材料

配图为 Dario Franzese 等 的图 1。封面等比缩放并留白。CC BY 4.0 许可。