跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

研究区分语言理解基准中的数据捷径与记忆效应

新人工验证题也复现熟悉数据集的线索,抗扰动分数未必来自真正理解。

文字字形主题插画

研究者对八种语言模型进行删除名词、打乱词序等扰动测试,并加入 368 条经过人工验证的新题,检查模型为何在输入损坏后仍能保留部分分数。

结果更支持数据集风格中的捷径,而非单纯记住了测试题:新题采用熟悉风格时也出现同样现象,去掉承载线索的功能词后趋势逆转。作者强调,这类“抗扰动表现”有时更多反映基准的线索,而非模型真正理解能力。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?