研究者对八种语言模型进行删除名词、打乱词序等扰动测试,并加入 368 条经过人工验证的新题,检查模型为何在输入损坏后仍能保留部分分数。 结果更支持数据集风格中的捷径,而非单纯记住了测试题:新题采用熟悉风格时也出现同样现象,去掉承载线索的功能词后趋势逆转。作者强调,这类“抗扰动表现”有时更多反映基准的线索,而非模型真正理解能力。 来源:arXiv。 配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。