研究者想知道,模型在解题途中换一种语言时,哪些切换与正确答案有关。新版从原有 CoRe 语料扩展到 EnCoRe,用六类干预组织微调与评估。
作者报告,语义准确的切换、较均衡的语言混合等现象与正确答案呈正相关,频繁切换则与错误答案相关。相关性来自受测轨迹。
部分微调任务并未直接演示如何切换语言,仍能改变模型随后解题时的语言行为。团队据此进一步检验,小规模精选数据能否帮助缺乏大规模推理语料的语言。
配图为 GETAI 原创 AI 主题插画。
GETAI EDITORIAL DISPATCH新闻报道
新版汇集 40 个经整理的数据集,在三种模型、七种语言和超过 8 万条推理轨迹上研究语言切换。