跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

魁北克法语研究比较持续预训练收益

固定训练预算下,部分较弱模型对地区表达的理解改善。更强基座的增益有限,阅读理解可能下降。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日提交的一篇论文比较了九个语言模型在魁北克法语上的持续预训练表现。研究每次使用 3000 万个词元的预算,并分别评估地区表达、语法和阅读理解。

AI 生成主题插画

结论显示,起点较低的模型在地区表达任务上有改善,其中最弱基座提高了 8.2 个百分点。实力更强的基座变化有限,表现最好的未适配模型仍超过适配后的模型。语料对照显示,正式文学文本是地区词汇任务收益的主要来源。

部分适配模型的阅读理解分数下降。混入标准法语训练数据可在部分实验中恢复阅读表现;总分和困惑度会掩盖这种取舍。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。