11 月 18 日提交的一篇论文比较了九个语言模型在魁北克法语上的持续预训练表现。研究每次使用 3000 万个词元的预算,并分别评估地区表达、语法和阅读理解。
结论显示,起点较低的模型在地区表达任务上有改善,其中最弱基座提高了 8.2 个百分点。实力更强的基座变化有限,表现最好的未适配模型仍超过适配后的模型。语料对照显示,正式文学文本是地区词汇任务收益的主要来源。
部分适配模型的阅读理解分数下降。混入标准法语训练数据可在部分实验中恢复阅读表现;总分和困惑度会掩盖这种取舍。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
