新闻推荐系统如果直接写出下一篇文章的标题,热门内容出现得多,究竟是读者偏好,还是模型记住了同一句话?11 月 19 日公开的一项预印本,把这个问题放进了一个可以回查的任务:基于一家日本新闻服务约两千万次浏览会话,让 Llama 3 8B 学习生成接下来可能被阅读的标题。
作者将生成结果与真实浏览记录相比,发现模型生成的标题更集中,覆盖的内容也更少。一个标题作为训练目标重复出现得越频繁,模型越容易逐字或近似地复现它;而记忆程度较高的标题,还会在更多不同的上下文中被推荐出来。
团队随后尝试对训练目标去重。模型记忆和推荐集中度都随之下降,但训练集规模和推荐准确率也明显降低。这个探索性对照提示,偏向热门内容可能同时来自读者行为和模型对重复文本的学习。在这批数据上,单靠删掉重复标题还不能兼顾多样性与预测准确率。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
