一项新预印本分析了 Chatbot Arena 的 126 万余条盲评投票，研究用户评价标准是否会随时间变化。样本覆盖 2023 年 5 月至 2024 年 8 月，并重点比较版本固定的模型。
作者发现，即使是同一对未改变的模型，“两个答案都不好”的投票比例也随月份上升，而相对强弱排序大体稳定。研究还控制了投票者、提示词和语言等因素。
论文将这一现象解释为评价标准随行业进步而变化。它讨论的是该平台历史样本中的评判漂移，不能单独用于判断某款当前模型是否发生性能退化。
来源：arXiv 原文。
图片来源：论文作者 / arXiv。