当模型生成的两段文字面对不同人群时,编辑可能希望通过改写让二者的措辞更公平。但用于挑选改稿的分数变好,换一个评审是否也认可?11 月 18 日发布的一项预印本把这个问题放到气候信息文本上检验,样本包括 660 对性别条件文本以及 1,980 组年龄条件对照。
研究把三种工作分开:一个模型提出改写,另一个模型从满足保留条件的候选中挑选,最后由没有参与前两步的评审比较文本。始终只改某项指标得分较低的一侧,效果随人群维度和评价方式变化。当两侧都可提出改动、最后最多采纳一处时,在两类评审的八项比较中有七项优于固定规则。
作者也观察到,这个优势主要来自更多文本得到修改,同时增加了原意保留的风险。只追求缩小预设指标的差距,反而可能扩大独立评审衡量的其他差异。对于要批量改稿的编辑,报告修改覆盖面、原意保留情况和独立评审结果,才有办法判断改写的实际取舍。
配图取自 Tunazzina Islam 的论文图 1,按 CC BY 4.0 使用,缩放并加留白。
