跳转到正文
登录
← 开发动态

让模型反复说错话可能影响对齐

无害题材中的错误训练,也可能带来更广泛的行为变化。

GETAI.APParXiv查看原文 ↗

11 月 3 日提交的研究考察模型在训练时被要求陈述其原本认为错误的答案,会发生什么变化。实验覆盖数学、常识、烹饪和体育,发现内部判断与外部回答的冲突程度和失准行为相关。

团队还测试单条事实更新,并比较直接命令与完整故事背景。结果来自受控实验,提示知识编辑和持续学习需要检查更新后的行为,而不只是训练文本是否含有有害内容。

来源:arXiv。

登录

还没有账号?