11 月 18 日提交的一篇 arXiv 预印本比较了模型从提示中学习规则和偏离所给证据两种行为。作者用 CL-bench 的规则任务和 RAGTruth 的证据任务,检查 Qwen2.5-7B、Mistral-7B 与 Llama 3.1 8B 的内部表示。
作者把提示中的规则段和证据段分开分析,比较它们对候选输出得分的贡献。实验中,遵守规则需要在多处结构和内容选择上保持支持,事实是否贴合证据更依赖少数关键输出位置。
在部分已选样本中,研究者改变内部表示后,模型可以改选得到证据支持的结果。该结果来自三种模型和特定评估任务,论文未给出通用幻觉检测器。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
