11 月 5 日提交的 HaluCheck 预印本介绍了一套双语评测。它同时覆盖文本中的事实错误,以及智能体执行过程中与工具结果或上下文不一致的说法,并为检测、定位、纠正分别设置标注。
作者在 14 个大模型上评测,发现模型识别整条样本是否存在错误相对容易,定位局部错误和纠正智能体输出仍有难度。联网搜索、推理和微调在实验中分别改善了部分指标。
来源:arXiv。
配图:Hanyu Qiu 等的HaluCheck 双语幻觉评测流程,依据 CC BY 4.0 使用,原图未裁改。

11 月 5 日提交的 HaluCheck 预印本介绍了一套双语评测。它同时覆盖文本中的事实错误,以及智能体执行过程中与工具结果或上下文不一致的说法,并为检测、定位、纠正分别设置标注。
作者在 14 个大模型上评测,发现模型识别整条样本是否存在错误相对容易,定位局部错误和纠正智能体输出仍有难度。联网搜索、推理和微调在实验中分别改善了部分指标。
来源:arXiv。
配图:Hanyu Qiu 等的HaluCheck 双语幻觉评测流程,依据 CC BY 4.0 使用,原图未裁改。