跳转到正文
登录
← 开发动态

HaluCheck 评估文本和智能体的幻觉

双语基准超过 4.2 万条,除了判断是否出错,还要求定位错误并修正。

GETAI.APParXiv查看原文 ↗
HaluCheck 双语幻觉评测流程

11 月 5 日提交的 HaluCheck 预印本介绍了一套双语评测。它同时覆盖文本中的事实错误,以及智能体执行过程中与工具结果或上下文不一致的说法,并为检测、定位、纠正分别设置标注。

作者在 14 个大模型上评测,发现模型识别整条样本是否存在错误相对容易,定位局部错误和纠正智能体输出仍有难度。联网搜索、推理和微调在实验中分别改善了部分指标。

来源:arXiv。

配图:Hanyu Qiu 等的HaluCheck 双语幻觉评测流程,依据 CC BY 4.0 使用,原图未裁改。

登录

还没有账号?