ExecJudges 预印本研究让大模型一次生成主题相关的判分程序,再由程序完成检索文档的相关性标注。
程序接收主题、评分规则和可选的人类标注例子,使用词汇匹配、常规 NLP 工具及文档池统计。多个独立程序的评分汇总为标签,处理后续文档时无需逐篇再次调用大模型。
作者在七组 TREC 集合中与 NIST 人类标注、模型裁判及主题分类器比较。一致性与排序表现属于这些检索评估任务,不能扩展为可替代所有专家判断。
该工作以预印本公开,方法和实验范围见arXiv 论文。
配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。
