跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

ExecJudges 研究用程序标注相关性

大模型先为每个主题写判分程序,再让程序处理文档,减少逐篇模型调用。

AI 生成主题插画,非实拍

ExecJudges 预印本研究让大模型一次生成主题相关的判分程序,再由程序完成检索文档的相关性标注。

主题插画,AI 生成、非实拍

程序接收主题、评分规则和可选的人类标注例子,使用词汇匹配、常规 NLP 工具及文档池统计。多个独立程序的评分汇总为标签,处理后续文档时无需逐篇再次调用大模型。

作者在七组 TREC 集合中与 NIST 人类标注、模型裁判及主题分类器比较。一致性与排序表现属于这些检索评估任务,不能扩展为可替代所有专家判断。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?