跳转到正文
登录
← 开发动态

新基准检验 AI 能否看懂政策如何变化

DAPE 基准同时判断两份政策是否属于同一领域,以及后一份是延续、扩大、缩小还是逆转前一份。研究用 1,000 组中国政府政策指令构建专家标注数据,避免把困难样本简单归为不相关。

GETAI.APParXiv查看原文 ↗

DAPE 基准同时判断两份政策是否属于同一领域,以及后一份是延续、扩大、缩小还是逆转前一份。研究用 1,000 组中国政府政策指令构建专家标注数据,避免把困难样本简单归为不相关。

论文报告,直接提示多款模型时,它们与专家标注的一致性仍明显不足;针对任务微调的 Qwen3-14B 在交叉验证中接近标注人员之间的一致程度。研究评估的是文本关系判断,不是自动作出法律解释。

来源:arXiv · 2611.00536

登录

还没有账号?