一份财报问答如果引用编号有效、算术也正确,仍有可能把甲公司的数字写到乙公司名下。11 月 18 日公开的 FinVeriQA 预印本用一个公开原型检验这个问题。系统从美国证交会文件和市场数据取证,让小模型分流问题,用 Python 计算,最后由语言模型撰写带出处的答案。
在 100 道数值题上,Mistral-7B 独自计算答对 29%,用 Python 计算答对全部。在 50 道财报检索题中,混合检索有 76% 能在前五个结果中找到目标材料。但一次实际案例里,两个答案都通过了编号和数字校验,却把 AMD 样例数据写成英伟达或 Alphabet 的数据。
作者随后在 FinRank 基准的共享证据里故意改动一个数字。沿用写稿时那份材料的校验识别出 35% 的错误,回到原始段落核查则识别出 77%。这组差距对应论文的受控实验,说明即使工具能重算数字,核对公司和期间仍需要一份独立于生成答案的证据。
arXiv · 论文摘要及版本 · arXiv · 论文全文
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
