跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

上下文学习研究补充随机示例测试,报告不同抽样下的准确率波动

论文分别对去重和知识问答任务使用 10 个和 5 个随机种子,给出任务算子的平均表现与标准差。

返回资讯研究arXiv作者 · GETAI.APP查看原文

一项研究模型如何从上下文示例中提取任务规律的预印本于 11 月 19 日更新。作者把从示例中提取的干预方式称为「任务算子」,并增加了改变示例抽样后结果是否稳定的报告。

三项任务在不同层与注意力头上的重要性

新版本表 2 用 10 个随机种子选择去重任务示例,用 5 个随机种子选择 GPQA 示例。在 Qwen3-8B 上,作者报告任务算子的去重准确率为 63.9%,标准差为 8.7 个百分点;GPQA 则为 29.5%,标准差为 2.7 个百分点。

这两组数说明,示例抽样给两项任务带来的波动不同。论文同时给出其他方法在相同抽样方式下的结果,便于读者检查一次运行是否具有代表性。

论文版本记录 · 原始材料

配图来自 Xiong, Guangzhi 等,图 2,按 CC BY 4.0 使用。