跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

推理路径需要见过多少条?宾大团队给出随机抽样上界

研究把推理轨迹写成图上的路径,说明训练样本可以通过共享的步骤,覆盖更多完整路径。

返回资讯研究arXiv作者 · GETAI.APP查看原文

一条解法有三步,训练时未必需要见过这三步的完整组合。如果每一步都曾出现在其他样本里,模型可能把它们接起来。宾夕法尼亚大学的三位研究者用有向无环图刻画这种情况,并在 11 月 19 日修订的预印本中给出一个随机抽样上界。

论文图 2,两幅图比较有向无环图的路径数和路径长度

在这个设定里,每次均匀抽取一条从起点到答案的完整路径。当一条路径上的每条边都至少在某个训练样本里出现过,就算覆盖了这条路径。要覆盖至少 1−ε 比例的路径,所需样本数的期望至多为图的边数除以 ε。

此前版本讨论能覆盖所有边的最少路径数与长度。新版定理 1 直接讨论随机抽样。作者还用合成任务训练小型 Transformer;定理约束的是特定抽样假设下的路径覆盖,不能据此估算通用模型解决真实问题所需的数据量。

修订版全文 · 此前版本

图 2 来自 Amrut Nadgir、Vijay Balasubramanian 和 Pratik Chaudhari 的原论文,按 CC BY 4.0 裁出图表并加白边。