一项图数据研究提出更系统的修复评测方法:从符合规则的图开始,按形式化规则引入错误,再检查修复系统能否恢复约束。这样可以知道测试覆盖了哪些错误,而不只依赖临时收集的坏数据。
作者用这套框架比较了包含大语言模型在内的多种修复方法。论文发现,不同方法对不同约束的表现存在明显差异,单一总分难以反映实际能力。
一项图数据研究提出更系统的修复评测方法:从符合规则的图开始,按形式化规则引入错误,再检查修复系统能否恢复约束。这样可以知道测试覆盖了哪些错误,而不只依赖临时收集的坏数据。
一项图数据研究提出更系统的修复评测方法:从符合规则的图开始,按形式化规则引入错误,再检查修复系统能否恢复约束。这样可以知道测试覆盖了哪些错误,而不只依赖临时收集的坏数据。
作者用这套框架比较了包含大语言模型在内的多种修复方法。论文发现,不同方法对不同约束的表现存在明显差异,单一总分难以反映实际能力。