跳转到正文
登录
← 开发动态

模型会算一步,不代表能连续跟踪状态

WMIP 用程序生成答案,测试语言模型在多次更新后能否正确报告最终或中间状态。它在相同题目上比较不同输出规则,避免把题型差异混入结论。

GETAI.APParXiv查看原文 ↗

WMIP 用程序生成答案,测试语言模型在多次更新后能否正确报告最终或中间状态。它在相同题目上比较不同输出规则,避免把题型差异混入结论。

论文测试 18 个模型,发现单步算术成绩与连续状态跟踪之间存在明显落差;要求写出中间步骤后,表现大幅改善。结果说明,输出协议会显著影响此类能力的测量。

来源:arXiv · 2603.27343

登录

还没有账号?