跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

WeightBench 修正评测误判,智能体解释公式曾让正确结果计零分

维护者调整了判定模型是否执行前向计算的一项规则。原问题报告给出了代码与提交均相同、只改变文字说明的对照。

返回资讯研究GitHub作者 · GETAI.APP查看原文

11 月 20 日,WeightBench 将一项评测修复合入主分支。这套基准让智能体在前向计算次数受到限制的条件下处理模型权重。此前,系统在审查一次任务记录时,会将智能体对公式的文字解释与实际执行的运算混在一起。

GETAI 原创主题插画

问题报告用项目自带的参考智能体做了对照。在代码和提交结果均相同的情况下,只要说明中提到某个激活函数或引用题目公式,一次正确的静态分析就可能被隔离并计为零分。

这次合并让该项检查聚焦工具调用记录,兼容 Claude 和 Codex 的日志格式。其他文字审查继续读取完整消息。维护者公布了修复内容,尚未在该合并记录中给出重算后的模型成绩。

原始公告 · 相关资料

配图为 GETAI 原创主题插画。