11 月 20 日,WeightBench 将一项评测修复合入主分支。这套基准让智能体在前向计算次数受到限制的条件下处理模型权重。此前,系统在审查一次任务记录时,会将智能体对公式的文字解释与实际执行的运算混在一起。
问题报告用项目自带的参考智能体做了对照。在代码和提交结果均相同的情况下,只要说明中提到某个激活函数或引用题目公式,一次正确的静态分析就可能被隔离并计为零分。
这次合并让该项检查聚焦工具调用记录,兼容 Claude 和 Codex 的日志格式。其他文字审查继续读取完整消息。维护者公布了修复内容,尚未在该合并记录中给出重算后的模型成绩。
配图为 GETAI 原创主题插画。
