跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

METR 更新长任务评测,加入更难题目后重新估算能力增速

在新旧两套任务的合并测试上,METR 估算,模型以 50% 概率完成的任务所对应的人类耗时约每 3.6 个月翻一倍。

返回资讯研究METR作者 · GETAI.APP查看原文

METR 11 月 20 日发布第四季度评估。团队把任务长度定义为人完成它所需的时间,再估计模型成功率达到 50% 时对应多长的任务。

GETAI 原创主题插画

较早的 TH1.1 题库中,前沿模型在不少任务上已接近满分。加入难度更高的 TH2 后,同一模型的时间跨度估值下降。合并题集后,团队得到约 3.6 个月翻一倍的历史趋势。

报告也单列了判断力的限制。在反馈慢或测试不足以说明方案能否泛化时,智能体更难做出专家水平的取舍。因此这条增长曲线不能用来推定它能独立接手任意一周的工作。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。