研究团队比较 4 亿至 270 亿参数的五种决策模型,检验能否把推理模型的判断压缩到直接评分中。
模型让上下文、提问和候选答案相互参与注意力计算,再从多个教师模型学习评分。部署时可以直接给候选项打分,省去逐词生成解释的耗时。
作者报告,270 亿参数方案的一项配置在隐藏测试上得分 71.52,预期校准误差为 2.0%,单 GPU 中位延迟 92.9 毫秒。进一步处理权重并增加循环计算后得分为 73.37,校准误差为 2.1%。
配图为 GETAI 原创 AI 主题插画。
GETAI EDITORIAL DISPATCH新闻报道
研究团队比较 4 亿至 270 亿参数的五种决策模型,检验能否把推理模型的判断压缩到直接评分中。