跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

GLiDE 用一次前向计算给候选答案打分,同时估计置信度

研究团队比较 4 亿至 270 亿参数的五种决策模型,检验能否把推理模型的判断压缩到直接评分中。

返回资讯研究arXiv作者 · GETAI.APP查看原文

研究团队比较 4 亿至 270 亿参数的五种决策模型,检验能否把推理模型的判断压缩到直接评分中。

GETAI 原创主题插画

模型让上下文、提问和候选答案相互参与注意力计算,再从多个教师模型学习评分。部署时可以直接给候选项打分,省去逐词生成解释的耗时。

作者报告,270 亿参数方案的一项配置在隐藏测试上得分 71.52,预期校准误差为 2.0%,单 GPU 中位延迟 92.9 毫秒。进一步处理权重并增加循环计算后得分为 73.37,校准误差为 2.1%。

原始来源 · 延伸材料

配图为 GETAI 原创 AI 主题插画。