跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究比较大模型的分类置信度

在五组文本分类数据中,读取词元概率的方法比读取模型自报分数更善于区分答对与答错的样本。

返回资讯研究arXiv作者 · GETAI.APP查看原文

北京时间 11 月 19 日公开的预印本比较了语言模型在零样本文本分类时给出置信度的方式。研究涵盖 11 个开放权重模型和五个数据集,任务的类别数为 3 至 151。

AI 生成主题插画

论文报告,读取词元概率的方法在区分正确与错误预测方面取得 0.74 至 0.77 的 AUROC,自报置信度和抽样等方法为 0.57 至 0.66。多数受测设置下,选择置信度计算方式对分类准确率没有明显影响。

作者还测试只在候选标签分岔处计分的方法。三个标签最多的数据集上,这样做使解码步数减少 88% 至 96%。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。