北京时间 11 月 19 日公开的预印本比较了语言模型在零样本文本分类时给出置信度的方式。研究涵盖 11 个开放权重模型和五个数据集,任务的类别数为 3 至 151。
论文报告,读取词元概率的方法在区分正确与错误预测方面取得 0.74 至 0.77 的 AUROC,自报置信度和抽样等方法为 0.57 至 0.66。多数受测设置下,选择置信度计算方式对分类准确率没有明显影响。
作者还测试只在候选标签分岔处计分的方法。三个标签最多的数据集上,这样做使解码步数减少 88% 至 96%。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
