跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

OpenAI 首席科学家提议用困惑度比较预训练进展

OpenAI 首席科学家 Jakub Pachocki 在 11 月 22 日发表文章,公开了团队从 GPT‑3.5 起追踪的一项指标,并建议模型开发者探索在共同数据上比较困惑度。

返回资讯研究OpenAI作者 · GETAI.APP查看原文

OpenAI 首席科学家 Jakub Pachocki 在 11 月 22 日发表文章,公开了团队从 GPT‑3.5 起追踪的一项指标,并建议模型开发者探索在共同数据上比较困惑度。

主题插画

困惑度衡量模型对留出文本中下一个词元的预测能力。OpenAI 展示的曲线使用其内部代码库的固定快照,这样可以在同一批样本上观察不同代模型的变化。外部团队若要复现这种比较,需要先约定数据与度量方式。

Pachocki 也给出了选错测试集的例子。GPT‑2 和 GPT‑3 的训练数据与后来的模型不同,只用代码预测成绩衡量早期模型,会低估它们在其他文本上的能力。这篇文章提出了一种比较办法,行业共享标准仍是作者的倡议。

来源原文。插画由 GETAI 制作。