跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

PILAPS 评估模型能否理解中英语境

研究用覆盖八类语用现象的中英基准,测试模型能否听懂会话言外之意。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 19 日公开的预印本介绍 PILAPS。作者设计包含普通话和英语的题目,加入明确写出的场景与来自对话的样例,检验模型理解言外之意的能力。

AI 生成主题插画

研究对四个家族的八个模型开展比较,发现同一模型在不同语用现象和语言上的表现差异明显。幽默等题型给所测开放模型带来较大困难。

论文的错误分析还发现,在会话设置中,受测模型比人类对照更容易按字面理解。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。