11 月 19 日公开的预印本介绍 PILAPS。作者设计包含普通话和英语的题目,加入明确写出的场景与来自对话的样例,检验模型理解言外之意的能力。
研究对四个家族的八个模型开展比较,发现同一模型在不同语用现象和语言上的表现差异明显。幽默等题型给所测开放模型带来较大困难。
论文的错误分析还发现,在会话设置中,受测模型比人类对照更容易按字面理解。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
研究用覆盖八类语用现象的中英基准,测试模型能否听懂会话言外之意。