研究者用 WikiText-103 训练四套表示,比较词形、句法角色和上下文词性怎样影响词向量的距离。
团队一方面比较不同依存关系的平均位置,另一方面把同一词元的不同用法放在一起,检查整体结构是否也能描述局部差异。
四种表示的整体结构都显著受上下文词性影响。较大尺度的相似关系可以跨句法角色保留,但最近邻变化明显;两种计数方法在不同依存关系之间比受测预测方法更一致。
配图出自 Phan-Tat, Bach 等 的图 1,等比缩放并留白。CC BY 4.0。
GETAI EDITORIAL DISPATCH新闻报道
研究者用 WikiText-103 训练四套表示,比较词形、句法角色和上下文词性怎样影响词向量的距离。