Federico Magnani 在 11 月 22 日发表了一篇面向语言模型初学者的图解,从人眼如何处理光谱讲起,解释为什么模型需要用一组数来表示词元。
单看某一类视锥细胞的响应,很难判断照进眼睛的是哪种光。把三类细胞的响应放在一起,许多光谱便可以区分,但仍有不同的光谱给出相同的三组数值。这个例子让读者直观看到,向量可以保存有用差异,也会丢掉信息。
文章随后回到词元。词表中的编号负责标识,训练学到的嵌入则让模型能够利用向量之间的关系。作者借色觉解释表示方法,读者无需把生理机制与模型训练过程逐一对应。
