Next-Concept Modeling 把文本编码成多层离散表示,先确定较粗的概念,再逐层细化;同一层中的编码可以并行预测,减少逐字生成的串行开销。
论文在语言建模、摘要和数独等任务上比较了质量与计算次数。作者报告部分设置下比所比较的扩散语言模型更快,但速度结论依赖参数规模、任务和采样预算。
Next-Concept Modeling 把文本编码成多层离散表示,先确定较粗的概念,再逐层细化;同一层中的编码可以并行预测,减少逐字生成的串行开销。
Next-Concept Modeling 把文本编码成多层离散表示,先确定较粗的概念,再逐层细化;同一层中的编码可以并行预测,减少逐字生成的串行开销。
论文在语言建模、摘要和数独等任务上比较了质量与计算次数。作者报告部分设置下比所比较的扩散语言模型更快,但速度结论依赖参数规模、任务和采样预算。