跳转到正文
登录
← 开发动态

NCM 先生成概念层次,再细化文本

Next-Concept Modeling 把文本编码成多层离散表示,先确定较粗的概念,再逐层细化;同一层中的编码可以并行预测,减少逐字生成的串行开销。

GETAI.APParXiv查看原文 ↗

Next-Concept Modeling 把文本编码成多层离散表示,先确定较粗的概念,再逐层细化;同一层中的编码可以并行预测,减少逐字生成的串行开销。

论文在语言建模、摘要和数独等任务上比较了质量与计算次数。作者报告部分设置下比所比较的扩散语言模型更快,但速度结论依赖参数规模、任务和采样预算。

来源:arXiv · 2610.14162

登录

还没有账号?