一篇关于 BPE 的理论研究分析了分词背后的压缩问题。作者证明，寻找最优的成对编码属于 APX 完全问题，同时给出 BPE 在所有输入上都成立的最坏情形近似保证。
这份论文最早于 2024 年公开，此次因进入趋势列表重新受到关注。它解释的是压缩效用，而不是宣称 BPE 在所有语言或下游任务中都最优。
研究回顾：BPE 分词为什么能压缩文本
一篇关于 BPE 的理论研究分析了分词背后的压缩问题。作者证明，寻找最优的成对编码属于 APX 完全问题，同时给出 BPE 在所有输入上都成立的最坏情形近似保证。