Unlimited OCR 针对长文档识别中缓存不断增长的问题,引入参考滑动窗口注意力 R-SWA。解码时保留所需参考信息,让 KV 缓存保持恒定,而不是随输出文本持续扩张。
论文以 DeepSeek OCR 为基础,在标准 32K 长度设置下处理多页文档,并公开代码与权重。作者还讨论了这种解析注意力在语音识别、翻译等序列任务中的潜在用途。
Unlimited OCR 针对长文档识别中缓存不断增长的问题,引入参考滑动窗口注意力 R-SWA。解码时保留所需参考信息,让 KV 缓存保持恒定,而不是随输出文本持续扩张。
Unlimited OCR 针对长文档识别中缓存不断增长的问题,引入参考滑动窗口注意力 R-SWA。解码时保留所需参考信息,让 KV 缓存保持恒定,而不是随输出文本持续扩张。
论文以 DeepSeek OCR 为基础,在标准 32K 长度设置下处理多页文档,并公开代码与权重。作者还讨论了这种解析注意力在语音识别、翻译等序列任务中的潜在用途。