BitLLM 研究把手机 GPU 上的低比特模型推理瓶颈拆成数值类型转换和 KV 缓存访问两部分。方案调整缓存布局，并把部分转换移出矩阵计算的关键路径。
作者在多种模型与量化设置下比较了常见移动推理引擎，报告速度和长上下文能耗有所改善。具体效果取决于设备与测试条件，论文结果不能直接作为所有手机的性能承诺。
BitLLM 优化手机 GPU 上的低比特模型解码
BitLLM 研究把手机 GPU 上的低比特模型推理瓶颈拆成数值类型转换和 KV 缓存访问两部分。方案调整缓存布局，并把部分转换移出矩阵计算的关键路径。