对于使用 Delta 规则的循环模型,同时服务的请求越多,保存每个请求状态的开销就越大。STEPQuant 的修订论文考察了压缩这部分内存时,哪些误差会在后续生成中停留更久。
研究者根据误差量级和信息在状态中保留的时间分配精度,并联合估计行、列两个方向的缩放参数。新对照改变了权重本身的精度,也移除部分状态量化设计,避免把权重压缩和状态压缩的收益混在一起。
作者在 Qwen3.8-27B 和 Kimi-Linear-48B-A3B-Instruct 上进行了长、短生成测试。在特定 SGLang 配置中,名义六位方案带来超过五倍的循环状态压缩,整体服务内存最多降低 68.7%;最高值取决于并发和所用模型。
配图为 GETAI 原创主题插画。
