跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

STEPQuant 增补低精度权重实验,区分模型权重与推理状态的内存占用

新增实验把四位 AWQ 权重与状态压缩配合使用,并分别考察按行、按列分配精度的作用。

返回资讯研究arXiv作者 · GETAI.APP查看原文

对于使用 Delta 规则的循环模型,同时服务的请求越多,保存每个请求状态的开销就越大。STEPQuant 的修订论文考察了压缩这部分内存时,哪些误差会在后续生成中停留更久。

GETAI 原创主题插画

研究者根据误差量级和信息在状态中保留的时间分配精度,并联合估计行、列两个方向的缩放参数。新对照改变了权重本身的精度,也移除部分状态量化设计,避免把权重压缩和状态压缩的收益混在一起。

作者在 Qwen3.8-27B 和 Kimi-Linear-48B-A3B-Instruct 上进行了长、短生成测试。在特定 SGLang 配置中,名义六位方案带来超过五倍的循环状态压缩,整体服务内存最多降低 68.7%;最高值取决于并发和所用模型。

原始报道或公告 · 延伸核对

配图为 GETAI 原创主题插画。