StrataFlux 预印本于 11 月 5 日提交。研究人员用低比特形式保留模型权重和注意力缓存，并在解码需要时从主机内存或固态硬盘补充精度。该方法尝试让取数与推理计算重叠，并在后续解码步骤复用已取回的数据。 在作者的 RTX 5090 实验中，2 比特 Llama-3.1-8B-Instruct 的 WikiText-2 困惑度从 9.46 降至 8.40，同时保留基线约 95.4% 的吞吐量。实际收益随模型、设备和量化配置变化。 来源：arXiv。 封面为 AI 生成的编辑插图。
