TopoQuant 研究尝试在不反复运行昂贵下游评测的情况下，判断大模型量化后是否出现行为偏移。团队用拓扑数据分析描述参数结构变化，再观察它与注意力一致性的关系。
论文在四类模型上发现，中等压缩程度下的变化较平稳，极低位宽时可能明显加剧。作者还用轻量模型根据拓扑特征预测注意力一致性。它提供的是量化风险的辅助信号，不能替代真实任务中的质量检验。
TopoQuant 用拓扑变化检查模型量化损失
TopoQuant 研究尝试在不反复运行昂贵下游评测的情况下，判断大模型量化后是否出现行为偏移。团队用拓扑数据分析描述参数结构变化，再观察它与注意力一致性的关系。