MACaQ 开源量化工具支持文本与多模态模型

MACaQ 开源项目提供模型校准量化工具，面向本地推理和多模态部署。仓库由 huawei-csl 维护，支持与 llama.cpp、vLLM、Diffusers 和 PyTorch 等后端配合使用。

项目说明展示了文本模型转为低比特 GGUF，以及图像、视频、音频生成模型的量化路径。团队称，一项 1220 亿参数模型量化测试使用约 32.5GB 设备显存，耗时约 64 分钟。

项目为不同模型和推理后端提供独立环境与格式说明。量化速度和质量仍受模型、显存及目标精度影响，上述性能数字来自维护方测试。

来源：GitHub 原文。

图片来源：GitHub。