Unsloth 在 11 月 20 日发布为 Inkling 2 Mini 制作的 GGUF 文件,并提供适用于 Mac、NVIDIA 和 AMD 设备的本地指南。用户可以在 Unsloth Desktop 或 llama.cpp 中选择不同精度,按设备的内存预算部署这款开放权重模型。
指南推荐 UD-Q4_K_XL 作为起点,表中给出的四位量化运行内存约为 17 至 18 GB。估算考虑内存和显存,统一内存设备按其共享容量计算。更长上下文、图像输入及同时运行的其他程序都会增加实际占用。
图文输入还需单独的 mmproj-F16.gguf 视觉投影文件,下载约 639 MB。团队公开了各量化档相对参考权重的分布差异和准确率比较,供用户按内存、精度与任务自行取舍。
配图为 GETAI 原创主题插画。
