跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Unsloth 发布 Inkling 2 Mini 的 GGUF 量化文件与本地运行指南

运行指南列出不同量化档的内存预算,并单独说明视觉投影文件约需下载 639 MB。

返回资讯模型Unsloth作者 · GETAI.APP查看原文

Unsloth 在 11 月 20 日发布为 Inkling 2 Mini 制作的 GGUF 文件,并提供适用于 Mac、NVIDIA 和 AMD 设备的本地指南。用户可以在 Unsloth Desktop 或 llama.cpp 中选择不同精度,按设备的内存预算部署这款开放权重模型。

GETAI 原创主题插画

指南推荐 UD-Q4_K_XL 作为起点,表中给出的四位量化运行内存约为 17 至 18 GB。估算考虑内存和显存,统一内存设备按其共享容量计算。更长上下文、图像输入及同时运行的其他程序都会增加实际占用。

图文输入还需单独的 mmproj-F16.gguf 视觉投影文件,下载约 639 MB。团队公开了各量化档相对参考权重的分布差异和准确率比较,供用户按内存、精度与任务自行取舍。

原始报道或公告 · 延伸核对

配图为 GETAI 原创主题插画。