11 月 22 日,LookAtMyQuant 作者上传了面向 Apple 芯片和 MLX 的第二版 Inkling 2 Mini 量化检查点。发布页面将文本权重体积列为约 5.38 GB,并提供模型卡和装载方式。
文本包与视觉组件分开提供。作者列出的未改动视觉模块约为 637 MB,因此需要看图的应用不能只按文本包体积估算占用。模型卡另列了启用约 179 MB 辅助解码权重时的测量。
据作者在 Apple M5 Max 上的记录,启用这组辅助权重时 MLX 活跃内存约为 5.98 GB。模型页面还提供数学与代码测试的样本数和生成长度,读者可以按相同条件比较自测结果。
配图为 GETAI 原创主题插画。
