跳转到正文
GETAI.APP
开发动态Hugging FaceGETAI.APP查看原文

开发者展示 SSD 流式加载 MoE 模型实验

实验在32GB Mac 上运行180B级模型,将专家权重留在 SSD、按需读入缓存;相关 Transformers 改动仍是未合并的概念验证。

AI 生成主题插画,非实拍

开发者 Tarek Ziadé 于 11 月 18 日在 Hugging Face 博客中分享实验:通过 SSD 流式加载,在配备 32GB 统一内存的 MacBook M5 上运行 Qwen3.8-Flash-Next。Hugging Face 实验介绍

主题插画,AI 生成、非实拍

方案只把当前路由选中的 MoE 专家载入有限缓存,专家权重及 n-gram 表仍需存放在磁盘,并结合量化和 Metal 内核。32GB 指设备内存,并非完整权重和磁盘占用。

作者报告,优化后短文本生成约为每秒 14 个 token,速度仍不满足其日常编码智能体需求。这是该设备、量化方式和测试输入下的结果。通用专家卸载实现仍在 Transformers 的概念验证拉取请求中,尚未合并为正式版本。Transformers 拉取请求

配图由 GETAI.APP 使用内置 imagegen 生成,非真实现场、产品界面或测试结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?