开发者 Tarek Ziadé 于 11 月 18 日在 Hugging Face 博客中分享实验:通过 SSD 流式加载,在配备 32GB 统一内存的 MacBook M5 上运行 Qwen3.8-Flash-Next。Hugging Face 实验介绍
方案只把当前路由选中的 MoE 专家载入有限缓存,专家权重及 n-gram 表仍需存放在磁盘,并结合量化和 Metal 内核。32GB 指设备内存,并非完整权重和磁盘占用。
作者报告,优化后短文本生成约为每秒 14 个 token,速度仍不满足其日常编码智能体需求。这是该设备、量化方式和测试输入下的结果。通用专家卸载实现仍在 Transformers 的概念验证拉取请求中,尚未合并为正式版本。Transformers 拉取请求
配图由 GETAI.APP 使用内置 imagegen 生成,非真实现场、产品界面或测试结果。
