跳转到正文
登录
← 产品动态

Clover 把块扩散引入 35B 混合专家语言模型

DiffuSpace 的 Clover-35B-A3B-Preview 基于 Qwen3.6 架构,结合块扩散生成与混合专家机制,总参数约 35B,每 token 激活约 3B 参数,支持 128K 上下文。

GETAI.APPHugging Face查看原文 ↗

DiffuSpace 的 Clover-35B-A3B-Preview 基于 Qwen3.6 架构,结合块扩散生成与混合专家机制,总参数约 35B,每 token 激活约 3B 参数,支持 128K 上下文。

官方提供推理说明和相关实现,并提醒很长的生成仍可能重复。模型内置长度与重复控制;“激活参数少”不意味着全部权重占用很小,BF16 部署仍需要足够显存。

来源:Hugging Face · Diffuspace/Clover-35B-A3B-Preview

登录

还没有账号?