跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

Clover 技术报告介绍块扩散架构

报告描述 35B 总参数、约 3B 激活参数的混合模型,权重仓库此前已存在。

AI 生成主题插画,非实拍

DiffuSpace 团队 11 月 18 日提交 Clover-35B-A3B-Preview 技术报告,介绍由 Qwen3.6-35B-A3B 派生的文本模型,结合混合专家与块扩散生成。

主题插画,AI 生成、非实拍

模型总参数约 350 亿,每 token 激活约 30 亿;结构让已完成历史保存在递归记忆中,同时在当前块内进行双向注意力交互。上下文上限为提示与回答合计 131,072 个 token。

模型卡与 Apache-2.0 许可已公开,仓库在 10 月便已建立。卡片注明 BF16 权重约需 69GB 显存,另需推理状态空间。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?