OVHcloud 于 11 月 17 日公布首个大语言模型系列 Olala,其中 Olala mini 7A1B 计划在 19 日的 OVHcloud AI Summit 正式发布。
按公司介绍,首个模型总参数为 70 亿,每次激活约 10 亿参数,每层包含 256 个专家;架构结合 Differential-TPA 与 Mamba-3,采用 BF16 格式,当前上下文长度为 32,000 token。
OVHcloud 表示模型在 Jupiter、MeluXina 和 Jean Zay 三台欧洲公共超级计算机上训练,计划通过 Hugging Face 以 Apache 2.0 许可提供,并配套模型权重、预训练基础模型、技术报告和 AI Act 合规文档。
目前这是一份发布预告,本稿未确认权重已可下载。公司另计划在年底前推出 v1.1,将上下文扩展至 128,000 token;该项仍属后续安排。
来源:OVHcloud · 英文公告、OVHcloud · 法文公告。
配图:GETAI.APP 使用内置 imagegen 生成的主题插画,非产品实拍。
