跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Reflection 公开 Beam 技术报告,披露稀疏模型参数与训练规模

团队报告 Beam 总参数为 5013 亿,每次激活约 234 亿,并介绍了百万词元上下文的训练方式。

返回资讯模型arXiv作者 · GETAI.APP查看原文

Reflection 团队发布技术报告,介绍面向编程、推理和智能体任务的 Beam。模型采用稀疏混合专家架构,全部参数约 5013 亿,每次计算激活约 234 亿。

GETAI 原创主题插画

据团队披露,预训练使用约 23.8 万亿词元,之后分两阶段扩展到 100 万词元上下文。报告还公开了强化学习阶段的规模:约 1.05 万块 GB300 GPU,在四周内生成超过一亿次采样轨迹。

这些数字描述模型结构及团队训练时使用的资源。实际部署时的响应速度还会受到量化方式、批量大小和硬件配置影响,报告也单列了低精度推理与推测解码的实现。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。