Reflection 团队发布技术报告,介绍面向编程、推理和智能体任务的 Beam。模型采用稀疏混合专家架构,全部参数约 5013 亿,每次计算激活约 234 亿。
据团队披露,预训练使用约 23.8 万亿词元,之后分两阶段扩展到 100 万词元上下文。报告还公开了强化学习阶段的规模:约 1.05 万块 GB300 GPU,在四周内生成超过一亿次采样轨迹。
这些数字描述模型结构及团队训练时使用的资源。实际部署时的响应速度还会受到量化方式、批量大小和硬件配置影响,报告也单列了低精度推理与推测解码的实现。
配图为 GETAI 原创 AI 主题插画。
