Cerebras 于 11 月 17 日介绍其解耦推理的生产部署与伙伴接入方式:GPU 负责提示词的预填充处理,Cerebras 晶圆级系统负责逐个生成输出 token。Cerebras 技术文章
在文中披露的 Cerebras Inference Cloud 部署中,AMD Instinct GPU 执行预填充,CS-3 系统承担解码,让两类硬件分别处理适合自身的工作。
基础设施合作伙伴可使用整套软件栈,包括请求路由、预填充引擎、解码引擎,以及通过 RDMA 传递 KV 缓存等中间状态的 KV Portal;也可选择仅解码 SDK,保留自己的编排框架和预填充引擎。
Cerebras 表示,AWS、Fireworks AI、Gimlet Labs 和 General Compute 等早期伙伴已经获得接入,正在扩大伙伴范围。到 2027 年底进一步扩大部署仍是公司计划。
公司此前已在 11 月 12 日财报材料中披露解耦推理进展,17 日文章补充了上述技术和部署细节。12 日官方财报
配图为 GETAI.APP 使用内置 imagegen 生成的主题插画,非真实服务器或吞吐测试。
