跳转到正文
GETAI.APP
开发动态CerebrasGETAI.APP查看原文

Cerebras 详解 GPU 与晶圆芯片分工推理

17 日技术文章介绍已运行的解耦推理:AMD GPU 处理提示词,CS-3 生成输出;伙伴可选整套软件栈或仅解码 SDK,扩大部署仍有后续计划。

AI 生成主题插画,非实拍

Cerebras 于 11 月 17 日介绍其解耦推理的生产部署与伙伴接入方式:GPU 负责提示词的预填充处理,Cerebras 晶圆级系统负责逐个生成输出 token。Cerebras 技术文章

分工协作工作台主题插画,AI 生成、非实拍

在文中披露的 Cerebras Inference Cloud 部署中,AMD Instinct GPU 执行预填充,CS-3 系统承担解码,让两类硬件分别处理适合自身的工作。

基础设施合作伙伴可使用整套软件栈,包括请求路由、预填充引擎、解码引擎,以及通过 RDMA 传递 KV 缓存等中间状态的 KV Portal;也可选择仅解码 SDK,保留自己的编排框架和预填充引擎。

Cerebras 表示,AWS、Fireworks AI、Gimlet Labs 和 General Compute 等早期伙伴已经获得接入,正在扩大伙伴范围。到 2027 年底进一步扩大部署仍是公司计划。

公司此前已在 11 月 12 日财报材料中披露解耦推理进展,17 日文章补充了上述技术和部署细节。12 日官方财报

配图为 GETAI.APP 使用内置 imagegen 生成的主题插画,非真实服务器或吞吐测试。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?