英伟达于 11 月 5 日介绍面向智能体推理的系统设计，包括分层内存、低精度量化和 KV 缓存卸载。工程团队在 SemiAnalysis AgentX 上回放编程智能体会话，测试会话停顿、工具调用和持续变长的上下文对吞吐的影响。
在厂商公布的对照中，以每用户每秒 160 个 token 为条件，Vera Rubin NVL72 的每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。这是整套系统配置下的指标，文章还给出了针对其他工作负载的测试。
英伟达于 11 月 5 日介绍面向智能体推理的系统设计，包括分层内存、低精度量化和 KV 缓存卸载。工程团队在 SemiAnalysis AgentX 上回放编程智能体会话，测试会话停顿、工具调用和持续变长的上下文对吞吐的影响。
在厂商公布的对照中，以每用户每秒 160 个 token 为条件，Vera Rubin NVL72 的每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。这是整套系统配置下的指标，文章还给出了针对其他工作负载的测试。