AWS 于 11 月 18 日推出 Amazon SageMaker JumpStart Model Leaderboard,在 SageMaker Studio 中并列比较可部署模型的质量、速度和成本。AWS 官方介绍
首批覆盖 70 余款模型,分别展示 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 分数,不将三者合成为一个总分。AWS 称质量评测采用相同设置,性能则通过标准工作负载在具体端点配置下测量。
用户可按工作负载,以及成本、延迟或吞吐量目标切换配置。榜单中的每 token 成本为该配置下的估算,不代表所有应用的最终账单;从榜单部署模型仍属于另一步骤。SageMaker 文档
配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。
