跳转到正文
GETAI.APP
开发动态AWSGETAI.APP查看原文

AWS 为 JumpStart 加入模型比较榜单

SageMaker Studio 新视图并列展示质量、响应速度和部署成本,首批覆盖70余款模型;估算随工作负载与配置变化。

AI 生成主题插画,非实拍

AWS 于 11 月 18 日推出 Amazon SageMaker JumpStart Model Leaderboard,在 SageMaker Studio 中并列比较可部署模型的质量、速度和成本。AWS 官方介绍

主题插画,AI 生成、非实拍

首批覆盖 70 余款模型,分别展示 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 分数,不将三者合成为一个总分。AWS 称质量评测采用相同设置,性能则通过标准工作负载在具体端点配置下测量。

用户可按工作负载,以及成本、延迟或吞吐量目标切换配置。榜单中的每 token 成本为该配置下的估算,不代表所有应用的最终账单;从榜单部署模型仍属于另一步骤。SageMaker 文档

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?