11 月 20 日,MLCommons 面向首次提交者解释了 MLPerf Endpoints v1.0 的测量与审核流程。这套基准早在 10 月便已开放征集,本次说明着重回答两个实际问题:线上模型服务要测哪些环节,以及测完后哪些结果可以对外使用。
测试从可访问的 API 端点发起,把模型、硬件、推理服务、请求批处理和网络一并纳入。测试者在不同负载下记录实际测量点,再用阶梯图呈现表现随压力如何变化。如果系统到了某档负载突然变慢,读者能看到对应的台阶。没有实测的区间不会用平滑插值补出一个成绩。
提交结果先经过自动检查,再进入同行复核。按 MLCommons 的说明,自动检查通过后可以按规定分享临时结果;完成核验的最终结果也可配合发布活动安排披露。比较服务时,既要看测量负载和服务配置,也要确认对方引用的是哪一阶段的结果。
配图为 GETAI 原创 AI 主题插画。
