跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

MLCommons 说明如何测试在线 AI 接口,区分临时结果与同行核验

MLPerf Endpoints v1.0 用多档实测负载呈现完整服务的表现。11 月 20 日的说明列出了提交、自动检查和同行复核之间的区别。

返回资讯研究MLCommons作者 · GETAI.APP查看原文

11 月 20 日,MLCommons 面向首次提交者解释了 MLPerf Endpoints v1.0 的测量与审核流程。这套基准早在 10 月便已开放征集,本次说明着重回答两个实际问题:线上模型服务要测哪些环节,以及测完后哪些结果可以对外使用。

GETAI 原创主题插画

测试从可访问的 API 端点发起,把模型、硬件、推理服务、请求批处理和网络一并纳入。测试者在不同负载下记录实际测量点,再用阶梯图呈现表现随压力如何变化。如果系统到了某档负载突然变慢,读者能看到对应的台阶。没有实测的区间不会用平滑插值补出一个成绩。

提交结果先经过自动检查,再进入同行复核。按 MLCommons 的说明,自动检查通过后可以按规定分享临时结果;完成核验的最终结果也可配合发布活动安排披露。比较服务时,既要看测量负载和服务配置,也要确认对方引用的是哪一阶段的结果。

原始来源 · 核对材料

配图为 GETAI 原创 AI 主题插画。