11 月 18 日上传的预印本介绍 BubbleTea,面向以专家并行方式提供语言模型推理的服务器。负载不均时,部分 GPU 可能短暂闲置,系统尝试在空档安排小段训练任务。
作者在 4 张 A100 GPU 和 3 个混合专家模型上比较微调吞吐和推理延迟。论文报告,在 63 种工作负载中,有 50 种的第 90 百分位推理延迟与单独提供推理服务时相差不到一成。
结果来自所列模型、调度方式和硬件。推理请求变化时,实际节省与延迟影响仍取决于工作负载。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
