跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

BubbleTea 利用模型推理空档做微调

研究尝试把少量微调任务放进部分 GPU 的短暂空档,同时衡量训练吞吐和服务延迟。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日上传的预印本介绍 BubbleTea,面向以专家并行方式提供语言模型推理的服务器。负载不均时,部分 GPU 可能短暂闲置,系统尝试在空档安排小段训练任务。

AI 生成主题插画

作者在 4 张 A100 GPU 和 3 个混合专家模型上比较微调吞吐和推理延迟。论文报告,在 63 种工作负载中,有 50 种的第 90 百分位推理延迟与单独提供推理服务时相差不到一成。

结果来自所列模型、调度方式和硬件。推理请求变化时,实际节省与延迟影响仍取决于工作负载。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。