跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Dharma-AI 用训练记录预测微调要花多少时间

团队用 272 次真实训练作业检验估时方法。把评估频率和保存检查点的开销算进去后,平均绝对误差从 12.41 小时降到 1.71 小时。

返回资讯研究Dharma-AI作者 · GETAI.APP查看原文

共享 GPU 集群给下一项任务留多长的时间,取决于上一项任务何时结束。Dharma-AI 在 11 月 18 日发布研究预览,用 272 次实际微调作业比较两种估时方法。这些作业共消耗约 7,382 个 GPU 小时。团队从任务拿到 GPU 时开始计时,直到训练结束,排队等候的时间另算。

AI 生成主题插画

常用方法用训练需要的浮点运算量和硬件吞吐量估时。现实中,载入模型、定期评估、保存检查点以及向共享存储写入数据也占时间。团队训练了一个 CatBoost 回归模型,只输入调度前就知道的信息,其中包括每块 GPU 分到的词元数量,以及作业需要评估和保存多少次。

在这批数据的五折交叉验证中,按运算量估算的平均绝对误差为 12.41 小时,新模型为 1.71 小时,半数作业的误差在 0.51 小时以内。样本都来自采用 H200 的共享环境,每项作业使用一至四块 GPU。其他集群的存储和任务组合不同,能否达到相近精度仍需用当地训练记录检验。

团队研究预览 · 作者发布的对照版本

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。