跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

联邦 LoRA 研究比较本地训练步数与能耗

在指定硬件与小模型设置中,本地训练步数解释了大部分能耗差异。

叶片主题插画

研究团队在 A40、RTX 6000 Ada 与 A100 上测量联邦 LoRA 微调的能源与估算碳排放,比较 1.35 亿、3.6 亿参数模型以及 10、100 个本地训练步的组合。

在这些设置内,本地训练步数解释了大部分能耗差异;A40 与 RTX 6000 Ada 的较少步配置能以低得多的能耗获得相近准确率。论文采用 CodeCarbon 估算碳排放,结论受硬件、模型规模与训练任务限制,不能直接套到任意大模型训练。

来源:arXiv。

配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?