研究团队在 A40、RTX 6000 Ada 与 A100 上测量联邦 LoRA 微调的能源与估算碳排放,比较 1.35 亿、3.6 亿参数模型以及 10、100 个本地训练步的组合。
在这些设置内,本地训练步数解释了大部分能耗差异;A40 与 RTX 6000 Ada 的较少步配置能以低得多的能耗获得相近准确率。论文采用 CodeCarbon 估算碳排放,结论受硬件、模型规模与训练任务限制,不能直接套到任意大模型训练。
来源:arXiv。
配图:GETAI.APP 原创主题插画,非新闻现场实拍或官方产品界面。
