Amund Tveit 于 11 月 22 日公布 modded-nanogpt 训练竞速的新尝试。在租用的同一台八卡 H100 节点上,12 次运行得到 29.90 秒,对照方案为 30.05 秒。
这项竞赛要求参赛程序从头训练一个 GPT‑2 规模的语言模型,使验证损失达到 3.28 或更低。提交者沿用了此前方案,集中修改 GPU 内核等训练环节,公开了代码变更和运行日志。
小于一秒的差距使同机对照尤为重要。此次提交的成绩仍需维护者在自己的硬件上验证,能否列入正式纪录取决于复核结果。
GETAI EDITORIAL DISPATCH新闻报道
Amund Tveit 于 11 月 22 日公布 modded-nanogpt 训练竞速的新尝试。在租用的同一台八卡 H100 节点上,12 次运行得到 29.90 秒,对照方案为 30.05 秒。