跳转到正文
登录
← 开源项目

nanochat 用紧凑代码串起聊天模型训练流程

Karpathy 的 nanochat 提供一套较精简的聊天模型训练实验框架,覆盖分词、预训练、微调、评测和推理。开发者可以在单个 GPU 节点上研究一整条模型制作流程。

GETAI.APPGitHub查看原文 ↗
scaling laws

Karpathy 的 nanochat 提供一套较精简的聊天模型训练实验框架,覆盖分词、预训练、微调、评测和推理。开发者可以在单个 GPU 节点上研究一整条模型制作流程。

项目用模型深度作为主要配置入口,并自动推导一批训练参数;仓库还维护达到 GPT-2 级基准表现的训练速度记录。示例费用依赖 GPU 租用价格和实验设置,不代表普通电脑可以零成本训练同等模型。

图片来源:GitHub 官方资料。

来源:GitHub · karpathy/nanochat

登录

还没有账号?