跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

腾讯公开混元 Hy4 旗舰模型的三组权重

腾讯在官方模型库列出指令版、FP8 量化版和预训练基础版,并说明三者的用途与许可。

返回资讯模型Tencent作者 · GETAI.APP查看原文

11 月 20 日,腾讯在官方模型库提交了混元 Hy4 旗舰模型的权重,并在模型卡列出三个下载选项。此前公开权重的是 Hy4 flash 系列。这次提供的是旗舰型号的指令版、相应的 FP8 量化版,以及供后续研究和训练使用的预训练基础版。

AI 生成主题插画

Hy4 可以理解文本、图片和视频。按模型卡口径,语言主干共有 7,700 亿参数,每个文本词元激活约 490 亿参数。总量不含视觉编码器、适配器和辅助解码模块。语言主干共有 78 层,第一层为稠密前馈网络,其余 77 层采用混合专家结构。模型卡标注的上下文上限为 1,048,576 个词元。

三个版本的用途有所区别。腾讯的对话和推理示例适用于指令版和 FP8 版,基础版仍处于预训练状态。开发者可以从 Hugging Face、ModelScope 或 GitCode 查找对应文件,并按仓库附带的腾讯混元许可核对使用条件。模型库的本次提交可作为复核具体权重与说明的版本依据。

Tencent · 原文 · 腾讯 · 固定版本模型卡

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。