11 月 20 日,腾讯在官方模型库提交了混元 Hy4 旗舰模型的权重,并在模型卡列出三个下载选项。此前公开权重的是 Hy4 flash 系列。这次提供的是旗舰型号的指令版、相应的 FP8 量化版,以及供后续研究和训练使用的预训练基础版。
Hy4 可以理解文本、图片和视频。按模型卡口径,语言主干共有 7,700 亿参数,每个文本词元激活约 490 亿参数。总量不含视觉编码器、适配器和辅助解码模块。语言主干共有 78 层,第一层为稠密前馈网络,其余 77 层采用混合专家结构。模型卡标注的上下文上限为 1,048,576 个词元。
三个版本的用途有所区别。腾讯的对话和推理示例适用于指令版和 FP8 版,基础版仍处于预训练状态。开发者可以从 Hugging Face、ModelScope 或 GitCode 查找对应文件,并按仓库附带的腾讯混元许可核对使用条件。模型库的本次提交可作为复核具体权重与说明的版本依据。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
