跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

Inkling 2 Mini 开放本地运行,支持图文输入和百万词元上下文

Thinking Machines Lab 将约 260 亿个参数装进稀疏模型,每个词元激活约 30 亿个参数。

返回资讯模型Hugging Face作者 · GETAI.APP查看原文

Hugging Face 介绍了 Thinking Machines Lab 的 Inkling 2 Mini。模型能同时接收图像和文字,支持最长 100 万词元的上下文。开发者可以下载权重,在本地运行。

GETAI 原创主题插画

Mini 的解码器重复使用中间的 12 层,同一组权重连续参与三轮计算。这样可以减少需要存储的独立权重,每一轮仍须实际计算,并维护自己的状态。

发布说明列出了 llama.cpp、Transformers、MLX 和 SGLang 的加载方式。原始专家权重采用混合精度;启用可选的草稿模型可以加速生成,也会额外占用内存。

原始来源 · 延伸材料

配图为 GETAI 原创 AI 主题插画。