Hugging Face 介绍了 Thinking Machines Lab 的 Inkling 2 Mini。模型能同时接收图像和文字,支持最长 100 万词元的上下文。开发者可以下载权重,在本地运行。
Mini 的解码器重复使用中间的 12 层,同一组权重连续参与三轮计算。这样可以减少需要存储的独立权重,每一轮仍须实际计算,并维护自己的状态。
发布说明列出了 llama.cpp、Transformers、MLX 和 SGLang 的加载方式。原始专家权重采用混合精度;启用可选的草稿模型可以加速生成,也会额外占用内存。
配图为 GETAI 原创 AI 主题插画。
