跳转到正文
登录
← 产品动态

SenseNova Loop 用共享权重加深模型计算

商汤公开的 SenseNova-Loop-9B-Preview 支持文字和图像输入,面向长上下文、文档理解、编程及工具交互。它在解码器中重复执行一段共享权重的层,以较少的参数副本增加计算深度。

GETAI.APPHugging Face查看原文 ↗

商汤公开的 SenseNova-Loop-9B-Preview 支持文字和图像输入,面向长上下文、文档理解、编程及工具交互。它在解码器中重复执行一段共享权重的层,以较少的参数副本增加计算深度。

模型卡介绍了循环解码、混合注意力和双流连接机制,最大训练序列为 262,144 token。当前是预览模型,部署环境和参数配置应按官方说明选择。

来源:Hugging Face · sensenova/SenseNova-Loop-9B-Preview

登录

还没有账号?