跳转到正文
GETAI.APP
开发动态SiMa.aiGETAI.APP查看原文

SiMa.ai 介绍 Palette 3.0 的并发推理

新版支持在一颗 Modalix 芯片上并行运行多个模型,SDK 已于 10 月底发布。

AI 生成主题插画,非实拍

SiMa.ai 于 11 月 17 日发布 Palette 3.0 公告,介绍面向机器人等设备的模型部署能力,并提供 Model Browser 查看不同模型的运行数据。SiMa.ai 公告

AI 生成主题插画

公司称,开发者可以在一颗 Modalix MLSoC 上运行多个容器,分别处理视觉、语言和推理任务。新版还支持 EAGLE3、DFlash 等推测解码方法。实际生成速度取决于模型和部署配置。

SiMa.ai 社区此前公布的 SDK 发布日为 10 月 31 日。11 月 17 日的公告集中介绍并发推理、推测解码和模型浏览器。SDK 发布记录

配图为 GETAI.APP 使用 imagegen 生成的主题插画。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?