开源项目 colibri 尝试让大型 MoE 模型在内存较小的电脑上运行。它把当前推理需要的部分留在内存，其余专家权重按需从磁盘读取，核心引擎使用 C 编写，并提供 CPU 及多种 GPU 路径。
项目说明列出了支持的模型家族与硬件条件。最低内存、磁盘容量和速度会随模型而变，能够加载大型权重不等于获得云端服务的响应速度。它面向希望研究本地推理和内存利用方式的开发者。
图片来源：GitHub 官方资料。
colibri 从磁盘按需加载 MoE 模型专家
开源项目 colibri 尝试让大型 MoE 模型在内存较小的电脑上运行。它把当前推理需要的部分留在内存，其余专家权重按需从磁盘读取，核心引擎使用 C 编写，并提供 CPU 及多种 GPU 路径。
