FreeToken 是面向个人硬件的 MoE 推理引擎，尝试把 GPU、CPU、主机内存和设备互联作为一个可组合的平台，运行较大的开放权重模型。
项目公开代码、论文与社区入口。能运行的模型、实际速度和内存需求取决于量化方式与硬件组合，不能仅按模型总参数量推断体验。
图片来源：GitHub 官方资料。
FreeToken 协调个人设备资源运行大型 MoE
FreeToken 是面向个人硬件的 MoE 推理引擎，尝试把 GPU、CPU、主机内存和设备互联作为一个可组合的平台，运行较大的开放权重模型。
