Edge0 为消费级设备运行混合专家模型设计了预路由机制：提前预测下一层需要的专家权重，再从 SSD 加载，尽量让读盘与计算重叠。团队还训练了恢复适配器，缓解量化和路由替换带来的质量损失。
作者报告，在一台 24GB 内存设备上，35B 级模型的峰值活动内存约 3GiB、速度约每秒 20 token。这里的活动内存不是整台设备总内存需求，结果也依赖论文中的模型与硬件设置。
Edge0 从 SSD 调入专家，降低模型内存占用
Edge0 为消费级设备运行混合专家模型设计了预路由机制：提前预测下一层需要的专家权重，再从 SSD 加载，尽量让读盘与计算重叠。团队还训练了恢复适配器，缓解量化和路由替换带来的质量损失。