MIT HAN Lab 的推理服务项目 EvolvingInfra 在 11 月 19 日更新 v0.1.0 容器镜像。标签名称沿用旧版,amd64 和 arm64 两个架构的镜像摘要均已更换。维护者公布了新旧摘要对应关系。
这次重建包含三项已合并修改,涉及键值缓存页的步长、配置项覆盖和传输标识的检查。维护者表示,两个架构均完成了启动与导入等基础检查。这些检查没有给出吞吐量或延迟的性能结论。
团队同日还修复了会话登记表满载时拒绝新会话的问题。登记表达到容量上限后,系统可先回收已释放或结束的记录。项目特别注明,这项修复在镜像构建后合并,因此使用该镜像的部署还不含此变更。
配图为 GETAI 原创主题插画。
