PrismServe 研究面向混合硬件集群的大模型服务。系统在同类设备组内运行量化专家，先根据预期回答质量选择专家，再按负载与缓存位置选择具体副本，减少跨硬件协作的开销。
作者基于未修改的 vLLM 实现方案，并在三家厂商共 48 个加速器的实验中报告吞吐与尾延迟改善。结果依赖论文中的模型、量化和集群配置，不能直接等同于任意异构机房的收益。
PrismServe 协调不同厂商加速器运行大模型
PrismServe 研究面向混合硬件集群的大模型服务。系统在同类设备组内运行量化专家，先根据预期回答质量选择专家，再按负载与缓存位置选择具体副本，减少跨硬件协作的开销。