TileWeave 研究按复用程度拆分稀疏注意力计算:共享程度高的块交给适合规则计算的 NPU,复用较低的部分交给 GPU,并协调结果合并。
作者在两类骁龙手机平台上测试了不同上下文长度,报告预填充阶段的速度改善。方案关注的是长上下文开始生成前的计算阶段,不能直接等同于逐 Token 生成速度。
TileWeave 研究按复用程度拆分稀疏注意力计算:共享程度高的块交给适合规则计算的 NPU,复用较低的部分交给 GPU,并协调结果合并。
TileWeave 研究按复用程度拆分稀疏注意力计算:共享程度高的块交给适合规则计算的 NPU,复用较低的部分交给 GPU,并协调结果合并。
作者在两类骁龙手机平台上测试了不同上下文长度,报告预填充阶段的速度改善。方案关注的是长上下文开始生成前的计算阶段,不能直接等同于逐 Token 生成速度。