Prism 根据画面变化和音频对视觉区域的影响,动态安排时空分块及注意力连接,让联合音视频模型把计算更多用于信息丰富的位置。
研究针对原生 2K 训练中的成本与冗余问题,作者报告相对全注意力的训练加速和生成质量改善。这里的速度来自论文配置,不能直接视为所有视频模型的通用加速比例。
Prism 根据画面变化和音频对视觉区域的影响,动态安排时空分块及注意力连接,让联合音视频模型把计算更多用于信息丰富的位置。
Prism 根据画面变化和音频对视觉区域的影响,动态安排时空分块及注意力连接,让联合音视频模型把计算更多用于信息丰富的位置。
研究针对原生 2K 训练中的成本与冗余问题,作者报告相对全注意力的训练加速和生成质量改善。这里的速度来自论文配置,不能直接视为所有视频模型的通用加速比例。