跳转到正文
登录
← 开发动态

Prism 用动态稀疏注意力训练 2K 音视频模型

Prism 根据画面变化和音频对视觉区域的影响,动态安排时空分块及注意力连接,让联合音视频模型把计算更多用于信息丰富的位置。

GETAI.APParXiv查看原文 ↗

Prism 根据画面变化和音频对视觉区域的影响,动态安排时空分块及注意力连接,让联合音视频模型把计算更多用于信息丰富的位置。

研究针对原生 2K 训练中的成本与冗余问题,作者报告相对全注意力的训练加速和生成质量改善。这里的速度来自论文配置,不能直接视为所有视频模型的通用加速比例。

来源:arXiv · 2610.05416

登录

还没有账号?