研究团队于 11 月 4 日提交 TurnWise 预印本,11 月 5 日进入 Hugging Face 每日论文榜。流式视频模型需要在视频不断播放时反复判断何时回答、何时等待。论文指出,如果整段交互只用一份训练反馈,前几轮的正确回答可能连带奖励后面无用的重复回答。
TurnWise 将强化学习反馈分配到每一轮,并在优化时按轮次归一,避免较长的回答天然比一次等待决定占据更多训练权重。作者报告,该方案在他们的流式视频理解实验中减少了冗余回复,提高了对应任务表现。
来源:arXiv · Hugging Face 论文页。