跳转到正文
登录
← 开发动态

TurnWise 训练视频模型选对回答时机

把反馈分到每一轮,让模型分别学习该开口还是继续观察。

GETAI.APParXiv查看原文 ↗

研究团队于 11 月 4 日提交 TurnWise 预印本,11 月 5 日进入 Hugging Face 每日论文榜。流式视频模型需要在视频不断播放时反复判断何时回答、何时等待。论文指出,如果整段交互只用一份训练反馈,前几轮的正确回答可能连带奖励后面无用的重复回答。

TurnWise 将强化学习反馈分配到每一轮,并在优化时按轮次归一,避免较长的回答天然比一次等待决定占据更多训练权重。作者报告,该方案在他们的流式视频理解实验中减少了冗余回复,提高了对应任务表现。

来源:arXiv · Hugging Face 论文页。

登录

还没有账号?