跳转到正文
登录
← 开发动态

视觉模型按问题选择中间层,不只看最后一层

Mixture of Layers 研究让多模态模型根据文字问题,动态选择视觉编码器的中间层表示。不同层保留的局部细节与抽象信息不同,固定只取最后几层可能遗漏小物体、文字等线索。

GETAI.APParXiv查看原文 ↗

Mixture of Layers 研究让多模态模型根据文字问题,动态选择视觉编码器的中间层表示。不同层保留的局部细节与抽象信息不同,固定只取最后几层可能遗漏小物体、文字等线索。

论文比较了图像级、图块级及混合路由,在七项细粒度视觉任务中报告改善。方法不依赖增加图像分辨率或额外图块数量。

来源:arXiv · 2610.09440

登录

还没有账号?