跳转到正文
开发动态arXivGETAI.APP查看原文

C²-Routing 按问题选择裁图或压缩图片

让视觉语言模型在看清局部细节和保留全局信息之间动态选择。

C²-Routing 按问题选择裁图或压缩图片:论文原图

C²-Routing 预印本提出,根据图片和问题动态选择裁剪或整体压缩,减少视觉语言模型需要处理的图像信息。细小目标更适合局部放大,分散线索则可能需要保留全图。

系统还设置回退机制,在信息缩减可能影响正确性时使用原图。作者在三种模型和 18 个数据集中进行评估,实验使用 RTX 3090。

在视觉预算已限制为 1024 Token 的对照下,论文报告平均进一步减少 42.36% 的视觉 Token 和 36.53% 的端到端计算量,任务分数平均相对下降 0.77%。

来源:arXiv 原文。

图片来源:论文作者 / arXiv。

  • AI 研究

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?