跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究用生成图像观察多模态模型内部表征

作者用模型的图像生成能力读取部分隐藏状态,观察其中是否包含物体、颜色和可见状态。

返回资讯研究arXiv作者 · GETAI.APP查看原文

11 月 18 日发布的一篇 arXiv 预印本研究了同时具备图像理解和生成能力的模型。作者尝试把部分内部状态转换为图像,观察模型回答前关注的物体、颜色和可见属性。

AI 生成主题插画

研究覆盖多种统一多模态模型。论文比较了提示中不同含义产生的图片,也通过对照探索图像是否反映了模型答题时的内部变化。

读取一次内部状态需要完整生成一张图片。作者把结论限定在可画出的概念,如物体、颜色和状态,对数值、关系和抽象概念仍缺可靠证据。

arXiv · 原文 · arXiv · 全文

配图为 GETAI.APP 使用 ImageGen 生成的主题插画。