11 月 18 日发布的一篇 arXiv 预印本研究了同时具备图像理解和生成能力的模型。作者尝试把部分内部状态转换为图像,观察模型回答前关注的物体、颜色和可见属性。
研究覆盖多种统一多模态模型。论文比较了提示中不同含义产生的图片,也通过对照探索图像是否反映了模型答题时的内部变化。
读取一次内部状态需要完整生成一张图片。作者把结论限定在可画出的概念,如物体、颜色和状态,对数值、关系和抽象概念仍缺可靠证据。
配图为 GETAI.APP 使用 ImageGen 生成的主题插画。
GETAI EDITORIAL DISPATCH新闻报道
作者用模型的图像生成能力读取部分隐藏状态,观察其中是否包含物体、颜色和可见状态。