一篇 JEPA 研究预印本探讨：独立训练的文本与视觉模型，是否会学到可以对应的世界表征。作者给出带有明确条件的数学结果，并通过多种规模的数据实验检验表征对齐。
研究强调正样本视图的构造方式，而不只关注参数规模。作者报告，在同一语料的特定比较中，合适视图达到相同对齐水平所需的样本数更少；这一结论针对论文的训练方法和评测，不表示任何小模型都能替代大型语言模型。
JEPA 研究检验不同模型的共同表征
一篇 JEPA 研究预印本探讨：独立训练的文本与视觉模型，是否会学到可以对应的世界表征。作者给出带有明确条件的数学结果，并通过多种规模的数据实验检验表征对齐。