FlashMorph2 预印本研究如何把预训练 Transformer 转为全注意力与线性注意力混合的模型。
方法在给定全注意力层预算下抽取离散候选结构,让模型沿候选结构传播自身隐藏状态,并共同训练层选择分数和模型权重。选择阶段使用与后续恢复训练一致的蒸馏目标。
作者在不同规模 Qwen3 和线性注意力变体上评估。该流程包含参数适配和恢复训练,论文中的预算及指标不等同于免训练、即时转换。
该工作以预印本公开,方法和实验范围见arXiv 论文。
配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。
