跳转到正文
GETAI.APP
开发动态arXivGETAI.APP查看原文

FlashMorph2 研究混合注意力层选择

联合调整层选择与模型权重,以离散候选结构自身的运行状态评估转换。

AI 生成主题插画,非实拍

FlashMorph2 预印本研究如何把预训练 Transformer 转为全注意力与线性注意力混合的模型。

主题插画,AI 生成、非实拍

方法在给定全注意力层预算下抽取离散候选结构,让模型沿候选结构传播自身隐藏状态,并共同训练层选择分数和模型权重。选择阶段使用与后续恢复训练一致的蒸馏目标。

作者在不同规模 Qwen3 和线性注意力变体上评估。该流程包含参数适配和恢复训练,论文中的预算及指标不等同于免训练、即时转换。

该工作以预印本公开,方法和实验范围见arXiv 论文。

配图由 GETAI.APP 使用内置 imagegen 生成,非新闻现场、产品界面或实测结果。

登录

每一次探索,都更进一步。

从这里,开启新的灵感。

还没有账号?