一项 Transformer 注意力研究提出锥规划框架，尝试为输入变化会让注意力输出偏移多少提供可计算的保证。论文区分了固定查询与查询、键共同变化时的难度。
作者在 GPT-2 上进行了计算验证，报告新方法对固定查询情形给出的范围比线性边界传播更紧。这项工作属于模型验证理论，重点是改进可靠性界限，而非推出新的聊天模型。
研究为注意力输出的扰动范围提供新证明
一项 Transformer 注意力研究提出锥规划框架，尝试为输入变化会让注意力输出偏移多少提供可计算的保证。论文区分了固定查询与查询、键共同变化时的难度。