一项语言模型训练研究比较了 14 种正交约束方案，模型规模从 3.6 亿到 31 亿参数，训练数据接近 2,000 亿 Token。作者希望分清性能改善究竟来自正交结构，还是来自参数归一化等其他因素。
在团队测试的配置中，行与行之间的正交约束没有稳定优于逐行球面优化。对若干已有方法的复查也显示，数值精度、训练时长和优化器实现会影响结论。这是特定实验范围内的结果，不是对全部正交方法的否定。
研究重查正交训练：收益未必来自正交性
一项语言模型训练研究比较了 14 种正交约束方案，模型规模从 3.6 亿到 31 亿参数，训练数据接近 2,000 亿 Token。作者希望分清性能改善究竟来自正交结构，还是来自参数归一化等其他因素。