历史总是重演。所谓“学习机制”的概念并非新鲜事物，实际上它已被探索了很长时间。

人们倾向于超越对缩放定律的盲目信仰，进行更深入的思考。

多年来，我一直在严谨地建模深度非线性模型的训练动态，其中包含许多非线性动力学中非平凡的、可求解的示例，这些可能对 @learning_mech 感兴趣。这包括：

  1. 对比学习（例如：https://t.co/VfUcP3i4u0、https://t.co/MEJWoklG10、https://t.co/KP7LCak1VK）
  2. 非对比学习（例如：https://t.co/H6PRvcBLmb、https://t.co/cfCXcfmpyp）
  3. Transformer 中的训练动态（例如：https://t.co/rfXwsGuvYd、https://t.co/8j1ExCKXr4）
  4. 顿悟行为（Grokking behaviors）（https://t.co/yOw0e3Cczz）
  5. 自发对称性破缺（https://t.co/EiO5HOXF2h）
  6. 从梯度下降形成符号解的机制（https://t.co/4XchojkbGF）

上述列出的大多数工作均由我作为第一作者或独立作者完成。相关代码位于：https://t.co/VM6vWNO7rS