这是一篇值得一读的文章。这篇博客文章总结了机制可解释性领域多年的进展，并描绘了一幅乐观的愿景：也许我们真的能够打开黑盒，理解神经网络是如何工作的。

我分享这种乐观情绪，但持有一些保留意见。我对那些停留在单个神经元层面的解释表示怀疑，这些解释通常伴随着看似能“解释一切”的引人入胜的可视化效果。

人类在说服自己方面有着非凡的能力。当视觉效果看起来令人信服时，很容易挑选出支持某个假设的证据，而忽略其他可能性。

此外，我也不确信“递归泛化”与分层表示学习在根本上有何不同。随着表征变得更加抽象，它们在保留不变性的同时丢弃细节。这难道不是分层表示一直以来的核心要义吗？

依我拙见，我们需要超越 largely 描述性的、行为主义的方法，转向一个原则性的数学框架。而我们有一个自然的起点：梯度下降。

我们不应仅仅询问网络学到了什么，而应理解学习动力学为何首先会产生这些结构。

当然，这极其困难。看看 OpenAI 发表的 719 篇数学证明文章吧。我们看到了处理菲尔兹奖级别问题的合理证明，却看不到在深度学习理论方面取得 comparable 的突破。这种对比令人瞩目。

困难的一部分在于，关于深度网络如何工作的合理理论数不胜数。即便证明其中一种在数学上也是 formidable 的。而且仅凭证明还不够，每个理论都需要实证验证，这通常要求大量的 GPU 计算资源。这是数学挑战与实验挑战令人望而生畏的结合体。

尽管如此，我相信这才是前进的方向。可解释性为我们提供了观察结果和假设。但最终，我们需要一个理论来解释这些现象为何从学习过程本身中涌现出来。

只有这样，我们才能将对神经网络引人入胜的故事转化为真正的理解。希望递归自我改进能在这方面提供帮助 😀