打破大模型黑盒，彻底分解神经元！OpenAI对头Anthropic击破AI不可解释性障碍

多年来，我们一直无法理解人工智能是如何做出决策和产生输出的

模型开发人员只能决定算法、数据，最后得到模型的输出结果，而中间部分——模型是怎么根据这些算法和数据输出结果，就成为了不可见的「黑箱」。

所以就出现了「模型的训练就像炼丹」这样的戏言。

但现在，模型黑箱终于有了可解释性！

来自Anthropic的研究团队提取了模型的神经网络中最基本的单位神经元的可解释特征。

这将是人类揭开AI黑箱的里程碑式的一步。

Anthropic充满激动地表示：

「如果我们能够理解模型中的神经网络是如何工作的，那么诊断模型的故障模式、设计修复程序，并让模型安全地被企业和社会采用就将成为触手可及的现实！」

在Anthropic的最新研究报告《走向单语义性：用字典学习分解语言模型》中，研究人员使用字典学习的方法，成功地将包含512个神经元的层分解成了4000多个可解释的特征

研究报告地址：https://transformer-circuits.pub/2023/monosemantic-features/index.html

这些特征分别代表了DNA序列、法律语言、HTTP请求、希伯来文本和营养成分说明等

当我们孤立地观察单个神经元的激活时，我们无法看到这些模型属性中的大部分

大多数神经元都是「多语义」的，这意味着单个神经元与网络行为之间没有一致的对应关系

例如，在一个小型语言模型中，单个神经元在许多不相关的上下文中都很活跃，包括：学术引文、英语对话、HTTP 请求和韩语文本。

而在经典视觉模型中，单个神经元会对猫的脸和汽车的前脸做出反应。

在不同的语境中，许多研究都证明了一个神经元的激活可能具有不同的含义

一个潜在的原因是神经元的多语义性是由于叠加效应。这是一种假设的现象，即神经网络通过为每个特征分配自己的神经元线性组合来表示数据的独立特征，而这种特征的数量超过了神经元的数量

如果将每个特征视为神经元上的一个向量，那么特征集就构成了网络神经元激活的一个过完备线性基础。

在Anthropic之前的Toy Models of Superposition（《叠加玩具模型》）论文中，证明了稀疏性在神经网络训练中可以消除歧义，帮助模型更好地理解特征之间的关系，从而减少激活向量的来源特征的不确定性，使模型的预测和决策更可靠。

这一概念类似于压缩感知中的思想，其中信号的稀疏性允许从有限的观测中还原出完整的信号。

但在Toy Models of Superposition中提出的三种策略中：

（1）创建没有叠加的模型，或许可以鼓励激活稀疏性;

（2）在展现出叠加态的模型中，采用字典学习来寻找过完备特征

（3）依赖于两者结合的混合方法。

需要进行改写的内容是：方法（1）无法解决多义性问题，而方法（2）则容易出现严重的过拟合情况

因此，这次Anthropic的研究人员使用了一种称为稀疏自动编码器的弱字典学习算法，从经过训练的模型中生成学习到的特征，这些特征提供了比模型神经元本身更单一的语义分析单位。

具体来说，研究人员采用了具有512个神经元的MLP单层transformer，并通过从80亿个数据点的MLP激活上训练稀疏自动编码器，最终将MLP激活分解为相对可解释的特征，扩展因子范围从1×（512个特征）到256×（131,072个特征）。

为了验证本研究发现的特征比模型的神经元更具可解释性，我们进行了盲审评估，让一位人类评估员对它们的可解释性进行评分

可以看到，特征（红色）的得分比神经元（青色）高得多。

研究人员发现的特征相对于模型内部的神经元来说更易于理解，这一点已经得到证明

此外，研究人员还采用了「自动解释性」方法，通过使用大型语言模型生成小型模型特征的简短描述，并让另一个模型根据该描述预测特征激活的能力对其进行评分。

同样，特征得分高于神经元，证明了特征的激活及其对模型行为的下游影响具有一致的解释。

并且，这些提取出的特征还提供了一种有针对性的方法来引导模型。

如下图所示，人为激活特征会导致模型行为以可预测的方式更改。

以下是提取出的可解释性特征的可视化图：

点击左侧的特征列表，您可以与神经网络中的特征空间进行互动式探索

研究报告概要

这份来自Anthropic的研究报告，Towards Monosemanticity: Decomposing Language Models With Dictionary Learning，主要可以分为四个部分。

问题设置，研究人员介绍了研究动机，并阐述训练的transfomer和稀疏自动编码器。

单个特征详细调查，证明了研究发现的几个特征是功能上特定的因果单元。

通过全局分析，我们得出结论，典型特征是可以解释的，并且它们能够解释MLP层的重要组成部分

现象分析，描述了特征的几个属性，包括特征分割、普遍性，以及它们如何形成类似于「有限状态自动机」的系统来实现复杂的行为。

结论包括以下7个：

稀疏自动编码器具有提取相对单一的语义特征的能力

稀疏自编码器能够生成可解释的特征，而这些特征在神经元的基础中实际上是不可见的

3. 稀疏自动编码器特征可用于干预和引导变压器的生成。

4. 稀疏自编码器能生成相对通用的特征。

随着自动编码器大小的增加，特征有「分裂」的倾向。 重写后：随着自动编码器尺寸的增加，特征呈现出「分裂」的趋势

6. 只需512个神经元即可表示成千上万个特征

7. 这些特征通过连接在一起，类似于「有限状态自动机」的系统，实现了复杂的行为，如下图所示

具体详细内容可见报告。

Anthropic认为，要将本研究报告中小模型的成功复制到更大的模型上，我们今后面临的挑战将不再是科学问题，而是工程问题

为了在大型模型上实现解释性，需要在工程领域投入更多的努力和资源，以克服模型复杂性和规模带来的挑战

包括开发新的工具、技术和方法，以应对模型复杂性和数据规模的挑战；也包括构建可扩展的解释性框架和工具，以适应大规模模型的需求。

这将成为解释性人工智能和大规模深度学习研究领域的最新趋势