降低Transformer的秩，移除特定层90%以上组件仍保持LLM性能不减

麻省理工学院和微软进行了联合研究，发现不需要额外的训练即可提升大型语言模型的任务性能，并减小其大小

在大型模型时代，Transformer以其独特的能力支撑起整个科研领域。自推出以来，基于Transformer的语言模型(LLM)在各种任务中展现出卓越的性能。Transformer的底层架构已成为自然语言建模和推理的最先进技术，并在计算机视觉和强化学习等领域展现出强大的前景

然而，当前 Transformer 架构非常庞大，通常需要大量计算资源来进行训练和推理。 

这样重写：这样做是有意义的，因为经过更多参数或数据训练的Transformer显然比其他模型更有能力。然而，越来越多的研究表明，基于Transformer的模型和神经网络不需要保留所有适应参数来保持其学习到的假设

一般而言，在训练模型时，过度参数化似乎很有帮助，但这些模型在推理之前可以进行大幅剪枝。有研究表明，神经网络通常可以去除90%以上的权重，而性能不会有任何显著下降。这一现象引发了研究者对于有助于模型推理的剪枝策略的研究兴趣

来自 MIT、微软的研究者在论文《 The Truth is in There: Improving Reasoning in Language Models with Layer-Selective Rank Reduction 》中提出了一个令人惊讶的发现，即在 Transformer 模型的特定层上进行仔细的剪枝可以显著提高模型在某些任务的性能。

• 请点击以下链接查看论文：https://arxiv.org/pdf/2312.13558.pdf

• 论文主页：https://pratyushasharma.github.io/laser/

该研究将这种简单的干预措施称为LASER（层选择性降秩），通过奇异值分解有选择地减少Transformer模型中特定层的学习权重矩阵的高阶分量，从而显著提高LLM的性能。这种操作可以在模型训练完成后进行，无需额外的参数或数据

在操作过程中，权重的减少是在模型特定的权重矩阵和层中进行的。这项研究还发现，许多类似的矩阵都可以显著减少权重，并且通常在删除超过90%的组件之前不会观察到性能下降

该研究还发现这些减少可以显著提高准确率，这一发现似乎不仅限于自然语言，在强化学习中也发现了性能提升。

此外，该研究尝试推断出高阶组件中存储的内容是什么，以便进行删除从而提高性能。该研究发现经过 LASER 回答正确的问题，但在干预之前，原始模型主要用高频词 (如 “the”、“of” 等) 来回应，这些词甚至与正确答案的语义类型都不相同，也就是说这些成分在未经干预的情况下会导致模型生成一些不相干的高频词汇。

然而，通过进行一定程度的降秩后，模型的回答可以转变为正确的。

为了理解这一点，该研究还探索了其余组件各自编码的内容，他们仅使用其高阶奇异向量来近似权重矩阵。结果发现这些组件描述了与正确答案相同语义类别的不同响应或通用高频词。

这些结果表明，当嘈杂的高阶分量与低阶分量组合时，它们相互冲突的响应会产生一种平均答案，这可能是不正确的。图 1 直观地展示了 Transformer 架构和 LASER 遵循的程序。在这里，特定层的多层感知器（MLP）的权重矩阵被替换为其低秩近似。

激光概览

对LASER干预进行了详细介绍。单步LASER干预通过三元组(τ, ℓ, ρ)来定义，其中包含参数τ、层数ℓ和降秩ρ。这些值共同描述了要被它们的低秩近似所替代的矩阵，以及近似的程度。研究者根据参数类型对他们将要干预的矩阵类型进行分类

研究者重点关注 W = {W_q, W_k, W_v, W_o, U_in, U_out} 中的矩阵，它由 MLP 和注意力层中的矩阵组成。层数表示了研究者干预的层（第一层从 0 开始索引）。例如 Llama-2 有 32 层，因此 ℓ ∈ {0, 1, 2,・・・31}。

最终，ρ ∈ [0, 1) 描述了在做低秩近似时应该保留最大秩的哪一部分。例如设，则该矩阵的最大秩为 d。研究者将它替换为⌊ρ・d⌋- 近似。

下图 1 为 LASER 示例，该图中，τ = U_in 和ℓ = L 表示在 L^th 层的 Transformer 块中来更新 MLP 第一层的权重矩阵。另一个参数控制 rank-k 近似中的 k。

LASER 可以限制网络中某些信息的流动，并出乎意料地产生显著的性能优势。这些干预也可以很容易组合起来，比如以任何顺序来应用一组干预。

LASER 方法只是对这类干预进行简单的搜索，并修改以带来最大收益。不过，还有很多其他方法可以将这些干预组合起来，这是研究者未来工作的方向。

为了保持原意不变，需要将内容重新写成中文。而不需要出现原句

在实验部分，研究者使用了在 PILE 数据集上预训练的 GPT-J 模型，该模型的层数为 27，参数为 60 亿。然后在 CounterFact 数据集上评估模型的行为，该数据集包含（主题、关系和答案）三元组的样本，每个问题提供了三个释义 prompt。

首先是 CounterFact 数据集上对 GPT-J 模型的分析。下图 2 展示了在 Transformer 架构中为每个矩阵应用不同数量降秩的结果对数据集分类损失的影响。其中每个 Transformer 层都由一个两层的小型 MLP 组成，输入和输出矩阵分别显示。不同的颜色表示移除组件的不同百分比。

关于提升释义的准确度和稳健性，如上图 2 和下表 1 所示，研究者发现，当在单层上进行降秩时，GPT-J 模型在 CounterFact 数据集上的事实准确度从 13.1% 增加到了 24.0%。需要注意一点，这些改进只是降秩的结果，并不涉及对模型的任何进一步训练或微调。

哪些事实会通过降秩恢复在数据集中成为研究者关注的问题。研究者发现，通过降秩恢复的事实在数据中很少出现，如图 3 所示

高阶组件存储了什么？研究者使用高阶组件来近似最终的权重矩阵，与LASER不同，它们不使用低阶组件来进行近似，如图5(a)所示。在使用不同数量的高阶组件来近似矩阵时，他们测量了真实答案与预测答案之间的平均余弦相似度，如图5(b)所示

最后，研究者评估了自身发现对 3 种不同的 LLM 在多项语言理解任务上的普遍性。对于每项任务，他们通过生成准确度、分类准确度和损失三种指标来评估模型的性能。如上表 1 所示，即使降秩很大也不会导致模型准确度下降，却可以提升模型性能。