当前位置:

首页 > 业界资讯 > 有理论基础,我们就可以进行深度优化了。

有理论基础,我们就可以进行深度优化了。

为什么transformer性能这么好?它给众多大语言模型带来的上下文学习(In-ContextLearning)能力是从何而来?在人工智能领域里,transformer已成为深度学习中的主导模型,但人们对于它卓越性能的理论基础却一直研究不足。最近,来自GoogleAI、苏黎世联邦理工学院、GoogleDeepMind研究人员的新研究尝试为我们揭开谜底。在新研究中,他们对transformer进行了逆向工程,寻找到了一些优化方法。论文《Uncoveringmesa-optimizationalgorith

本文目录
    为什么 transformer 性能这么好?它给众多大语言模型带来的上下文学习 (In-Context Learning) 能力是从何而来?在人工智能领域里,transformer 已成为深度学习中的主导模型,但人们对于它卓越性能的理论基础却一直研究不足。

    最近,来自 Google AI、苏黎世联邦理工学院、Google DeepMind 研究人员的新研究尝试为我们揭开谜底。在新研究中,他们对 transformer 进行了逆向工程,寻找到了一些优化方法。论文《Uncovering mesa-optimization algorithms in Transformers》:有理论基础,我们就可以进行深度优化了。
                        论文链接:https://arxiv.org/abs/2309.05858

    作者证明,最小化通用自回归损失会产生在 Transformer 的前向传递中运行的基于辅助梯度的优化算法。这种现象最近被称为「mesa 优化(mesa-optimization)」。此外,研究人员发现所得的 mesa 优化算法表现出上下文中的小样本学习能力,与模型规模无关。因此,新的结果对此前大语言模型中出现的小样本学习的原理进行了补充。

    研究人员认为:Transformers 的成功基于其在前向传递中实现 mesa 优化算法的架构偏差:(i) 定义内部学习目标,以及 (ii) 对其进行优化。

    有理论基础,我们就可以进行深度优化了。

                      图 1:新假设的说明:优化自回归 Transformer fθ 的权重 θ 会产生在模型前向传播中实现的 mesa 优化算法。作为输入序列 s_1, . 。。, s_t 被处理到时间步 t,Transformer (i) 创建一个由输入 - 目标关联对组成的内部训练集,(ii) 通过结果数据集定义内部目标函数,用于衡量内部模型的性能 使用权重 W,(iii) 优化该目标并使用学习的模型生成未来的预测有理论基础,我们就可以进行深度优化了。。

    该研究的贡献包括:

    • 概括了 von Oswald 等人的理论,并展示了从理论上,Transformers 是如何通过使用基于梯度的方法优化内部构建的目标来自回归预测序列下一个元素的。
    • 通过实验对在简单序列建模任务上训练的 Transformer 进行了逆向工程,并发现强有力的证据表明它们的前向传递实现了两步算法:(i) 早期自注意力层通过分组和复制标记构建内部训练数据集,因此隐式地构建内部训练数据集。定义内部目标函数,(ii) 更深层次优化这些目标以生成预测。
    • 与 LLM 类似,实验表明简单的自回归训练模型也可以成为上下文学习者,而即时调整对于改善 LLM 的上下文学习至关重要,也可以提高特定环境中的表现。
    • 受发现注意力层试图隐式优化内部目标函数的启发,作者引入了 mesa 层,这是一种新型注意力层,可以有效地解决最小二乘优化问题,而不是仅采取单个梯度步骤来实现最优。实验证明单个 mesa 层在简单的顺序任务上优于深度线性和 softmax 自注意力 Transformer,同时提供更多的可解释性。

    有理论基础,我们就可以进行深度优化了。

    • 在初步的语言建模实验后发现,用 mesa 层替换标准的自注意力层获得了有希望的结果,证明了该层具有强大的上下文学习能力。

    基于最近人们的工作表明,经过明确训练来解决上下文中的小样本任务的 transformer 可以实现梯度下降(GD)算法。在这里,作者展示了这些结果可以推广到自回归序列建模 —— 这是训练 LLM 的典型方法。

    首先分析在简单线性动力学上训练的 transformer,其中每个序列由不同的 W* 生成 - 以防止跨序列记忆。在这个简单的设置中,作者展示了 transformer 创建 mesa 数据集,然后使用预处理的 GD 优化 mesa 目标。

    有理论基础,我们就可以进行深度优化了。

    该研究在聚合相邻序列元素的 token 结构上训练深度 transformer。有趣的是,这种简单的预处理会产生极其稀疏的权重矩阵(只有不到 1% 的权重非零),从而产生逆向工程算法。

    有理论基础,我们就可以进行深度优化了。

    对于单层线性自注意力,权重对应一个 GD 步骤。对于深度 transformer,可解释性就变得困难。该研究依靠线性探测并检查隐藏激活是否可以预测自回归目标或预处理输入。

    有趣的是,两种探测方法的可预测性都会随着网络深度的增加而逐渐提高。这一发现表明模型中隐藏着预处理的 GD。

    有理论基础,我们就可以进行深度优化了。

                                图 2:对经过训练的线性自注意力层进行逆向工程。

    该研究发现,在构建中使用所有自由度时,可以完美地拟合训练层,不仅包括学习的学习率 η,还包括一组学习的初始权重 W_0。重要的是,如图 2 所示,学得的 one-step 算法的性能仍然远远优于单个 mesa 层。

    我们可以注意到,在简单的权重设置下,很容易通过基础优化发现,该层可以最优地解决此处研究的任务。该结果证明了硬编码归纳偏差有利于 mesa 优化的优势。

    凭借对多层案例的理论见解,先分析深度线性和 softmax 仅注意 Transformer。作者根据 4 通道结构设置输入格式,有理论基础,我们就可以进行深度优化了。,这对应于选择 W_0 = 0。

    与单层模型一样,作者在训练模型的权重中看到了清晰的结构。作为第一个逆向工程分析,该研究利用这个结构并构建一个算法(RevAlg-d,其中 d 表示层数),每个层头包含 16 个参数(而不是 3200 个)。作者发现这种压缩但复杂的表达式可以描述经过训练的模型。特别是,它允许以几乎无损的方式在实际 Transformer 和 RevAlg-d 权重之间进行插值。

    虽然 RevAlg-d 表达式解释了具有少量自由参数的经过训练的多层 Transformer,但很难将其解释为 mesa 优化算法。因此,作者采用线性回归探测分析(Alain & Bengio,2017;Akyürek et al.,2023)来寻找假设的 mesa 优化算法的特征。

    在图 3 所示的深度线性自注意力 Transformer 上,我们可以看到两个探针都可以线性解码,解码性能随着序列长度和网络深度的增加而增加。因此,基础优化发现了一种混合算法,该算法在原始 mesa-objective Lt (W) 的基础上逐层下降,同时改进 mesa 优化问题的条件数。这导致  mesa-objective Lt (W) 快速下降。此外可以看到性能随着深度的增加而显着提高。

    因此可以认为自回归 mesa-objective Lt (W) 的快速下降是通过对更好的预处理数据进行逐步(跨层)mesa 优化来实现的。

    有理论基础,我们就可以进行深度优化了。                           图 3:对构建的 token 输入进行逆向工程的多层 Transformer 训练。

    这表明,如果 transformer 在构建的 token 上进行训练,它就会通过 mesa 优化进行预测。有趣的是,当直接给出序列元素时,transformer 会自行通过对元素进行分组来构造 token,研究团队将其称为「创建 mesa 数据集」。

    有理论基础,我们就可以进行深度优化了。结论

    该研究表明,当在标准自回归目标下针对序列预测任务进行训练时,Transformer 模型能够开发基于梯度的推理算法。因此,在多任务、元学习设置下获得的最新结果也可以转化到传统的自监督 LLM 训练设置中。

    此外,该研究还发现学得的自回归推理算法可以在无需重新训练的情况下重新调整用途,以解决有监督的上下文学习任务,从而在单个统一框架内解释结果。

    有理论基础,我们就可以进行深度优化了。

    那么,这些与上下文学习(in-context learning)有什么关系呢?该研究认为:在自回归序列任务上训练 transformer 后,它实现了适当的 mesa 优化,因此可以进行少样本(few-shot)上下文学习,而无需任何微调。

    有理论基础,我们就可以进行深度优化了。

    该研究假设 LLM 也存在 mesa 优化,从而提高了其上下文学习能力。有趣的是,该研究还观察到,为 LLM 有效调整 prompt 也可以带来上下文学习能力的实质性改进。

    有理论基础,我们就可以进行深度优化了。

    有理论基础,我们就可以进行深度优化了。

    感兴趣的读者可以阅读论文原文,了解更多研究内容。

    参考内容:
    https://www.reddit.com/r/MachineLearning/comments/16jc2su/r_uncovering_mesaoptimization_algorithms_in/
    https://twitter.com/oswaldjoh/status/1701873029100241241
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 理论
    上一篇: 如何升级win10?
    相关文章 更多
    OPPO 即将行业首发 5.5G 技术 理论可实现 10 倍连接速率提升
    OPPO 即将行业首发 5.5G 技术 理论可实现 10 倍连接速率提升

    3月28日,OPPOFind系列产品负责人周意保在微博发文,表示OPPO已经进入了5.5G时代。OPPOFindX7系列周意保在微博上传了一张截图,图中的手机锁屏界面右上方状态栏信号一栏显示为5GA,也就是人们更加熟悉的5.5G。此外,周意保也发文称:"和大家一起进入5.5G新移动网络时代!"宣布了5.5G新移动网络时代的到来。OPPOFind系列产品负责人周意保微博有博主表示,OPPOFindX7系列即将行业首发支持5G-A(5.5G),OTA固件已经准备好了。5G-A理论上可以实现10倍提升的连接速率

    涵盖文本、定位和分割任务,智源、港中文联合提出首个多功能3D医学多模态大模型
    涵盖文本、定位和分割任务,智源、港中文联合提出首个多功能3D医学多模态大模型

    作者|香港中文大学白帆编辑|ScienceAI近日,香港中文大学和智源联合提出的M3D系列工作,包括M3D-Data,M3D-LaMed和M3D-Bench,从数据集、模型和测评全方面推动3D医学图像分析的发展。(1)M3D-Data是目前最大的3D医学图像数据集,包括M3D-Cap(120K3D图文对),M3D-VQA(510K问答对),M3D-Seg(150K3DMask),M3D-RefSeg(3K推理分割)共四个子数据集。(2)M3D-LaMed是目前最多功能的3D医学多模态大模型,能够解决文本(

    自动识别最佳分子,降低合成成本,MIT开发分子设计决策算法框架
    自动识别最佳分子,降低合成成本,MIT开发分子设计决策算法框架

    编辑|紫罗AI在简化药物发现方面的应用正在爆炸式增长。从数十亿种候选分子中筛选出可能具有开发新药所需特性的分子。需要考虑的变量太多了,从材料价格到出错的风险,即使科学家使用AI,权衡合成最佳候选分子的成本也不是一件容易的事。在此,MIT研究人员开发了一个定量决策算法框架SPARROW,来自动识别最佳分子候选物,从而最大限度地降低合成成本,同时最大限度地提高候选物具有所需特性的可能性。该算法还确定了合成这些分子所需的材料和实验步骤。SPARROW考虑了一次合成一批分子的成本,因为多个候选分子通常可以从一些相

    Llama分子嵌入优于GPT,LLM能理解分子吗?这一局Meta赢了OpenAI
    Llama分子嵌入优于GPT,LLM能理解分子吗?这一局Meta赢了OpenAI

    编辑|萝卜皮OpenAI的GPT和MetaAI的Llama等大型语言模型(LLM)因其在化学信息学领域的潜力而日益受到认可,特别是在理解简化分子输入行输入系统(SMILES)方面。这些LLM还能够将SMILES字符串解码为矢量表示。加拿大温莎大学(UniversityofWindsor)的研究人员比较了GPT和Llama与SMILES上的预训练模型在下游任务中嵌入SMILES字符串的性能,重点关注两个关键应用:分子特性预测和药物-药物相互作用预测。该研究以「Canlargelanguagemodelsun

    大脑如何处理语言?普林斯顿团队对Transformer模型进行分析
    大脑如何处理语言?普林斯顿团队对Transformer模型进行分析

    编辑|萝卜皮在处理语言时,大脑会部署专门的计算来从复杂的语言结构中构建含义。基于Transformer架构的人工神经网络是自然语言处理的重要工具。普林斯顿大学的研究人员探讨了Transformer模型和人类大脑在语言处理中的功能特殊化问题。Transformer通过结构化电路计算整合单词间的上下文信息。不过,当前的研究主要集中于这些电路生成的内部表征(「嵌入」)。研究人员直接分析电路计算:他们将这些计算解构为功能专门的「transformations」,将跨词语的上下文信息整合在一起。利用参与者聆听自然故

    AI 可能是我们未能与外星文明取得联系的「大过滤器」
    AI 可能是我们未能与外星文明取得联系的「大过滤器」

    编辑|X人工智能(AI)在过去几年中以惊人的速度发展。一些科学家现在着眼于超级人工智能(ArtificialSuperintelligence,ASI)的发展,这是一种不仅超越人类智能,而且不受人类学习速度限制的AI。超级人工智能的发展可能会带来巨大的影响和挑战。一方面,它可能为我们带来前所未有的技术进步和创新,解决各种复杂的问题。另一方面,由于其超越人类智慧的能力,我们也需要谨慎对待和管理它的发展,以避免可能的风险和危害。因此但如果这个里程碑不仅仅是一项了不起的成就呢?如果它也代表了所有文明发展的一个巨

    高效且准确,郑州大学团队开发新AI工具识别药物-靶标相互作用
    高效且准确,郑州大学团队开发新AI工具识别药物-靶标相互作用

    编辑|枯叶蝶准确识别药物-靶标相互作用(DTI)是药物发现和药物重新定位过程中的关键步骤之一。目前,许多基于计算的模型已被提出,用于预测DTI,并取得了一些显著的进步。然而,这些方法很少关注如何以适当的方式融合与药物和靶标相关的多视角相似性网络。此外,如何充分结合已知的相互作用关系来准确表示药物和靶标尚未得到很好的研究。因此,提高DTI预测模型的准确性仍然是必要的。在最新的研究中,郑州大学、电子科技大学团队提出了一种新方法MIDTI。该方法采用多视图相似性网络融合策略和深度交互式注意机制来预测药物-靶标相

    清华AIR等提出ESM-AA,首个从氨基酸到原子尺度的蛋白质语言模型
    清华AIR等提出ESM-AA,首个从氨基酸到原子尺度的蛋白质语言模型

    来自清华大学AIR、北京大学、南京大学的研究团队提出了ESM-AA模型。该模型在蛋白质语言建模领域取得了重要进展,提供了一套整合多尺度信息的统一建模方案。它是首个能同时处理氨基酸信息和原子信息的蛋白质预训练语言模型。模型的出色性能展示了多尺度统一建模在克服现有局限和解锁新能力方面的巨大潜力。作为基座模型,ESM-AA获得了多位学者的关注与广泛讨论(截图见下方),被认为有潜力基于ESM-AA开发出可与AlphaFold3、RoseTTAFoldAll-Atom相竞争的模型,为研究不同生物结构间的相互作用开辟

    取代昂贵量子方法,南科大AI方法实现蛋白质-药物系统多尺度量子「精炼」
    取代昂贵量子方法,南科大AI方法实现蛋白质-药物系统多尺度量子「精炼」

    编辑|萝卜皮生物大分子结构对于药物开发和生物催化至关重要。量子力学(QM)方法进行晶体细化,在提高结构质量至纠正生物大分子的结构方面显露出前景。量子细化(Quantumrefinement,QR)方法采用可靠的量子力学(QM)方法进行晶体精化,以显示出前景。然而,巨大的计算成本和复杂的量子力学/分子力学(QM/MM)设置限制了QR的应用。在南方科技大学的研究团队将稳健的机器学习势(MachineLearningPotentials,MLP)融入多尺度ONIOM(QM:MM)方案中,来描述核心部分(例如药物

    Bengio等人新作:注意力可被视为RNN,新模型媲美Transformer,但超级省内存
    Bengio等人新作:注意力可被视为RNN,新模型媲美Transformer,但超级省内存

    序列建模的进展具有极大的影响力,因为它们在广泛的应用中发挥着重要作用,包括强化学习(例如,机器人和自动驾驶)、时间序列分类(例如,金融欺诈检测和医学诊断)等。在过去的几年里,Transformer的出现标志着序列建模中的一个重大突破,这主要得益于Transformer提供了一种能够利用GPU并行处理的高性能架构。然而,Transformer在推理时计算开销很大,主要在于内存和计算需求呈二次扩展,从而限制了其在低资源环境中的应用(例如,移动和嵌入式设备)。尽管可以采用KV缓存等技术提高推理效率,但Trans

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。