华为利用盘古-π解决Transformer架构的特征缺陷问题，并且在性能上超越了LLaMA
华为盘古系列是一个带来全新架构层面的产品系列。量子位获悉，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。通过在传统Transformer架构上增强非线性性能，该方法做出了改进，从而有效地减轻了特征塌陷问题。带来的直接结果是模型的输出表达能力更加强大。在使用相同数据训练的情况下，盘古-π（7B）在多任务上超越LLaMA2等同规模大模型，并能实现10%的推理加速。在1B规模上可达SOTA。基于这一架构，我们还开发了一个金融法律大模型，名为"云山"。该任务由领袖级AI专家陶大程带领。具体如何实现？一
华为盘古系列是一个带来全新架构层面的产品系列。
量子位获悉，华为诺亚方舟实验室等联合推出新型大语言模型架构：盘古-π。
通过在传统Transformer架构上增强非线性性能，该方法做出了改进，从而有效地减轻了特征塌陷问题。
带来的直接结果是模型的输出表达能力更加强大。
在使用相同数据训练的情况下，盘古-π（7B）在多任务上超越LLaMA 2等同规模大模型，并能实现10%的推理加速。
在1B规模上可达SOTA。
基于这一架构，我们还开发了一个金融法律大模型，名为"云山"。
该任务由领袖级AI专家陶大程带领。
具体如何实现？一起来看。
利用非线性解决特征塌陷
目前常见大模型基本都采用Transformer架构，比如GPT、LLaMA等。
它的核心构成包括多头自注意力机制（MSA）和前馈网络（FFN）。
MSA的主要功能是计算输入序列中每个token和其他所有token之间的相关性，通过学习输入序列中的依赖关系，可以增强对语言的理解能力。FFN主要对输入进行非线性转换，增强模型表达能力，使其可以逼近更复杂的函数。
不过，华为诺亚方舟实验室发现，特征崩溃（feature collapse）会影响Transformer架构的表现，降低其表达能力，使模型难以区分不同输入。
以LLaMA为例，在更深层的神经网络上，特征等级显著降低，导致了所有token之间的相似性更强。
从机制上来看，自注意力模块可以看做在完全图上进行信息聚合，连续堆叠多层注意力就像连续多层图卷积一样，会产生过度特征平滑效应。
另一方面，多层感知器（MLP）中的激活函数提供的非线性还不够，抑制特征崩溃的作用有限。
由此，团队想要提高模型的非线性表达能力，避免特征崩溃，进而提出了本次工作盘古-π。
如下是盘古-π的结构示意：
在FFN中加入串联激活函数，在MSA中集成一种增强快捷连接（Aug-S)，可以更有效地在Transformer架构中引入更多非线性。
使用了增强快捷连接（Aug-S）的MSA，能将每个token的特征转换为不同表示形式。
基于这一新架构，通过大规模训练和微调，研究团队开发了一个盘古-π基础模型。
实验结果显示，该模型在多任务中表现超越其他同规模模型（分别测试了7B和1B规模）。
而且盘古-π-7B可以达到约10%的推理加速。
同时团队还以此为基础开发了一个金融法律领域大模型“云山”，它同样在多个benchmark中成绩超越其他模型。
通讯作者为陶大程
值得关注的是，本项研究的团队阵容也非常亮眼。
通讯作者为陶大程。
他是欧洲科学院外籍院士、澳大利亚科学院院士。本科就读于中科大，说是毕业于港中文MMLab、师从汤晓鸥。
2007年从博士毕业后，先后在中国香港理工大学、新加坡南洋理工大学，澳大利亚悉尼科技大学、悉尼大学任教。目前是清华大学智能产业研究院AIR团队卓越访问教授。
与此同时，他还先后加盟过优必选、京东，曾是京东最高级别AI科学家、担任京东探索研究院院长。
一作为王云鹤。
他是2012实验室诺亚方舟实验室高级研究员，现任算法应用部部长。
王云鹤在华为负责高效AI算法的创新研发以及在华为业务中的应用。他和团队开发了高效AI算法，其衍生应用在中国天眼FAST观测工作中，协助中科院国家天文台专家找到了数百个新的快速射电暴样本。
论文地址：http://arxiv.org/abs/2312.17276
在开始之前，先确认硬件已经就位：关机，把新硬盘装上，再重新开机。开机后第一件事，就是检查系统是否识别到了新设备。用 dmesg | grep ad2 看一眼，如果输出类似 ad2: 9765MB [19841/16/63] at ata1-master UDMA33 这样的信息，说明新硬盘已经被成功
7月25日消息 天文学界最近有一项挺有意思的发现。根据中国科学院发布的信息，由南京天文光学技术研究所研究员王靓团队，联合国家天文台研究员罗阿理等人，利用LAMOST望远镜第十次公开的海量光谱数据，再结合多种测光数据，成功揪出了两颗全新的共生星，同时还锁定了12颗“仅吸积共生星”的候选体。这成果可不只
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
在千兆宽带、5G通信与云服务深度普及的2026年，大众普遍以为超大文件传输已步入“秒级时代”，但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时，当下最可靠、最迅捷且兼顾安全性的传输方案，依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历：他曾需将4TB资料从信阳送往郑州，首次尝试纯网络传输，系统预估总耗时近72小时；最终改用专人驱车运送，单程仅需约2.5小时，当天即完成取件与送达，整体效率显著超越线上方式。该实例迅速引发热议，多位资深IT博主随
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
