百度CTO王海峰：大语言模型为通用人工智能带来曙光

北京时间2023年8月16日，WAVE SUMMIT深度学习开发者大会由深度学习技术及应用国家工程研究中心主办，在此次会议上，百度首席技术官兼深度学习技术及应用国家工程研究中心主任王海峰发表了主题演讲。王海峰首次公开表示，大语言模型已经具备了理解、生成、逻辑、记忆等人工智能的核心基础能力，为通用人工智能的发展带来了新的希望

已有800万开发者使用飞桨，创建了超过80万个模型

WAVE SUMMIT深度学习开发者大会自2019年4月开始举办。在首届大会上，王海峰指出深度学习具有广泛适用性，并具备工业化生产的标准化、自动化和模块化特征，推动了人工智能进入工业化阶段。经过四年的发展，深度学习技术和应用的进展充分验证了这一观点。深度学习技术的适用范围越来越广，深度学习平台的标准化、自动化和模块化特征越来越明显，而预训练大模型的兴起进一步拓展了人工智能应用的深度和广度。因此，人工智能已经进入了工业化生产阶段

在标准化方面，我们通过联合优化框架和模型，统一适配多种硬件，简化应用模式，从而大大降低人工智能应用的门槛；在自动化方面，我们提升了人工智能研发全流程的效率，从训练、适配到推理部署都实现了自动化；在模块化方面，我们提供了丰富的产业级模型库，方便人工智能在各种场景中快速应用

飞桨产业级深度学习开源开放平台和文心大模型相互促进，使飞桨生态更加繁荣，吸引了800万开发者，为22万家企事业单位提供服务，并且创建了80万个基于飞桨的模型。王海峰解释了飞桨开发者社区AI Studio中文名“星河社区”的深远含义，“文心与飞桨相结合，一同进入星河”。在飞桨和文心的引导下，我们与所有开发者共同建设星河社区，共同探索通用人工智能的无尽可能

大型语言模型为通用人工智能带来了新的希望

王海峰认为，通用人工智能的核心基础能力包括理解、生成、逻辑和记忆，而大语言模型具备了这四项能力，为实现通用人工智能带来了希望

具体而言，人工智能的典型能力，如创作、编程、解题和规划，都基于核心基础能力，包括理解、生成、逻辑和记忆，尽管它们在依赖程度上可能有所差异。举例来说，解题过程需要综合运用理解、记忆、逻辑和生成能力，从读懂题目、解答题目到最后写出答案

如何获取这些能力？以文心一言为例，首先通过融合学习数万亿数据和数千亿知识来训练预训练大模型。然后，利用有监督精调、人类反馈的强化学习和提示等技术对其进行进一步优化。此外，该模型还具备知识增强、检索增强和对话增强等技术优势

通过多种策略优化数据源和数据分布、基础模型的长文建模、多类型多阶段的有监督精调、多任务自适应的有监督精调以及多层次多粒度奖励模型等技术创新，全面提升基础通用能力。在检索增强和知识增强的基础上，通过知识点增强提升对世界知识的掌握和应用能力；通过构建大规模逻辑数据、逻辑知识建模、多粒度语义知识组合以及符号神经网络，提升逻辑能力；通过构建包括数据、内容、模型和系统安全的全面安全体系，确保大模型的安全性

通过飞桨端到端自适应混合并行训练技术以及协同优化的压缩、推理和服务部署，文心大模型的训练速度提高了3倍，推理速度提高了30多倍

通过数据驱动、提示构建和插件增强，我们在应用方面进行了场景适配和协同优化。我们已经上线了五个插件：文心一言、百度搜索、览卷文档、E 言易图、说图解画和一镜流影。这些插件使我们的模型具备了生成实时准确信息、长文本摘要和问答、数据洞察和图表制作、基于图片的创作和问答、以及文生视频等能力。插件机制的引入扩展了大模型的功能边界，更好地满足了不同场景的需求。王海峰表示，未来百度将与开发者共同建设插件生态系统，共享技术创新成果

以大语言模型为代表的人工智能正在深入千行百业，加速产业升级和经济增长。在这个进程中，技术创新和应用落地形成良性循环，理解、生成、逻辑、记忆等能力持续提升，产业应用的广度和深度持续拓展，大型语言模型为通用人工智能带来了新的希望。