昇腾助力中科大提升MoE模型推理速度超30%
随着人工智能技术迅猛进步,大模型的参数规模持续攀升。MoE(MixtureofExperts)稀疏大模型因其能够在扩展模型容量的同时保持较低的训练计算开销,成为当前研究的焦点。然而,推理阶段的性能瓶颈仍严重制约其广泛应用。在此背景下,中国科学技术大学人工智能与数据科学学院执行院长张燕咏带领团队,依托中国科学技术大学鲲鹏昇腾科教创新卓越中心提供的强大算力支持,成功构建了一套基于专家选择分布预测的专家负载均衡与all2all通信优化框架。该研究聚焦于两大核心挑战——专家负载不均与高昂的计算通信成本,并通过
随着人工智能技术迅猛进步,大模型的参数规模持续攀升。MoE(Mixture of Experts)稀疏大模型因其能够在扩展模型容量的同时保持较低的训练计算开销,成为当前研究的焦点。然而,推理阶段的性能瓶颈仍严重制约其广泛应用。在此背景下,中国科学技术大学人工智能与数据科学学院执行院长张燕咏带领团队,依托中国科学技术大学鲲鹏昇腾科教创新卓越中心提供的强大算力支持,成功构建了一套基于专家选择分布预测的专家负载均衡与all2all通信优化框架。
该研究聚焦于两大核心挑战——专家负载不均与高昂的计算通信成本,并通过“三步走”策略有效提升了推理效率。为实现更高效的资源分配,团队首先深入挖掘专家选择的内在规律,分析相似token在MoE层中选择专家的行为特征,并对其进行聚类归纳,成功预测出token对特定专家的路径偏好。
第二步致力于缓解推理过程中的专家负载失衡问题。基于对token专家选择偏好的预测结果,团队精确评估各专家的访问频率与重要性,采用复制高访问频率专家、替换低重要性专家的方式,动态调整专家分布,从而实现负载均衡。其中,昇腾推理引擎MindIE所提供的性能分析工具发挥了关键作用,其可视化能力支持实时监控专家负载状态、统计访问热度,为优化决策提供了可靠的数据支撑。
第三步聚焦于降低分布式环境下的通信延迟。团队根据各计算节点上数据对专家选择的预测结果,提前将专家部署至最常被访问的节点,并将需频繁交互的专家集中部署在同一计算单元内,使数据与所需专家在物理位置上更加贴近。结合昇腾384超节点所采用的高速总线互联技术,显著减少了跨节点与跨单元之间的通信开销。
在一系列关键技术突破的推动下,该项目取得了显著成效。在多种尺寸与结构的MoE模型测试中,新框架相较现有主流方案,在推理时间、all2all通信时间、MoE层处理时间以及负载不均程度等指标上均实现超过30%的性能提升;在多卡复杂场景下,前三项指标提升达30%,推理时间优化20%。
这一研究成果为开发者利用昇腾技术优化MoE稀疏大模型的推理性能提供了宝贵范例,有助于加速该类模型在实际场景中的落地应用。未来,中国科学技术大学鲲鹏昇腾科教创新卓越中心将继续深化产学研融合,依托昇腾软硬件生态,在前沿AI模型优化方向持续探索,为我国自主可控的人工智能发展战略和数字经济建设注入新动能。

Postman是一套面向API全生命周期的开发与测试平台,可在Mac上发送和调试多种协议请求,管理集合、环境及认证信息,并完成脚本测试、模拟服务、监控、文档发布和团队协作。它适合开发、测试及运维人员使用,提供个人免费方案。
Docker Desktop 是 Docker 官方为 Mac 提供的容器开发环境,集成 Docker Engine、命令行工具、Compose、Build、Kubernetes 与图形化管理界面。
Android Studio 是 Google 面向安卓应用开发提供的官方集成开发环境,基于 IntelliJ IDEA 构建。它整合智能代码编辑、Gradle 构建、界面预览、设备模拟、性能分析、调试测试及 APK 分析等工具。
PixPix 是面向品牌、卖家和内容团队的在线 AI 图片视频创作平台,提供图视频 Agent、无限画布、图片生成、视频生成、自然语言编辑及商品套图、产品精修和带货视频等电商工具。
Postman 是面向 API 全生命周期的开发与协作平台。Windows 桌面版可用于构建和发送 HTTP、GraphQL、gRPC、WebSocket、MQTT 等请求,并提供环境变量、集合、脚本测试、模拟服务、监控、文档及团队工作区等
Docker Desktop 为 Windows 开发者提供集成式容器环境,内置 Docker Engine、命令行工具、Compose、Build 与 Kubernetes 等组件,可在本机完成镜像构建、容器运行、日志查看和资源管理。













