当前位置:

首页 > 硬件相关 > 腾讯混元 AI Infra 团队开源 HPC-Ops,高性能 LLM 推理核心算子库

腾讯混元 AI Infra 团队开源 HPC-Ops,高性能 LLM 推理核心算子库

腾讯混元AIInfra团队近日开源了HPC-Ops高性能LLM推理算子库,基于CUDA和CuTe从零重构,涵盖FusedMoE、Attention等核心模块。实测显示,混元系列模型推理QPM提升30%,DeepSeek提升17%,Attention算子最高提速2.22倍,推理效率显著提升,广泛适用于各类大模型推理场景,性能优越。

本文目录

    腾讯混元 AI Infra 团队最近开源了一款面向生产环境的 LLM 推理核心算子库——HPC-Ops。说白了,这就是一套专门用来解决大模型工业级部署中那些“跑不动、延迟高、优化难”问题的底层工具集。它不是拿现成框架拼凑出来的,而是完全基于 CUDA 和 CuTe 从零重构,结合了工程架构的抽象设计、GPU 微架构的深度适配,以及指令级别的精细化调优。目的很直接:降低底层算子开发门槛的同时,把关键算子的性能逼到硬件极限。这可不是小打小闹的优化,实测数据说明了一切。

    根据官方介绍,HPC-Ops 是一套轻量、高吞吐、低延迟的 LLM 推理算子集合,专门为大规模模型服务场景定制。核心模块涵盖了融合专家混合(FusedMoE)、注意力机制(Attention)、设备内和跨设备通信(Intra-/Inter-node Communication)、归一化(Norm)、采样器(Sampler),以及多种高频小算子的深度融合实现。团队做了一件特别实在的事:他们把典型推理任务的数据流特征和 GPU 硬件的微架构特点做了细致拆解,然后精准匹配计算划分策略和底层指令执行模型,让并行效率尽可能拉满。与此同时,工程代码层的合理化抽象也让算法工程师能更专注于模型逻辑和算子语义本身,后续迭代和维护成本大幅降低——这对实际业务来说,才是真正的红利。

    HPC-Ops 算子库的整体架构如下图所示:

    来看实际数据。腾讯混元 AI Infra 团队公布的测试结果显示,在真实业务负载下,搭载 HPC-Ops 后,混元系列模型的推理 QPM(每分钟查询数)提升了 30%,DeepSeek 系列模型的 QPM 提升了 17%。单算子的表现更是亮眼:Attention 算子相比 FlashInfer / FlashAttention 最高提速 2.22 倍;GroupGEMM 相比 DeepGEMM 最高提速 1.88 倍;FusedMoE 相比 TensorRT-LLM 最高提速 1.49 倍。这些数字不是实验室里跑出来的理想值,而是从真实业务负载中压出来的硬指标。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关
    相关文章 更多
    腾讯混元3.0正式上线,聚焦提升任务执行力
    腾讯混元3.0正式上线,聚焦提升任务执行力

    腾讯混元3.0正式版上线,采用295B总参数MoE架构,聚焦任务执行与推理能力提升。价格降至输入1元/百万tokens,办公场景任务成功率从72%提升至90%,幻觉率下降超一半。坚持性价比路线,已在多个内部业务部署。

    腾讯混元发布Hy3,API价格每百万tokens 0.25元起
    腾讯混元发布Hy3,API价格每百万tokens 0.25元起

    腾讯发布Hy3大模型,MoE架构,总参数295B,激活21B,支持256K上下文。API输入1元/百万tokens,输出4元,缓存命中0.25元。能力较预览版跃升,小尺寸比肩大尺寸旗舰。

    腾讯混元发布并开源Hy3模型 在推理、智能体、长上下文等任务上显著进步
    腾讯混元发布并开源Hy3模型 在推理、智能体、长上下文等任务上显著进步

    腾讯混元发布并开源Hy3模型,在推理、智能体、长上下文任务上显著进步,智能水平超越同尺寸模型,比肩2至5倍规模旗舰模型。后训练优化数据与强化学习,降低API成本至每百万Tokens输入1元,全面开源于GitHub等平台。

    姚顺雨“交卷”了:腾讯混元Hy3正式发布,同日公司股价上涨
    姚顺雨“交卷”了:腾讯混元Hy3正式发布,同日公司股价上涨

    腾讯混元大模型Hy3正式发布,由首席AI科学家姚顺雨操刀,以21B激活参数对标更大规模模型,Agent能力显著提升。该模型已接入元宝、WorkBuddy等业务,WorkBuddy使用规模三个月增长两个数量级,微信AI助手“小微”启动内测。受AI业务前景提振,腾讯港股当日上涨4.82%。

    腾讯混元Hy3正式发布:Agent能力提升,坚持高性价比路线
    腾讯混元Hy3正式发布:Agent能力提升,坚持高性价比路线

    腾讯混元Hy3发布,采用快慢思考融合MoE架构,总参数295B、激活21B,支持256K上下文。Agent能力显著提升,定价输入1元、输出4元/百万tokens,开源Apache2.0,已在多个业务接入并取得效果提升。

    半年重建,一次交卷:5分钟生成3D跑酷小游戏,腾讯混元 Hy3 正式发布
    半年重建,一次交卷:5分钟生成3D跑酷小游戏,腾讯混元 Hy3 正式发布

    腾讯混元发布Hy3模型,采用MoE架构,总参数295B、激活参数21B。通过“小激活、大总参”降低成本,经业务打磨后任务成功率提升、幻觉率下降。在WorkBuddy中仅用5分钟即可生成可玩的3D跑酷小游戏,验证了模型实用价值。

    海光DCU完成腾讯混元Hy3正式版适配
    海光DCU完成腾讯混元Hy3正式版适配

    海光深算系列DCU完成与腾讯混元大模型Hy3正式版的全面深度适配,针对智能体能力、MoE稀疏激活架构及低延迟推理等关键特性进行专项优化,推动国产硬件与大模型从“能用”迈向“好用”。

    腾讯混元携手多所高校,让3D网格生成快如闪电
    腾讯混元携手多所高校,让3D网格生成快如闪电

    腾讯混元联合多所高校提出PolyFlow,通过拓扑嵌入器将离散网格拓扑转为连续向量,结合流匹配模型并行生成网格,速度比自回归方法快数十倍,倒角距离降低43%,且支持用户指定顶点数量。

    腾讯混元发布混元图像 3.0 图生图模型
    腾讯混元发布混元图像 3.0 图生图模型

    腾讯混元发布混元图像3.0图生图模型,采用80B参数MoE架构,支持图像编辑与多图融合,已在元宝平台上线。模型具备语义理解与逻辑推理能力,可精准执行对象增删、风格迁移等任务。通过千万级多任务数据集和思维链范式训练,结合MixGRPO强化学习优化,显著提升指令响应质量。

    云天励飞IFWA软件栈完成腾讯混元Hy3关键链路适配验证
    云天励飞IFWA软件栈完成腾讯混元Hy3关键链路适配验证

    云天励飞基于自研IFWA软件栈,在DeepVerse云端芯片验证平台上完成腾讯混元Hy3模型的关键推理链路适配验证,覆盖MoE、GQA、MTP等核心环节,验证了软件栈的兼容性与组件复用能力,为平台化适配奠定基础。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。