Omni-Infer v0.8.0 已经发布，超大规模 MoE 模型推理加速技术
发布于2026-08-24 阅读（0）
扫一扫，手机访问
最近，Omni-Infer迎来了0.8.0版本的正式上线。这次更新的重头戏，就是针对超大规模MoE架构模型，提供了高效推理优化能力——对于正在处理庞杂MoE模型的团队来说，这无疑是个值得关注的进展。
v0.8.0
核心亮点
✓ 新增对 Pangu72B 模型的强化学习（RL）训练支持
已验证支持模型清单
| 模型名称 | 适配硬件 | 量化/精度格式 | 部署模式 |
|---|---|---|---|
| openPangu-Ultra-MoE-718B | A3 | INT8 | PD分离 |
| openPangu-Ultra-MoE-718B | A2 | INT8 | PD分离 |
| openPangu-72B | A3 | INT8 | PD分离 |
| openPangu-38B | A3 | INT8 | 混布 |
| openPangu-38B | A2 | INT8 | 混布 |
| openPangu-7B | A3 | BF16 | 混布 |
| openPangu-7B | A2 | BF16 | 混布 |
| openPangu-7BVL | A3 | BF16 | 混布 |
| DeepSeek-R1 | A3 | INT8 | PD分离 |
| DeepSeek-R1 | A3 | W4A8C16 | PD分离 |
| DeepSeek-R1 | A3 | BF16 | PD分离 |
| DeepSeek-R1 | A2 | INT8 | PD分离 |
| DeepSeek-V3.1 | A3 | INT8 | PD分离 |
| DeepSeek-V3.2 | A3 | INT8 | PD分离 |
| DeepSeek-OCR | A2 | BF16 | 混布 |
| Qwen2.5-7B | A3 | INT8 | 混布（TP≥1, DP=1） |
| Qwen2.5-7B | A2 | INT8 | 混布（TP≥1, DP=1） |
| QwQ | A3 | BF16 | PD分离 |
| QwQ | A2 | BF16 | PD分离 |
| Qwen3-235B | A3 | INT8 | PD分离 |
| Qwen3-235B | A2 | BF16 | PD分离 |
| Qwen3-32B | A3 | BF16 | PD分离 |
| Qwen3-32B | A3 | INT8 | PD分离 |
| Qwen3-30B | A3 | BF16 | PD分离 |
| Kimi-K2 | A3 | W4A8C16 | PD分离 |
| Kimi-K2 Thinking | A3 | W4A8C16 | PD分离 |
| Longcat-flash | A3 | BF16 | PD分离 |
| Ling-1T | A3 | BF16 | PD分离 |
| GPT-OSS120B | A3 | INT8 | PD分离 |
| GPT-OSS120B | A2 | INT8 | PD分离 |
| GPT-OSS20B | A3 | INT8 | PD分离 |
| GPT-OSS20B | A2 | INT8 | PD分离 |
安装资源获取
| 硬件平台 | CPU架构 | Docker镜像地址 | Tar包名称 |
|---|---|---|---|
| A3 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-arm:release_v0.8.0-vllm | omni_infer-a3-arm:v0.8.0_vllm |
| A3 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a3-x86:release_v0.8.0-vllm | omni_infer-a3-x86:v0.8.0_vllm |
| A2 | arm | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-arm:release_v0.8.0-vllm | omni_infer-a2-arm:v0.8.0_vllm |
| A2 | x86 | docker pull swr.cn-east-4.myhuaweicloud.com/omni-ci/omniinfer-a2-x86:release_v0.8.0-vllm | omni_infer-a2-x86:v0.8.0_vllm |
源码及安装包下载：立即获取
本文转载于：https://www.php.cn/faq/2010204.html?uid=1246273 如有侵犯，请联系zhengruancom@outlook.com删除。
免责声明：正软商城发布此文仅为传递信息，不代表正软商城认同其观点或证实其描述。
免责声明：正软商城发布此文仅为传递信息，不代表正软商城认同其观点或证实其描述。
产品推荐
-
售后无忧
立即购买>- DAEMON Tools Lite 10
-
￥0.00
office旗舰店
-
售后无忧
立即购买>- DAEMON Tools Ultra 5
-
￥0.00
office旗舰店
-
售后无忧
立即购买>- DAEMON Tools Pro 8
-
￥0.00
office旗舰店
-
售后无忧
立即购买>- CorelDRAW X8 简体中文
-
￥0.00
office旗舰店
-
正版软件
- 三个月都等不了 苹果iPhone 17系列或提前调价
- 苹果iPhone17系列或提前涨价，彭博社记者古尔曼指出无需等到秋季发布会。供应链成本持续上升及汇率波动带来定价压力，CEO库克此前已预警涨价不可避免。
- 4分钟前 0
-
正版软件
- 讯飞AI眼镜已开启首销 支持122种语言实时翻译
- 讯飞AI眼镜首销，支持122种语言实时翻译，翻译字幕投射镜片并同步语音。仅重40克，具备同声传译等四种翻译模式及唇动识别降噪。支持三种充电方式，内置GlassClawAI助理。活动到手价3369.1元起。
- 4分钟前 0
-
正版软件
- Meta 士气跌至历史冰点，高管承认管理失误并推零食福利试图挽回
- Meta首席技术官承认员工士气跌至历史最低点，源于AI转型中裁员8000人及强制调派员工从事枯燥数据标注。管理层致歉并推出涨零食预算、限制管理幅度等福利，但外界对效果持保留态度。
- 5分钟前 0
-
正版软件
- 小米平板9标准版曝光：高通骁龙8s Gen4芯片，9720mAh电池
- 小米平板9标准版基本沿用了小米平板8的硬件平台，包括屏幕、摄像头等，但电池容量提升至9720mAh，并搭载骁龙8sGen4芯片，使性能与续航均有提升。Pro版则升级为第五代骁龙8处理器，定位更高，预计将于2026年8月正式发布。
- 5分钟前 0
-
正版软件
- 魔声推出Open Ear AC229开放式耳机，209元
- 魔声OpenEarAC229开放式耳机现已在京东上架，官方定价209元，参与部分地区国补后仅需169.2元。耳机单耳重量仅5.6克，采用亲肤液态硅胶材质，支持触控操作。内置15x7mm动圈单元，配备四麦克风ENC降噪技术，支持蓝牙6.0。单耳续航可达8小时，总续航32小时。
- 6分钟前 0
最新发布
-
1
- 在哪里可以找到手机相片收藏
- 639天前
-
2
- 详细解读I7-14650HX的性能评测数据
- 646天前
-
3
- 如何选择DP接口版本: 1.2还是1.4?
- 657天前
-
4
-
5
- 华为GT4和Watch4，哪个更好？
- 949天前
-
6
- 骁龙芯片的型号与天玑9400相当？
- 665天前
-
7
-
8
-
9
- 三星“约谈”联发科 A系列智能手机有望搭载其5G芯片
- 2443天前
相关推荐
热门关注
-
- AndroMeld
- ￥0.00-￥0.00
-
- Permute 4
- ￥0.00-￥0.00
-
- ZBrushCore 2018 简体中文
- ￥0.00-￥0.00
-
- MindMapper 17 英文
- ￥0.00-￥0.00
-
- Listary 5 Pro
- ￥0.00-￥0.00