灵骏真武M890超节点实例Day 0适配月之暗面Kimi K3大模型

大模型参数规模突破2.8万亿，推理效率怎么跟上？阿里云最近交出了一份答卷——灵骏真武M890超节点实例成功适配了月之暗面最新的旗舰模型Kimi K3，双方在芯片、推理平台和模型层面做了联合优化，把推理效率实实在在提了上去。

来具体看看这套组合的底子。Kimi K3参数规模达到2.8万亿，采用混合专家（MoE）架构，这本身就对通信和显存提出了极高要求。而灵骏真武超节点实例基于平头哥训推一体AI芯片真武M890打造，关键还配了ICN Switch 1.0互联芯片，能让64张M890实现800 GB/s的All-to-All高速互联，显存规模直接堆到9TB。这意味着什么？万亿级MoE模型的EP专家并行通信流量，全都可以跑在一个高带宽通信域内，Token生成效率自然有保障。

值得一提的是，阿里云、平头哥和Kimi团队从芯片、软件栈等层面做了深度协同，最终让Kimi K3模型实现了Day0适配。具体来说，真武芯片的T-Head SAIL软件栈让Kimi自研的Mooncake推理框架做到了“开箱即跑”；M890对Triton的支持，也让大量基于Triton编写的自定义算子无需重写，大幅降低了适配工作量。从行业角度看，这种从硬件到软件栈的端到端优化，正在成为大模型落地的关键路径。