Kimi发布K3模型权重、技术报告

7月27日深夜，Kimi这边有动作——把K3模型的权重、技术报告，连带着关键的基础设施技术，一股脑儿全开放了。

K3是Kimi目前能力最强的一个模型，参数规模达到了2.8万亿，是个混合专家（MoE）架构。它天生就带了视觉理解能力，上下文窗口能拉到100万token。跟K2.5比，参数规模差不多是它的3倍。背后靠的是Delta Attention（混合线性注意力机制）、Attention Residuals（注意力残差）还有MoonEP（月之暗面专家并行通信库）这一系列技术组合，规模化效率直接提升了2.5倍——换句话说，单位算力能产出的智能，差不多是原来的2.5倍。

Kimi方面表示得挺干脆：现在谁都能下载部署K3模型，不管是内部研发，还是嵌到面向终端用户的产品里，都能自由用。他们还重申了对开放权重模型的坚持——降低获取智能的门槛，推动创新，让用户对数据有更大的控制权、隐私保护和所有权。