当前位置:

首页 > 硬件相关 > AMD 推出 vLLM-ATOM 插件,加速 DeepSeek、Kimi 等 AI 推理性能

AMD 推出 vLLM-ATOM 插件,加速 DeepSeek、Kimi 等 AI 推理性能

AMD推出vLLM-ATOM插件,旨在无缝提升大语言模型在AMDInstinctGPU上的推理效率。该插件兼容现有vLLM框架与工作流,无需开发者修改代码即可自动优化。其三层架构覆盖调度、路由与底层计算内核,支持包括DeepSeek、Kimi在内的多种主流与多模态模型,显著降低了部署门槛。

本文目录

    5月12日,一则来自科技媒体Wccftech的消息引起了业内的注意。报道称,AMD悄然推出了一款名为vLLM-ATOM的插件,其目标直指一个核心痛点:如何在不改变开发者现有习惯的前提下,显著提升大语言模型的推理效率。

    这里需要先明确一下vLLM的背景。它并非普通的单次推理工具,而是一个专为高并发服务场景设计的开源推理框架。它的强项在于请求调度、KV缓存管理和连续批处理,旨在优化吞吐量和显存利用率,是企业将大模型部署为长期在线服务的常用选择。

    AMD此次的策略相当巧妙。vLLM-ATOM插件本质上是一套为AMD Instinct GPU量身定制的优化方案,但其最大卖点是“无缝衔接”。开发者无需改动现有的vLLM命令、API和端到端工作流,插件会在后台自动接管优化任务,将计算引导至更高效的路径。

    AMD 推出 vLLM-ATOM 插件,加速 DeepSeek、Kimi 等 AI 推理性能

    vLLM-ATOM 架构与 MI300X、MI355X 示意

    三层架构解析

    从公布的架构图来看,vLLM-ATOM主要面向Instinct MI350、MI400以及MI355X等系列GPU,其设计清晰地分为三个层次:

    最上层是原有的vLLM框架,它继续负责请求调度、KV缓存管理、连续批处理以及维护对OpenAI API的兼容性。中间层则是全新的ATOM插件,扮演着“翻译官”和“调度员”的角色,负责平台注册、模型实现、注意力机制的后端路由以及内核调优。最底层是AITER,它提供了直接运行在GPU上的核心计算内核,包括融合的MoE专家系统、Flash Attention、量化GEMM以及RoPE融合等优化技术。

    降低部署门槛是关键

    对于企业和开发者而言,这套方案的价值远不止于“速度更快”。其核心吸引力在于大幅降低了部署门槛。AMD将其宣传为“零学习成本”,这意味着那些已经基于vLLM构建了服务流程的团队,理论上可以平滑地将后端迁移到AMD硬件上,无需进行伤筋动骨的重构。

    在模型支持方面,该插件展现了良好的兼容性。它覆盖了包括Qwen3、DeepSeek、GLM、gpt-oss、Kimi在内的多个主流模型系列。更重要的是,它支持从稠密模型到混合专家模型,乃至文本加视觉的多模态大模型场景,显示了其架构的灵活性。

    具体到一些代表模型,例如Qwen3-235B-A22B-Instruct-2507-FP8、DeepSeek-R1-0528、openai / gpt-oss-120b以及amd / Kimi-K2.5-MXFP4等,都已在其支持列表之中。

    AMD 推出 vLLM-ATOM 插件,加速 DeepSeek、Kimi 等 AI 推理性能

    AMD vLLM-ATOM 与 Instinct GPU 配图
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 AMD
    相关文章 更多
    显卡驱动更新有什么用?更新显卡驱动有什么好处
    显卡驱动更新有什么用?更新显卡驱动有什么好处

    了解更新显卡驱动的具体好处,包括提升游戏帧率、解锁DLSS等新特性、修复蓝屏崩溃问题以及修补安全漏洞。同时学习如何判断是否需要更新,避免不必要的系统风险。

    微软推出Project Zenith:面向Windows 11开发者的AI硬件加速方案
    微软推出Project Zenith:面向Windows 11开发者的AI硬件加速方案

    微软于9月5日推出Project Zenith,旨在为Windows 11开发者提供更高效的AI开发体验。该项目目前仅支持配备超过64GB统一内存及250GB/s内存带宽的特定硬件,首发适配AMD Ryzen AI Halo设备。通过此项目,开发者可在本地运行参数超过300亿的AI模型,后续将分阶段扩展至更多合作伙伴设备。

    新生力量AMD 发布锐龙 7 4700LE 和锐龙 3 3100U 处理器
    新生力量AMD 发布锐龙 7 4700LE 和锐龙 3 3100U 处理器

    AMD于2026年推出基于7nmZen2老架构的消费级处理器,包括OEM专供的锐龙74700LE(8核、无核显、65W)和锐龙33100U(2核2线程、Vega8核显),并在COMPUTEX2026上补充锐龙PRO200系列商用新品。

    用户反映 AMD Ryzen 处理器默默取消 TSME 内存安全技术支持
    用户反映 AMD Ryzen 处理器默默取消 TSME 内存安全技术支持

    AMD在AGESA1.2.7.0固件中从消费级Ryzen处理器移除TSME内存加密支持,仅保留给PRO和EPYC系列。该安全技术通过硬件自动加密物理内存数据,防止物理攻击。Linux用户发现后经主板厂商测试确认,功能被硬屏蔽,BIOS开启亦无效。

    逼玩家选N卡!A卡涨价自捅一刀:这下更没人买了
    逼玩家选N卡!A卡涨价自捅一刀:这下更没人买了

    AMD计划7月起将GPU与显存套装供货价上调10%-15%,源于GDDR内存颗粒价格飙升三倍。这是半年内第二次涨价,此前已致销量断崖式下跌。此次涨价将抹平A卡价格优势,迫使玩家转向NVIDIA阵营。

    AMD 强调用户数据安全非 PRO 锐龙处理器将于下月恢复 TSME 内存加密
    AMD 强调用户数据安全非 PRO 锐龙处理器将于下月恢复 TSME 内存加密

    AMD公司计划于2026年7月通过BIOS更新,为桌面锐龙9000非专业版系列重新启用透明安全内存加密(TSME)。此前AGESA1.2.7.0版固件移除了该选项,AMD公司强调重视用户数据安全,而锐龙专业版系列则永久保留TSME加密功能。该技术可有效防止内存数据泄露。

    AMD 正式为 RX 7000 显卡提供 FSR 超分 4.1 支持 预告核显用轻量级模型
    AMD 正式为 RX 7000 显卡提供 FSR 超分 4.1 支持 预告核显用轻量级模型

    AMD正式推送26.6.2驱动,为RadeonRX7000系列显卡提供FSR4.1原生支持,帧率与画质显著提升,并快于第三方MOD版。同时预告为RDNA3架构APU开发轻量级模型,使核显也能支持FSR4.1。已验证RX7600至7900XTX,入门型号待测。驱动还新增游戏支持并修复了闪退与兼容性问题。

    颜值与实力并存,AI与生产力全面进化:蓝宝石RX 9070 XT评测
    颜值与实力并存,AI与生产力全面进化:蓝宝石RX 9070 XT评测

    蓝宝石RX9070XT评测显示,其已普遍支持FSR4(红石技术),画质较FSR3显著提升,AI生态协同能力增强。价格仍维持在五千元档,性价比十分突出。与RTX5070Ti对比及FSR4实际测试将验证其驱动优化效果与新技术表现,整体表现令人期待。

    摩根士丹利预估 2027 年 AMD EPYC Venice 出货 675 万颗 超英伟达 Vera 处理器 17%
    摩根士丹利预估 2027 年 AMD EPYC Venice 出货 675 万颗 超英伟达 Vera 处理器 17%

    据摩根士丹利研报预测,2027年超威半导体基于台积电二纳米工艺与Zen六架构的EPYCVenice中央处理器出货量将达六百七十五万颗,较英伟达采用五纳米工艺、主攻代理型人工智能应用的Vera中央处理器出货量五百七十五万颗领先百分之十七。

    外媒在 AMD RDNA 3 显卡上测试:FSR 4.1 超分比 3.1 最多慢 14.5%
    外媒在 AMD RDNA 3 显卡上测试:FSR 4.1 超分比 3.1 最多慢 14.5%

    在RDNA3显卡上,FSR4.1超分技术帧率低于FSR3.1。基于三款显卡九款游戏测试,质量模式平均降低百分之十一,性能模式平均降低百分之十四点五。RX7800XT和RX7600也类似,分别降低百分之七至百分之九。算法复杂度提高是主要原因,导致计算开销增加,进而影响帧率表现。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。