当前位置：

首页 > 业界资讯 > 贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM

贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM

作者：RiverSoul 时间：2025-07-12 来源：正软商城浏览：5

用来运行Llama3405B优势明显。最近，Meta开源了最新的405B模型（Llama3.1405B），把开源模型的性能拉到了新高度。由于模型参数量很大，很多开发者都关心一个问题：怎么提高模型的推理速度？时隔才两天，LMSYSOrg团队就出手了，推出了全新的SGLangRuntimev0.2。这是一个用于LLM和VLM的通用服务引擎。在运行Llama3.1405B时，它的吞吐量和延迟表现都优于vLLM和TensorRT-LLM。在某些情况下（运行Llama系列模型），它的吞吐量甚至能达到TensorRT

本文目录

用来运行 Llama 3 405B 优势明显。

最近，Meta 开源了最新的 405B 模型（Llama 3.1 405B），把开源模型的性能拉到了新高度。由于模型参数量很大，很多开发者都关心一个问题：怎么提高模型的推理速度？

时隔才两天，LMSYS Org 团队就出手了，推出了全新的 SGLang Runtime v0.2。这是一个用于 LLM 和 VLM 的通用服务引擎。在运行 Llama 3.1 405B 时，它的吞吐量和延迟表现都优于 vLLM 和 TensorRT-LLM。

在某些情况下（运行 Llama 系列模型），它的吞吐量甚至能达到 TensorRT-LLM 的 2.1 倍，vLLm 的 3.8 倍。

贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM

LMSYS Org 团队是一个由加州大学伯克利分校、加州大学圣地亚哥分校以及卡内基梅隆大学的学生与教职员工共同组建的公开性质的研究团体。他们开发的大模型评测平台 ——Chatbot Arena 已经成为检验大模型能力的重要平台，也被认为是一种相对公平的评测方式。

SGLang 是该团队开发的一个用于大型语言模型和视觉语言模型的快速服务框架，于今年 1 月份正式推出，在 GitHub 上已经收获了超过 3k 的 star 量。

贾扬清点赞：3K star量的SGLang上新，加速Llama 405B推理秒杀vLLM、TensorRT-LLM

这次的更新效果惊艳，知名 AI 研究者、Lepton AI 联合创始人兼 CEO 贾扬清评价说「我一直被我的博士母校加州大学伯克利分校惊艳，因为它不断交付最先进的人工智能和系统协同设计成果。去年我们看到了 SGLang 的使用，现在它变得更好了。迫不及待地想在产品中部署并尝试新的 SGLang！」

为什么 LMSYS Org 要开发并迭代 SGLang 呢？他们在博客中提到，「我们已经运行 Chatbot Arena 平台一年多，为数百万用户提供服务。我们深知高效服务对人工智能产品和研究的重要性。通过运营经验和深入研究，我们不断增强底层服务系统，从高级多模型服务框架 FastChat 到高效服务引擎 SGLang Runtime (SRT)。」

「这篇文章的重点是 SGLang Runtime，它是一个用于 LLM 和 VLM 的通用服务引擎。虽然 TensorRT-LLM、vLLM、MLC-LLM 和 Hugging Face TGI 等现有选项各有优点，但我们发现它们有时难以使用、难以定制或性能不佳。这促使我们开发了 SGLang v0.2，旨在创建一个不仅用户友好、易于修改，而且性能一流的服务引擎。」

与 TensorRT-LLM 和 vLLM 相比，SGLang Runtime 在处理从 Llama-8B 到 Llama-405B 的模型时，以及在 A100 和 H100 GPU 上使用 FP8 和 FP16 时，在在线和离线场景下都能持续提供卓越或有竞争力的性能。SGLang 的性能始终优于 vLLM，在 Llama-70B 上的吞吐量最高是前者的 3.8 倍。它还经常与 TensorRT-LLM 不相上下，甚至超过 TensorRT-LLM，在 Llama-405B 上的吞吐量最高是前者的 2.1 倍。更重要的是，SGLang 是完全开源的，由纯 Python 编写，核心调度器只用了不到 4K 行代码就实现了。

SGLang 是一个开源项目，采用 Apache 2.0 许可授权。它已被 LMSYS Chatbot Arena 用于支持部分模型、Databricks、几家初创公司和研究机构，产生了数万亿 token，实现了更快的迭代。

以下是几个框架的对比实验设置和结果。

基准设置

研究者对离线和在线用例进行基准测试：

离线：他们一次发送 2K 到 3K 个请求，测量输出吞吐量（token / 秒），即输出 token 数除以总持续时间。他们测试的合成数据集来自 ShareGPT 数据集。例如，I-512-O-1024 表示平均输入 512 个 token、平均输出 1024 个 token 的数据集。五个测试数据集分别为：

数据集 1：I-243-O-770；
数据集 2：I-295-O-770；
数据集 3：I-243-O-386；
数据集 4：I-295-O-386；
数据集 5：I-221-O-201。

在线：他们以每秒 1 到 16 个请求 (RPS) 的速率发送请求，测量端到端延迟的中位数。他们使用合成数据集 I-292-O-579。

他们使用 vLLM 0.5.2（带默认参数）和 TensorRT-LLM（带推荐参数和调整后的批大小）。所有引擎都关闭了前缀缓存。目的是在没有任何附加功能（如推测解码或缓存）的情况下，对基本性能进行基准测试。他们使用与 OpenAI 兼容的 API 对 SGLang 和 vLLM 进行基准测试，并使用 Triton 接口对 TensorRT-LLM 进行基准测试。

Llama-8B 在一个 A100 上运行（bf16）

研究者从小型模型 Llama-8B 开始测试。下图显示了每个引擎在五个不同数据集的离线设置下所能达到的最大输出吞吐量。TensorRT-LLM 和 SGLang 都能达到每秒约 4000 个 token 的吞吐量，而 vLLM 则稍逊一筹。

下面的在线基准图显示了与离线情况类似的趋势。TensorRT-LLM 和 SGLang 的性能相当，可以保持 RPS > 10，而 vLLM 的延迟在请求率较高时显著增加。

Llama-70B 在 8 个 A100 上运行（bf16）

至于在 8 个 GPU 上进行张量并行的较大型 Llama-70B 模型，趋势与 8B 相似。在下面的离线基准测试中，TensorRT-LLM 和 SGLang 都能达到很高的吞吐量。

在下图的在线结果中，TensorRT-LLM 凭借高效的内核实现和运行时间，显示出较低的延迟。

Llama-70B 在 8 个 H100 上运行（fp8）

现在来测试 FP8 性能。vLLM 和 SGLang 都使用了 CUTLASS 的 FP8 内核。在离线设置中，SGLang 的批处理调度器非常高效，可以随着批处理规模的增大而继续扩展吞吐量，在这种情况下实现了最高吞吐量。其他系统则由于 OOM、缺少大量手动调整或存在其他开销而无法扩展吞吐量或批大小。在线情况下也是如此，SGLang 和 TensorRT 的中位延迟相似。

Llama-405B 在 8 个 H100 上运行（fp8）

最后，研究者在最大的 405B 模型上对各种方法的性能进行了基准测试。由于模型较大，大部分时间都花在了 GPU 内核上。不同框架之间的差距缩小了。TensorRT-LLM 性能不佳的原因可能是 405B 模型刚刚问世，而图中使用的版本尚未集成一些最新优化。在在线和离线情况下，SGLang 的性能都是最好的。

SGLang 概览

SGLang 是大型语言模型和视觉语言模型的服务框架。它基于并增强了多个开源 LLM 服务引擎（包括 LightLLM、vLLM 和 Guidance）的许多优秀设计。它利用了来自 FlashInfer 的高性能注意力 CUDA 内核，并集成了受 gpt-fast 启发的 torch.compile。

此外，研究者还引入了一些创新技术，如用于自动 KV 缓存重用的 RadixAttention 和用于快速约束解码的压缩状态机。SGLang 以其完全用 Python 实现的高效批处理调度器而闻名。为了进行公平比较，本博客测试了这些服务引擎在关闭特定场景或工作负载优化（如前缀缓存和推测解码）后的基本性能。SGLang 的提速是通过适当的工程设计实现的。SGLang 基于 Python 的高效批处理调度器具有良好的扩展性，通常可与使用 C++ 构建的闭源实现相媲美，甚至更胜一筹。

表 1 比较了 SGLang、TensorRT-LLM 和 vLLM 的各个方面。在性能方面，SGLang 和 TensorRT-LLM 都非常出色。在可用性和可定制性方面，SGLang 的轻量级和模块化内核使其易于定制，而 TensorRT-LLM 复杂的 C++ 技术栈和设置说明使其更难使用和修改。SGLang 的源代码完全开源，而 TensorRT-LLM 仅部分开源。相比之下，vLLM 的 CPU 调度开销较高。

研究者还表示，未来他们还将开发长上下文和 MoE 优化等新功能。

使用方法

你可以按照以下步骤轻松服务 Llama 模型：

1、使用 pip、源代码或 Docker 安装 SGLang：https://github.com/sgl-project/sglang/tree/main?tab=readme-ov-file#install

2、启动服务器：

# Llama 8Bpython -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-8B-Instruct# Llama 405Bpython -m sglang.launch_server --model-path meta-llama/Meta-Llama-3.1-405B-Instruct-FP8 --tp 8

3、使用 OpenAI 兼容的 API 发送请求：

curl http://localhost:30000/v1/completions \-H "Content-Type: application/json" \-d '{"model": "default","prompt": "Say this is a test","max_tokens": 7,"temperature": 0  }'

4、运行基准：

python3 -m sglang.bench_serving --backend sglang --num-prompts 1000

附录：详细的基准设置

重现基准的说明位于 sglang/benchmark/blog_v0_2。

对于所有基准测试，研究者都设置了 ignore_eos 或 min_length/end_id 以确保每个引擎输出相同数量的 token。他们曾尝试使用 vLLM 0.5.3.post1，但它在高负载情况下经常崩溃，与部分基准测试中的 vLLM 0.5.2 相比，vLLM 0.5.3.post1 性能似乎差不多甚至更差。因此，他们报告的是 vLLM 0.5.2 的结果。虽然他们知道不同的服务器配置会对服务性能产生重大影响，但他们主要使用每个引擎的默认参数来模拟普通用户的情况。

对于 8B 和 70B 模型，他们使用 meta-llama/Meta-Llama-3-8B-Instruct 和 meta-llama/Meta-Llama-3-70B-Instruct bf16 检查点，以及 neuralmagic/Meta-Llama-3-70B-Instruct-FP8 fp8 检查点。对于 405B 模型，他们在所有基准测试中都使用了虚拟权重。由于 TensorRT-LLM 最新图像 r24.06 不支持官方 meta-llama/Meta-Llama-3.1-405B-FP8 检查点中的 fbgemm_fp8 量化，他们在所有框架中都使用了每层 fp8 量化，并对除 lm_head 以外的所有层进行了量化。他们相信这样可以对所有引擎进行公平的比较。A100 和 H100 GPU 为 80GB SXM 版本。

^{参考链接：https://lmsys.org/blog/2024-07-25-sglang-llama3/}

本站声明：本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系bd@zhengruan.com

作者最新文章

国行Apple智能开放前要确认什么？设备、系统与功能范围 2026-11-05 16:15

Fences桌面激活教程：输入许可证密钥与验证步骤详解 2026-11-01 12:25

RTX 5070双风扇设计，小机箱也能装 2026-10-27 11:05

漫蛙漫画app下载安装最新版本 2026-10-13 13:19

漫蛙漫画官网入口链接 2026-10-13 13:19

业界资讯

上一篇： 2K 180Hz + FastIPS：科睿 27 英寸显示器 X71Q 京东 819 元限时新低

下一篇：盛色“G41”24.5 英寸显示器 8 月 27 日开售：1080P 320Hz，979 元

相关文章更多

一年损耗4.6亿吨、1.88万亿打水漂！县域经济，别再“卖特产”了

前瞻研判：未来十年，县域特色化经济的竞争，不再是资源的竞争，而是市场信任的竞争。谁能为消费者提供最确定的价值承诺，谁就能赢得市场。 2026年全国两会刚刚落幕，“十五五”规划进入开局之年。今年的政府工作报告中，“扎实推进乡村全面振兴”被摆在突出位置，明确提出要“壮大县域富民产业，做好土特产文章”。这

2026-04-26 5 小确幸

南昌光电产业集群将重磅亮相ISLE 2026

2026 ISLE展前瞻：南昌光电产业集群即将重磅亮相明年三月，深圳国际会展中心将迎来一场行业盛事。2026年3月5日至7日，ISLE国际智慧显示及系统集成展将在这里拉开帷幕。而这一次，聚光灯将格外聚焦于一个区域——南昌光电产业集群。他们将以“光耀南昌，智链全球”为主题，携一支实力雄厚的“集团军”

2026-04-26 6 归人云淡风轻

LED micro

天龙三号全球首次海上动力系统试车成功，商业航天竞速“大运力”更需安全“压舱石”

天龙三号海上试车成功：看中国商业航天如何将“安全”铸为核心竞争力 9月15日，山东海阳东方航天港，巨大的轰鸣声撕裂长空，炽热的白色蒸汽升腾而起。北京天兵科技自主研制的天龙三号大型液体运载火箭，在这里的海上平台成功完成了一级动力系统试车。这次试车可不简单——它是世界首次海上动力系统试车试验。结果让人

2026-04-26 2 OpenWorld

通用技术集团发布四大战略行动计划，形成全维发展布局

3月18日，通用技术集团机床产业生态合作伙伴大会在北京国家会议中心举行春日的北京，一场关乎中国工业未来的盛会拉开帷幕。通用技术集团机床产业生态合作伙伴大会在国家会议中心举行，近500位产业链上下游的企业代表与行业专家齐聚一堂。会上，通用技术集团总工程师、机床公司董事长周舟发布了集团机床产业的未来发

2026-04-26 8 WeekendFlower

技术生态

华为鸿蒙电脑亮相，重构产业新格局

华为鸿蒙电脑技术与生态沟通会隆重举行，首款鸿蒙电脑惊艳登场，这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步，为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功，而是华为经过五年精心策划的结果。在此期间，华为汇聚了超过10000名顶尖工程师，与20多家专业研究所紧密合作，投入大量的精力与资源进行技术研发，最终积累了超过2700项核心专利，彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核，从操作系统底层开始重构，旨在为用户提供全面升级的办公体验

2025-10-11 4 小月亮

华为 AI 鸿蒙亮相

ACL 2024 | 提升大模型持续学习性能，哈工大、度小满提出共享注意力框架SAPT

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心2021级直博生，导师为赵妍妍教授和秦兵教授。主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在ACL、AAAI、IJCAI、CO

2025-07-27 4 WarmHope

人类模仿AI新赛道，AI：论疯癫，你是我爹

机器之能报道编辑：杨文AI被人类带坏！这个世界，太癫了……最近，社交媒体上冒出来一堆搞怪视频，打着AI的旗号，真人cosAI，甚至抖音还专门出了个热门话题——人类模仿AI大赛。（视频来自抖音博主「关妮乱石」）视频链接：https://mp.weixin.qq.com/s/1DVc8skecSsO0a9QcklZlw套路都一个样儿：左边一张旧照片，右边打着「AI修复」的字幕，实际由真人演绎着脑干缺失的狗血「剧情」。-1-AI：第一次被人冒充，没想到比我还抽

2025-07-08 23 EasyWind

AI 视频生成

首届AI奥数竞赛方案公布：4支获奖队伍，竟都选择国产模型DeepSeekMath

获胜的AI数学奥林匹克模型出炉！几天前，随着榜单的公布，大家对全球首届AI数学奥林匹克竞赛（AIMO）进步奖的讨论量居高不下。这次比赛共有5个团队胜出，获得第一名的是Numina的团队，CMU_MATH位列第二，afterexams暂居第三，codeinter、Conor#2团队分别拿到第四、第五的成绩。图源：https://www.kaggle.com/c/ai-mathematical-olympiad-prize/leaderboard这一成绩，曾让陶哲轩感到惊讶。当时官方只公布了获奖名单，并未透漏

2025-07-04 7 水悠悠予安

2024年WAIC·云帆奖启航：擎启AGI时代，集结超越边界的探索者

2024年WAIC・云帆奖面向全球征选AI青年技术人才，欢迎点击「此链接」报名或提名。人工智能的研究范式和产业格局正在经历深刻而积极的转变。过去一年，大模型引发了一股席卷全球的智能浪潮，这不仅推动了AI技术在更广泛领域的应用，也激发了人类对人工智能深层次潜力的追寻和探索。在这场技术革新的洪流中，通用人工智能（AGI）正逐渐从幻想走进现实。我们正处于一个新征程的起点，这个阶段将以人类对通用智能的不懈追求为特征。迎接即将到来的新时代，让我们将目光投向那些充满激情、勇于探索的青年创新者。他们凭借卓越的智慧和无畏

2025-06-27 3 RainLight

LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文的主要作者为黄毅翀。黄毅翀是哈尔滨工业大学社会计算与信息检索研究中心博士生，鹏城实验室实习生，师从秦兵教授和冯骁骋教授。研究方向包括大语言模型集成学习、多语言大模型，相关论文发表于自

2025-06-18 7 暮色微凉

热门文章更多

Photoshop蒙版换证件照背景颜色怎么改？实用操作步骤详解 AutoCAD绘制机械零件三维实体详细教程 AE教程书籍挑选指南：零基础、动效与合成方向实战标准 Photoshop图层合并快捷键是什么？合并盖印及分开图层方法 Photoshop日系调色教程：小清新风格参数与思路

精品专题更多

装机必备

正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。

PDF教程

正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法，同时介绍常用PDF软件和工具的使用技巧。

Mac软件更多