当前位置:

首页 > 编程开发 > vLLM 0.34.0rc2 源码标签:调整可扩展 KV Cache 测试内存参数

vLLM 0.34.0rc2 源码标签:调整可扩展 KV Cache 测试内存参数

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

vLLM出现0.34.0rc2候选源码标签,关联提交移除多处可扩展KV Cache测试和基准中的固定gpu_memory_utilization设置,并调整相关文档。当前核验的是标签与代码提交,不能将其当作正式版安装包或全局显存默认值变更。

本文目录

    vLLM出现0.34.0rc2候选源码标签,关联提交移除多处可扩展KV Cache测试和基准中的固定gpu_memory_utilization设置,并调整相关文档。当前核验的是标签与代码提交,不能将其当作正式版安装包或全局显存默认值变更。

    标签关联提交时间:2026年11月12日 14:21:02(北京时间)。官方未单独说明安装包公告时刻;本条以源码实质进展为范围。

    来源:官方版本记录。

    0.34.0rc2 当前确认的发布进展

    vLLM仓库出现v0.34.0rc2候选源码标签,所指提交时间为2026年11月12日14:21:02(北京时间),关联PR #67071。提交标题明确范围为文档与测试,处理大部分可扩展KV Cache场景中显式设置gpu_memory_utilization的问题。本轮没有取得同名GitHub正式Release记录,不能据此宣称稳定版已经发布。

    vLLM 0.34.0rc2 源码标签:调整可扩展 KV Cache 测试内存参数官方记录截图
    官方版本记录,采集于2026年11月12日。

    哪些文件和参数发生调整

    代码差异显示,多处Buildkite性能基准、集成测试和benchmark脚本去掉固定内存比例;部分命令行参数默认值改为None,自动调优脚本也将GPU_MEMORY_UTILIZATION作为可选设置。变更覆盖的是相应测试与基准路径,不是一个足以证明所有生产服务全局默认值已改变的依据。

    依据:官方版本记录;关联提交

    对基准维护者的实际影响

    如果团队复制了这些脚本或使用相同CI参数,升级候选源码后应重新核对实际传入的配置。对照结果应记录是否仍显式指定内存比例、KV Cache配置和运行环境。只比较构建号而忽略脚本参数变化,容易把配置差异误判为性能回退或提升。

    普通部署用户应怎样理解RC标签

    rc2表示候选版本阶段。当前官方入口可用于审阅源码和关联提交,但本条没有核验PyPI或其他分发渠道中的同名安装包,因此不提供未经确认的安装命令。生产部署可以继续按已有依赖锁和验证流程安排,不应仅凭新标签修改显存配置。

    本条没有提供哪些结论

    本次代码核验未进行GPU基准、OOM复现或实际模型服务调用。它不能证明某一GPU必定节省多少显存,也不能保证所有模型兼容。新构建的完整发行范围应以之后的正式发布说明和实际分发产物为准。

    依据:官方版本记录;关联提交

    常见问题

    这是0.34.0正式版吗?

    不是,本轮确认的是0.34.0rc2候选源码标签。

    所有服务的内存默认值都变了吗?

    不能从这些测试与基准脚本差异得出该结论。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 AI
    相关文章 更多
    llama.cpp b12318:新增 CUDA 调试缓冲池与 Sanitizer 说明
    llama.cpp b12318:新增 CUDA 调试缓冲池与 Sanitizer 说明

    llama.cpp b12318新增CUDA调试缓冲池,并补充与compute-sanitizer相关的代码说明。它是面向CUDA开发调试路径的预发布构建,不能据此推断普通推理速度、显存占用或所有后端发生同等变化。

    llama.cpp b12307:修复 Metal SOLVE_TRI 内核越界读取
    llama.cpp b12307:修复 Metal SOLVE_TRI 内核越界读取

    llama.cpp b12307修复Metal后端SOLVE_TRI内核的越界读取,属于预发布构建中的特定计算路径补丁。使用Metal后端的开发者应核对是否涉及该算子,并验证模型加载与推理;公告未给出CVE、确认利用或统一性能结论。

    n8n 2.48.2 Beta:修复新草稿中的 Agent 标签页可用性
    n8n 2.48.2 Beta:修复新草稿中的 Agent 标签页可用性

    n8n 2.48.2是预发布版本,修复编辑器中新草稿的Agent标签页可用性,并包含只读凭据节点API约束及边框修复。本条新增关注Beta编辑器路径,稳定版用户无需仅因版本号较高就切换渠道。

    Tug 0.9.2:新增上手帮助,改进会话创建与主题显示
    Tug 0.9.2:新增上手帮助,改进会话创建与主题显示

    Tug 0.9.2新增Getting Started帮助卡,可在会话选择器中创建不存在的目录,并改进拖放输入、会话状态与主题颜色。它是MIT开源的macOS AI编程IDE,仍属beta,需要Apple silicon Mac及macOS 15或更新版本,并依赖包含Claude Code的付费计划。

    Ducter 0.0.38 源码标签:修复 Slack 主动提醒与启动后邮件回看
    Ducter 0.0.38 源码标签:修复 Slack 主动提醒与启动后邮件回看

    Ducter 0.0.38源码标签修复Slack提及和私信进入watcher、启动后账号未就绪导致邮件回看空跑等问题。本轮确认的是源码标签及更新日志,核验时官网安装入口仍指向0.0.37,不能当作0.0.38安装包已上线。

    LangChain TypeSafe 0.1.0:分类器接口迁移,Python 与 JS 依赖要求调整
    LangChain TypeSafe 0.1.0:分类器接口迁移,Python 与 JS 依赖要求调整

    LangChain TypeSafe 0.1.0将TypeSafeClassifier对齐决策模型接口。JavaScript的问题改为随请求传入,响应和usage字段调整,旧中间件入口弃用;Python版最低Python 3.11、langchain-core 1.8.0,跨语言依赖要求需要分别核对。

    GitHub Copilot CLI 1.0.110-3:改进 Entra 登录,修复 MCP 配置保存
    GitHub Copilot CLI 1.0.110-3:改进 Entra 登录,修复 MCP 配置保存

    GitHub Copilot CLI 1.0.110-3是预发布补丁,改善Microsoft Entra登录与终端显示,并在MCP配置文件无效时保留原配置、显示保存错误。技能描述中的不可见转义内容不再参与命令匹配,升级需验证相应终端和集成路径。

    LiteLLM 修复分支扩展:1.106.9、1.108.6 与 1.110.0-rc.2 更新
    LiteLLM 修复分支扩展:1.106.9、1.108.6 与 1.110.0-rc.2 更新

    LiteLLM将请求字段与部署配置冲突的修复覆盖到1.106.9、1.108.6及1.110.0-rc.2。维护旧稳定分支或候选分支的团队应选择对应修复版本;1.108.6还包含预算重置、用量细分和其他回移,不能将RC视为稳定版。

    Nod 0.7.1:修复聊天中断,新增 OpenAI API 区域设置
    Nod 0.7.1:修复聊天中断,新增 OpenAI API 区域设置

    Nod 0.7.1 修复因不完整历史回复触发的trim错误,并为OpenAI连接新增API region。已中断任务可回复以继续;已有连接仍保持Global,使用欧盟等区域项目时需要按项目实际区域设置连接。

    OpenAI 图像 API 错误率升高已恢复:涉及 GPT image 2.5 与 2.6
    OpenAI 图像 API 错误率升高已恢复:涉及 GPT image 2.5 与 2.6

    OpenAI已于北京时间11月12日17:25:12确认图像API错误率升高事件解决,事件先涉及GPT image 2.5 Sunburst与Flare,随后扩展到2.6对应变体。开发者应检查失败请求,避免把恢复确认误解为生成结果自动补回或计费政策变化。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?