当前位置:

首页 > 编程开发 > llama.cpp b12432测试构建改善了哪些KV缓存管理行为?

llama.cpp b12432测试构建改善了哪些KV缓存管理行为?

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

llama.cpp b12432预发布构建利用位置索引减少KV序列删除扫描;解释官方函数微基准、删除边界测试及生产评估限制。

本文目录

    llama.cpp b12432的预发布优化针对KV缓存序列删除:不再为每次删除逐一检查全部分配单元,而是使用已有的位置索引。改变的是这段缓存管理工作的代价,不能直接解释为所有模型的生成速度都会按相同比例提高。

    llama.cpp本地模型推理软件

    为什么删除少量位置也可能扫描整个缓存

    KV缓存保存推理过程中使用的键和值。官方合并请求#32380指出,原有seq_rm通过检查缓存里的每个单元来定位某条序列对应的单元。分配的缓存越大,即使只回滚少量位置,也要承担检查大量单元的开销。

    这里应区分分配容量与已经使用的内容。官方基准中的cells表示分配的缓存容量,对应-c参数;used表示对话中已经使用的token数量。两者不是同一个指标,不能把缓存容量直接当成当前对话长度。

    llama.cpp b12432如何缩小查找范围

    这次实现复用了已有的位置索引。索引按位置排序,新的删除函数从p0对应的下界开始,只遍历到p1之前,而不是从第一个缓存单元逐一检查到最后一个。范围采用[p0, p1),也就是包含起点、不包含终点。

    代码仍按序列删除相应关联,并返回成为空单元的最低索引。缓存层据此调整后续寻找可用位置的起点。因此,这不是把全部KV缓存清空,也不是更换模型或扩大上下文上限,而是保持删除语义的同时减少查找工作。

    llama.cpp b12432预发布说明中的KV单元扫描优化

    官方微基准能说明什么

    合并请求作者在Ryzen 7 5800X上进行了单核固定的微基准:使用-O2编译,对一条序列最后4个位置做一次回滚,取2000次运行的中位数。下列数字来自官方合并请求列出的函数微基准,属于该环境下的局部测量结果。

    分配单元cells已用token原master,微秒该修改,微秒
    327682457622.770.70
    13107298304116.731.02
    16358498304145.080.88
    2621448192233.080.60

    这些结果支持“大容量缓存中少量位置回滚的函数开销下降”这一判断。它们没有测量完整请求的首token延迟、每秒生成token数或GPU吞吐,也没有给出各种硬件和模型的统一性能结论。尤其不能将函数微秒数的比值直接当成整个推理服务的加速倍数。

    删除行为是否仍保留原有边界

    本次变更同时增加缓存测试,覆盖删除一条序列尾部时保留另一条序列、p1不包含在删除范围、重复位置的所有对应单元被删除,以及释放位置按单元索引重新使用等情况。对于多个序列共享的单元,移除其中一个序列的关联不会把另一个序列仍需的关联一并清掉。

    这些是官方新增代码与测试所覆盖的边界,不能外推为所有后端的验证结论。b12432的发布页仍标记Pre-release;对生产环境而言,它首先是可评估的测试构建,不能据此作稳定性承诺。

    哪些使用场景更值得关注

    分配较大KV缓存、且经常进行少量位置回滚的推理流程,更贴近这份微基准讨论的问题。若一次请求的大部分时间用于模型计算,减少缓存管理开销对总耗时的影响仍取决于实际负载。此次说明没有要求所有CPU、CUDA、HIP或其他后端用户立即更换环境,也没有披露安全风险或强制迁移期限。

    理解llama.cpp b12432时,重点是“从扫描全部分配单元转向按序列位置范围查找”。它改善了一条明确的内部路径;模型、硬件、上下文大小与应用请求特征,仍然决定用户最终能观察到什么变化。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 AI
    相关文章 更多
    browser-use 1.0.6默认模型费用为何变化,如何保留原配置
    browser-use 1.0.6默认模型费用为何变化,如何保留原配置

    browser-use 1.0.6更换未传llm时的默认模型和推理档位;显式选择bu-fast并按任务读取真实用量费用。

    Claude Sonnet 5.5与Claude Fable 5.2错误恢复后,四类产品影响范围怎么看
    Claude Sonnet 5.5与Claude Fable 5.2错误恢复后,四类产品影响范围怎么看

    Claude Sonnet 5.5与Claude Fable 5.2错误升高事故的恢复覆盖claude.ai、Claude API、Claude Code和Claude Cowork,影响窗口为2026年11月16日北京时间15:32至16:45。这份恢复结论针对事故r1b4f9bbnsx1,不表示每位用户都曾中断,也不表示其他独立事故全部恢复。

    Nod 0.8.0怎样按工作类型分配模型并理解生效边界
    Nod 0.8.0怎样按工作类型分配模型并理解生效边界

    Nod 0.8.0细分对话、计划、自主工作和单个任务的模型选择;解释下一轮生效、成本估计与Linux Flatpak预览版限制。

    n8n 1.123.97相对1.123.96改了什么,依赖版本如何判断
    n8n 1.123.97相对1.123.96改了什么,依赖版本如何判断

    n8n 1.123.97更新1.x分支的undici、multer、follow-redirects等依赖;说明扫描发现口径、版本比较及适用分支,避免误作2.x降级目标。

    Ducter 0.0.57怎样整理手头任务,项目与设备识别有何变化
    Ducter 0.0.57怎样整理手头任务,项目与设备识别有何变化

    Ducter 0.0.57按仓库或文件夹自动组织项目,区分四项任务状态并说明等待条件与复查时间,同时统一页头和设备识别。

    llama.cpp b12431代码标签如何判断推理级别是否被模板拒绝
    llama.cpp b12431代码标签如何判断推理级别是否被模板拒绝

    llama.cpp b12431通过保存聊天模板明确拒绝的推理级别,让对应请求以400和支持级别提示返回。它修正的是reasoning_effort错误分类:此前三类兼容端点可能把模板拒绝反映为500,不能据此将所有推理失败都归入同一原因。

    llama.cpp b12430预发布的HIP修复与多平台构建有什么区别?
    llama.cpp b12430预发布的HIP修复与多平台构建有什么区别?

    llama.cpp b12430为预发布构建,修复HIP后端MoE回归;区分GFX906上的两种性能对比基准、dense对照与多平台附件适用边界。

    Plannotator v0.28.66管理Inbox线程时为何要区分合并与归档?
    Plannotator v0.28.66管理Inbox线程时为何要区分合并与归档?

    Plannotator v0.28.66支持Inbox多选整理,Combine在新线程到达后才归档原线程;说明Tidy、标签筛选、文件附件、跨机器等待及默认关闭的Routines边界。

    llama.cpp b12429代码标签如何理解Ripple DFlash2的NoPE转换修正
    llama.cpp b12429代码标签如何理解Ripple DFlash2的NoPE转换修正

    理解llama.cpp b12429代码标签,需要先区分NoPE层索引名单和逐层位置标记。这个标签针对Ripple DFlash2调整conversion/base.py,让转换器按数据表示写入rope_pattern;影响限定在对应转换元数据,不能据此推断所有模型速度或质量提升。

    Ducter 0.0.56继续手机任务时工具怎样恢复,回复语言为何不再错位
    Ducter 0.0.56继续手机任务时工具怎样恢复,回复语言为何不再错位

    Ducter 0.0.56修复已结束手机任务续跑时的工具缺失,并避免点击其他Agent请求卡片后回复语言错位。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?