当前位置:

首页 > llama.cpp b12477 的 K/V 分块读取优化适用于哪些 CUDA 内核?

llama.cpp b12477 的 K/V 分块读取优化适用于哪些 CUDA 内核?

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

llama.cpp b12477 对多阶段 CUDA FP16 MMA Flash Attention 轮转 K/V 分块的读取顺序,目的是提高缓存重用。改动未扩展到单阶段内核。

本文目录

    llama.cpp b12477 对多阶段 CUDA FP16 MMA Flash Attention 轮转 K/V 分块的读取顺序,目的是提高缓存重用。改动未扩展到单阶段内核。

    llama.cpp 封面

    改变的是哪一段读取逻辑

    使用 stream-K 时,共享同一 K/V 缓存的 CUDA 线程块可以同时读取不同的分块,从而减少二级缓存的复用机会。b12477 的实现为多阶段 FP16 MMA Flash Attention 调整分块读取顺序,使不同线程块更容易重用现有缓存。

    llama.cpp b12477 的 CUDA 分块读取补丁和硬件基准说明

    哪些内核不在这次改动范围内

    维护者在单阶段内核中观察到退化,因此未把轮转策略用于单阶段。发布提供了不同平台的构建,但该优化针对 CUDA 的特定注意力计算路径。仅凭是否用了 b12477 无法推导出 CPU、其他 GPU 后端或所有 CUDA 调用都会获益。

    如何解读维护者的长上下文基准

    维护者在 GeForce RTX 5090 和 Qwen3.8-27B-UD-Q4_K_M.gguf 上给出预填充对照。表中 131072 和 65536 的深度下提升明显,多个较短深度的成绩近似持平。表中数值属于这套 GPU、模型及预填充条件,不代表其他模型或生成阶段的统一加速比。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    AI
    相关文章 更多
    LiteLLM v1.108.10 怎样处理异步文件请求和 Vertex AI Claude 输出上限?
    LiteLLM v1.108.10 怎样处理异步文件请求和 Vertex AI Claude 输出上限?

    LiteLLM v1.108.10 将用户消息中的 PDF 下载移至异步路径,也修复了部分兼容接口的文件请求出错和 Vertex AI Claude 的默认输出上限。

    Ducter v0.0.71 与 v0.0.72 怎样区分手机授权和外部待办?
    Ducter v0.0.71 与 v0.0.72 怎样区分手机授权和外部待办?

    Ducter v0.0.71 和 v0.0.72 分别处理手机借用和外部待办。停止手机借用后,任务内的用户消息可让代理再次提出请求。外部待办由用户选定后才会创建任务。

    LiteLLM CVE-2026-40217 实际利用披露后,哪些版本应升级到 1.83.11?
    LiteLLM CVE-2026-40217 实际利用披露后,哪些版本应升级到 1.83.11?

    仍在运行 LiteLLM 1.81.8 起至 1.83.10 之前版本的团队,应优先核对安全公告。结构化字段把 1.83.10 标为修复,公告正文建议升到 1.83.11 或更高,已部署 1.83.10 的团队也应核对这个差异。

    Codex 0.171.0-alpha.12 的自定义状态栏在哪些模式下能创建?
    Codex 0.171.0-alpha.12 的自定义状态栏在哪些模式下能创建?

    Codex 0.171.0-alpha.12 是 Alpha 预发布版。入口的显示取决于扩展开关和当前是否使用云端模式。

    Theme Detector 修正了哪类 FINVIZ Elite 市值数据?
    Theme Detector 修正了哪类 FINVIZ Elite 市值数据?

    Theme Detector 这次主要修正 FINVIZ Elite 导出中的纯数字市值。Claude Trading Skills 的公共数据和其他市值来源沿用此前的解析路径。

    Claude Trading Skills 的 VCP 筛选如何区分数据缺失和未检出形态?
    Claude Trading Skills 的 VCP 筛选如何区分数据缺失和未检出形态?

    Claude Trading Skills 的 VCP Screener 价格缺口修复已合并,安装包未单独标版本。无效价格窗口退出排名,历史扫描报错并停止生成报告。

    llama.cpp b12474 将 Qwen3-Next 权重缩放应用在哪一层?
    llama.cpp b12474 将 Qwen3-Next 权重缩放应用在哪一层?

    llama.cpp b12474 预发布版将 Qwen3-Next 的权重缩放纳入线性注意力的输出投影。该变化位于生成最终注意力结果之后、返回投影输出之前。

    Qwen Code desktop-v0.28.0 如何区分工作区筛选和本地文件桥接?
    Qwen Code desktop-v0.28.0 如何区分工作区筛选和本地文件桥接?

    Qwen Code Desktop v0.28.0 的侧栏工作区筛选用于收窄会话视图,本地文件桥接用于接入桌面环境中的文件。官方桌面发行标签是 desktop-v0.28.0。

    llama.cpp b12475 的 Llama Chat 如何处理缓存与网页更新?
    llama.cpp b12475 的 Llama Chat 如何处理缓存与网页更新?

    llama.cpp b12475 预发布版用 SvelteKit 3 自带的 Service Worker 管理 Llama Chat。应用文件可预缓存,模型 API 请求仍经网络发送。

    Codex 0.171.0-alpha.10 的只读预览能在终端看到什么?
    Codex 0.171.0-alpha.10 的只读预览能在终端看到什么?

    Codex 0.171.0-alpha.10 预发布版增加终端侧栏的只读文档预览。启用工作区后,当前线程中可解析的文件链接能形成预览标签页。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?