当前位置:

首页 > 编程开发 > llama.cpp b12329预构建上线:CUDA优化NVFP4预填充,修正跨分片预取

llama.cpp b12329预构建上线:CUDA优化NVFP4预填充,修正跨分片预取

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

llama.cpp b12328与b12329预发布构建陆续上线,涉及跨分片预取顺序、MoE缓存条件及CUDA NVFP4缩放融合。b12330至b12332本轮仍只确认源码阶段;本文说明各后端影响与发布状态,不将内核变化扩大成全模型统一加速。

本文目录

    llama.cpp今日上线b12328和b12329预构建,修正跨分片预取依赖,限制不适合的MoE缓存,并优化CUDA中NVFP4权重缩放融合。另有ARM NEON、Intel Vulkan预填充和SpacemiT RVV源码更新,尚未确认对应Release。需按硬件和量化路径验收,不能宣称普遍加速。

    公告时间:2026年11月13日 06:22:59(北京时间)。本文记录截至2026年11月13日07:21(北京时间)的官方信息。

    b12328为什么调整跨分片预取

    官方说明预取应只读取更早分片已经计算的输入。分片的复制回调可能向后续分片需要的张量写入内容,过早预取会读到写入前的数据。版本还在设备不能执行缓存所需mul_mat_id时跳过MoE缓存,避免在另一后端计算时反复复制整块缓存。

    b12329对CUDA NVFP4做了什么

    该预构建关联将NVFP4权重缩放融合进MMQ写回路径的优化,用于相应检查点的预填充计算,并加入融合测试。它针对具体CUDA量化计算路径,不是所有CUDA模型或全部量化格式都获得相同收益。公告没有给出可推广到所有硬件的统一吞吐率增幅。

    llama.cpp b12329预构建上线:CUDA优化NVFP4预填充,修正跨分片预取官方页面截图
    官方原始页面,采集于2026年11月13日。

    依据:官方原文;b12328发布说明;b12331源码

    哪些后续变化本轮还在源码阶段

    b12330涉及ARM NEON使用4×4 simd_gemm tile;b12331涉及Intel Vulkan预填充Flash Attention路径、准确性修复和本地共享内存限制;b12332将GATED_DELTA_NET路由到SpacemiT RVV内核。对应Release接口本轮均未确认,不能把这些源码标签写成安装包已发布。

    llama.cpp b12329预构建上线:CUDA优化NVFP4预填充,修正跨分片预取官方页面截图
    官方原始页面,采集于2026年11月13日。

    这两份预构建的时间怎样区分

    b12328实际Release于北京时间11月13日05:20:31出现,晚于上一轮05:18截止,因此在本轮新增交付。b12329于06:22:59发布,两者均为预发布。源码提交时间与资产发布时间不同,本篇按真实生命周期阶段记录,而不是用补截图时间重置新闻。

    llama.cpp b12329预构建上线:CUDA优化NVFP4预填充,修正跨分片预取官方页面截图
    官方原始页面,采集于2026年11月13日。

    升级后怎样核对性能与正确性

    保存构建号、资产、硬件后端、量化类型和运行参数,再用相同代表性任务比较输出正确性、内存与吞吐。尤其应确认是否实际走到NVFP4、MoE或相关后端路径,避免将其他因素带来的差异归因给本次内核。本文没有运行GPU基准或替用户部署服务。

    依据:官方原文;b12328发布说明;b12331源码

    llama.cpp b12329预构建上线常见问题解答

    b12331的Intel Vulkan安装包可下载了吗?

    本轮仅确认源码阶段,未取得相应Release对象。

    b12329能让所有模型更快吗?

    不能,相关优化有CUDA和NVFP4等具体路径条件。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 AI
    相关文章 更多
    Codex 0.170.0-alpha.4预发布包上线:0.168.0仍只确认标签
    Codex 0.170.0-alpha.4预发布包上线:0.168.0仍只确认标签

    Codex 0.170.0-alpha.4已出现官方GitHub预发布Release及下载资产,从此前源码标签进入分发阶段。0.168.0本轮仅确认标签,Release接口未返回对应对象;本篇区分版本阶段、下载核对和仍未公布的功能详情。

    GitHub Copilot CLI 1.0.110:新增实验性密码遮罩对话,保留异常MCP配置
    GitHub Copilot CLI 1.0.110:新增实验性密码遮罩对话,保留异常MCP配置

    GitHub Copilot CLI 1.0.110新增实验性遮罩对话,可回应智能体命令中的git、ssh和sudo密码提示,并修复MCP配置保留、会话额度和终端交互。遮罩不等于改变目标命令权限;本篇说明实验开关、配置保护与升级验收边界。

    GitHub Actions将于12月8日结束ARM32托管作业支持:Windows与Linux需提前检查
    GitHub Actions将于12月8日结束ARM32托管作业支持:Windows与Linux需提前检查

    GitHub公告Windows与Linux托管运行器将于2026年12月8日结束ARM32作业执行支持,包含原生AArch32用户空间执行。原因与Node 20支持结束及Node 24不支持ARM32有关;本篇说明受影响范围、迁移检查与尚未说明的截止时刻。

    Claude Code 2.1.323:新增实验性Code Mode,修复后台身份与权限检查
    Claude Code 2.1.323:新增实验性Code Mode,修复后台身份与权限检查

    Claude Code 2.1.323加入需主动启用的实验性Code Mode,让Claude通过JavaScript调用工具,同时更新插件兼容范围与校验。版本还修复后台身份切换、Bash权限和沙箱等问题;本篇说明功能边界、升级检查及Claude Desktop打包条件。

    GitHub邮件事件已解决:平台处理恢复,上游邮箱延迟仍需区分
    GitHub邮件事件已解决:平台处理恢复,上游邮箱延迟仍需区分

    GitHub已于2026年11月13日05:43:56北京时间关闭邮件投递事件,确认其系统内邮件处理影响消除。紧邻进展仍提示受影响上游邮箱供应商可能延迟;本篇区分平台恢复、收件状态和登录验证流程,避免把事件关闭等同每封邮件送达。

    Claude连接器故障进展:官方确认Microsoft 365服务事件为原因
    Claude连接器故障进展:官方确认Microsoft 365服务事件为原因

    Anthropic进一步确认,Claude Microsoft 365连接器异常源于Microsoft 365服务事件。截至2026年11月13日07:21北京时间,邮件、日历与搜索多数请求仍失败,Outlook插件仍受影响;本篇说明新增归因、状态入口和业务核对边界。

    Amazon Bedrock四项请求级成本选择:缓存时长、服务层级、思考力度与输出上限
    Amazon Bedrock四项请求级成本选择:缓存时长、服务层级、思考力度与输出上限

    AWS新指南说明Bedrock缓存时长、服务层级、思考力度与maxTokens会怎样改变推理成本。每项均受模型和任务条件限制,应逐项比较费用、延迟与任务通过率;输出上限也可能截断正常回答,不能保证降Token而质量不变。

    Amazon Bedrock成本按人归属:AWS公布CUR 2.0与Budgets原生治理方案
    Amazon Bedrock成本按人归属:AWS公布CUR 2.0与Budgets原生治理方案

    AWS发布按IAM主体归属Amazon Bedrock成本的原生方案,结合成本分配标签、CUR 2.0和AWS Budgets动作。预算数据每天最多刷新三次,不能视为实时硬封顶;本文说明独立角色、共享网关、标签延迟和预算执行的适用边界。

    LiteLLM 1.108.7 LTS:收紧Responses参数桥接,修复MCP续轮与Gemini计费
    LiteLLM 1.108.7 LTS:收紧Responses参数桥接,修复MCP续轮与Gemini计费

    LiteLLM 1.108.7 LTS对桥接到Chat Completions的Responses专属字段返回400,除非启用drop_params或停止发送这些字段;同时修复流式MCP续轮、事件序号与Gemini计费,并增加Bedrock知识库图像检索及Gemini批处理支持。

    llama.cpp b12327预构建上线:新增SpacemiT Q4_1内核,b12323进入下载阶段
    llama.cpp b12327预构建上线:新增SpacemiT Q4_1内核,b12323进入下载阶段

    llama.cpp b12327预发布构建加入SpacemiT Q4_1内核,b12323也从源码标签推进为可下载Release。b12324源码另调整工具运行时参数优先级;本文分别说明硬件后端、分发阶段、配置影响和升级验证,避免扩写为全平台性能提升。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?