llama.cpp b12329预构建上线:CUDA优化NVFP4预填充,修正跨分片预取
Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。
llama.cpp b12328与b12329预发布构建陆续上线,涉及跨分片预取顺序、MoE缓存条件及CUDA NVFP4缩放融合。b12330至b12332本轮仍只确认源码阶段;本文说明各后端影响与发布状态,不将内核变化扩大成全模型统一加速。
llama.cpp今日上线b12328和b12329预构建,修正跨分片预取依赖,限制不适合的MoE缓存,并优化CUDA中NVFP4权重缩放融合。另有ARM NEON、Intel Vulkan预填充和SpacemiT RVV源码更新,尚未确认对应Release。需按硬件和量化路径验收,不能宣称普遍加速。
公告时间:2026年11月13日 06:22:59(北京时间)。本文记录截至2026年11月13日07:21(北京时间)的官方信息。
b12328为什么调整跨分片预取
官方说明预取应只读取更早分片已经计算的输入。分片的复制回调可能向后续分片需要的张量写入内容,过早预取会读到写入前的数据。版本还在设备不能执行缓存所需mul_mat_id时跳过MoE缓存,避免在另一后端计算时反复复制整块缓存。
b12329对CUDA NVFP4做了什么
该预构建关联将NVFP4权重缩放融合进MMQ写回路径的优化,用于相应检查点的预填充计算,并加入融合测试。它针对具体CUDA量化计算路径,不是所有CUDA模型或全部量化格式都获得相同收益。公告没有给出可推广到所有硬件的统一吞吐率增幅。

哪些后续变化本轮还在源码阶段
b12330涉及ARM NEON使用4×4 simd_gemm tile;b12331涉及Intel Vulkan预填充Flash Attention路径、准确性修复和本地共享内存限制;b12332将GATED_DELTA_NET路由到SpacemiT RVV内核。对应Release接口本轮均未确认,不能把这些源码标签写成安装包已发布。

这两份预构建的时间怎样区分
b12328实际Release于北京时间11月13日05:20:31出现,晚于上一轮05:18截止,因此在本轮新增交付。b12329于06:22:59发布,两者均为预发布。源码提交时间与资产发布时间不同,本篇按真实生命周期阶段记录,而不是用补截图时间重置新闻。

升级后怎样核对性能与正确性
保存构建号、资产、硬件后端、量化类型和运行参数,再用相同代表性任务比较输出正确性、内存与吞吐。尤其应确认是否实际走到NVFP4、MoE或相关后端路径,避免将其他因素带来的差异归因给本次内核。本文没有运行GPU基准或替用户部署服务。
llama.cpp b12329预构建上线常见问题解答
b12331的Intel Vulkan安装包可下载了吗?
本轮仅确认源码阶段,未取得相应Release对象。
b12329能让所有模型更快吗?
不能,相关优化有CUDA和NVFP4等具体路径条件。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。













