llama.cpp b12470 修复了哪些 SYCL Flash Attention 掩码广播错误?
作者:恰好路过半卷清风
时间:2026-11-17
来源:正软商城
浏览:0
Air Explorer Pro
Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。
llama.cpp b12470 预发布构建修复了 SYCL 后端使用 MKL 的 Flash Attention 路径。掩码按注意力头或批次广播时,会避免对较小掩码维度直接越界读取。
本文目录
llama.cpp b12470 预发布构建修复了 SYCL 后端使用 MKL 的 Flash Attention 路径。掩码按注意力头或批次广播时,会避免对较小掩码维度直接越界读取。

什么情况下需要广播复用
一个查询张量可能有多组注意力头或多个批次,掩码只包含其中较少的组。掩码维度大于一而小于查询维度时,旧路径的直接索引会跨出实际掩码长度。

这可能对应哪些异常
维护者描述的复现中,f16 K/V 会发生设备丢失,q8_0 K/V 会得到 NaN。是否属于这次修复,可结合异常与上述广播形状一起判断。
这项修复面向什么范围
llama.cpp b12470 在 GitHub 标为预发布。变更说明定位到 SYCL 后端的 MKL Flash Attention 子路径,其他后端采用各自的实现。
作者最新文章
wps office为什么打不开文件
2026-11-05 22:50
office中文设置不了 语言包安装与切换
2026-11-02 09:46
PS笔刷怎么调成两头尖
2026-10-30 00:16
Wallpaper Engine安卓版下载与电脑配对教程
2026-10-27 16:00
白橡日记功能设置在哪里打开及操作教程
2026-10-27 11:38
热门文章
更多
精品专题
更多
Mac软件
更多
火山引擎 网页版
Windows/ macOS/ Linux
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。












