当前位置:

首页 > 编程开发 > llama.cpp b12433怎样为AMD奇数列保留MUL_MAT_ID回退路径

llama.cpp b12433怎样为AMD奇数列保留MUL_MAT_ID回退路径

Air Explorer Pro
Air Explorer Pro

Air Explorer Pro是一款跨平台多网盘管理工具,可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整,持续下载、批量同步或需要稳定传输流程的场景会更适合它。

立即下载
¥99
Windows/macOS 2026-08-22
正版软件 Windows macOS软件 Pro 文件搜索工具 Pro下载 Pro正版软件 Pro购买

llama.cpp b12433避免AMD设备将奇数src0列送入需要偶数列的MMVF路径:满足偶数条件才保留MMVF,其他形状沿用既有回退。对应改动发生在MUL_MAT_ID处理和相关同步判断中,范围限定于代码说明中的类型与token条件。

本文目录

    llama.cpp b12433避免AMD设备将奇数src0列送入需要偶数列的MMVF路径:满足偶数条件才保留MMVF,其他形状沿用既有回退。对应改动发生在MUL_MAT_ID处理和相关同步判断中,范围限定于代码说明中的类型与token条件。

    llama.cpp官方展示的内置Web界面

    哪些条件组合会触及这项修复

    提交说明限定了设备、操作、输入类型和token数量:AMD设备上的MUL_MAT_ID,src0为F32、F16或BF16,且至多8个token。原逻辑在这一场景使用MMVF,而该路径按两个值一组读取src0,并要求ne[0]为偶数。

    奇数列违反了这一读取前提。代码给出的实际例子是MoE专家权重上的rank 1 LoRA:lora_b的ne[0]等于1,因此会触发断言并中止。这里的rank 1描述LoRA权重的形状,不能被替换成“只要使用MoE或LoRA就必然出错”。

    llama.cpp b12433对应提交为AMD MMVF路径增加偶数列条件的真实代码差异

    偶数条件如何保留已有回退

    ggml/src/ggml-cuda/ggml-cuda.cu中两处判断加入了列数取模条件。一处在同步需求判断中检查src0->ne[0] % 2 == 0,另一处在实际调用MMVF前检查ne00 % 2 == 0。两处都让AMD相关分支只在列数为偶数时成立。

    不满足偶数条件时,代码不再在这里调用MMVF并提前返回,而是让其他形状进入已有回退。这并不是给奇数列补零、改变LoRA rank或重写权重,也不是新建一个宣称更快的内核;改动的关键是让路径选择符合读取条件。

    怎样在已有源码中定位这两类变化

    以下命令适用于已经克隆llama.cpp、且本地对象库包含指定提交的Git环境。在该仓库目录运行,可同时查看实现文件和回归测试的该次提交差异;命令只读取源码,不构建GPU后端,也不下载模型或运行推理。

    git show f477c1b90adb1f27e80276c0ebeed4d04812e605 -- ggml/src/ggml-cuda/ggml-cuda.cu tests/test-backend-ops.cpp

    预期能看到实现文件增加偶数列检查,以及tests/test-backend-ops.cpp增加奇数k、少量token的MUL_MAT_ID测试用例。本地缺少该提交时,Git可能提示无法解析对象;这表示源码对象尚不齐全,不能据此认定修复逻辑或GPU运行结果异常。

    新增测试覆盖什么,不能推出什么

    测试差异注释明确提到少量token下的奇数k,例如专家权重rank 1 LoRA的lora_b。新增用例遍历n为1和2,并为MUL_MAT_ID构造相应输入。它为这类形状增加回归覆盖,和“所有模型、所有LoRA组合都已测试”是不同结论。

    代码和测试中没有提供可引用的通用吞吐、延迟或显存收益数据。新增回归用例也不能替代具体AMD设备的运行结果;避免特定中止不等于全部GPU提速,已有fallback也不代表任何配置都必然更快。

    代码修复身份与发行包状态怎样区分

    这里讨论的是b12433对应的不可变提交f477c1b90adb1f27e80276c0ebeed4d04812e605及上述代码变化。代码提交、公开条目更新时间和预编译发行包是不同证据,不能把某个更新时间直接当作首次公开时刻,也不能据此判断所有平台包的可用状态。

    需要评估这项修复时,应保留AMD、MUL_MAT_ID、输入类型、token数量和奇数列这组条件。相邻构建的其他功能与这项修复并不是同一个事件,不能把其他版本的功能、测试或性能数据拼到b12433名下。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发 AI
    相关文章 更多
    Ducter 0.0.58如何区分下一步消息、完成后消息与后台会话
    Ducter 0.0.58如何区分下一步消息、完成后消息与后台会话

    Ducter 0.0.58调整任务阅读、执行中消息和后台会话,区分下一步发送与做完再说,并说明tailnet HTTPS辅助的条件。

    Unlimited OCR 2在TextMind能否直接使用,账号权限与模型示例如何区分
    Unlimited OCR 2在TextMind能否直接使用,账号权限与模型示例如何区分

    Unlimited OCR 2官方确认百度智能云TextMind渠道;区分云端入口、账号权限配额与本地模型部署,避免混淆接口和计费条件。

    Apple Health AI Study App 1.0的报名条件与隐私规则怎么看?
    Apple Health AI Study App 1.0的报名条件与隐私规则怎么看?

    Apple Health AI Study App 1.0的重点是健康AI使用研究:合格用户可以选择参加、提问和提供反馈,也可以决定是否分享特定HealthKit数据及问卷回应。参与范围有地区、年龄、设备和系统限制,应用的回答不能替代医生诊疗。

    Tug 0.9.3怎样理解会话分享与项目目录访问范围?
    Tug 0.9.3怎样理解会话分享与项目目录访问范围?

    Tug 0.9.3支持按轮次分享会话,并允许会话即时访问额外项目目录。需要同时注意两条边界:导出的内容包含多少工具细节,以及正在运行的AI会话能够接触哪些文件。

    browser-use 1.0.6默认模型费用为何变化,如何保留原配置
    browser-use 1.0.6默认模型费用为何变化,如何保留原配置

    browser-use 1.0.6更换未传llm时的默认模型和推理档位;显式选择bu-fast并按任务读取真实用量费用。

    Claude Sonnet 5.5与Claude Fable 5.2错误恢复后,四类产品影响范围怎么看
    Claude Sonnet 5.5与Claude Fable 5.2错误恢复后,四类产品影响范围怎么看

    Claude Sonnet 5.5与Claude Fable 5.2错误升高事故的恢复覆盖claude.ai、Claude API、Claude Code和Claude Cowork,影响窗口为2026年11月16日北京时间15:32至16:45。这份恢复结论针对事故r1b4f9bbnsx1,不表示每位用户都曾中断,也不表示其他独立事故全部恢复。

    llama.cpp b12432测试构建改善了哪些KV缓存管理行为?
    llama.cpp b12432测试构建改善了哪些KV缓存管理行为?

    llama.cpp b12432预发布构建利用位置索引减少KV序列删除扫描;解释官方函数微基准、删除边界测试及生产评估限制。

    Nod 0.8.0怎样按工作类型分配模型并理解生效边界
    Nod 0.8.0怎样按工作类型分配模型并理解生效边界

    Nod 0.8.0细分对话、计划、自主工作和单个任务的模型选择;解释下一轮生效、成本估计与Linux Flatpak预览版限制。

    n8n 1.123.97相对1.123.96改了什么,依赖版本如何判断
    n8n 1.123.97相对1.123.96改了什么,依赖版本如何判断

    n8n 1.123.97更新1.x分支的undici、multer、follow-redirects等依赖;说明扫描发现口径、版本比较及适用分支,避免误作2.x降级目标。

    Ducter 0.0.57怎样整理手头任务,项目与设备识别有何变化
    Ducter 0.0.57怎样整理手头任务,项目与设备识别有何变化

    Ducter 0.0.57按仓库或文件夹自动组织项目,区分四项任务状态并说明等待条件与复查时间,同时统一页头和设备识别。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?