当前位置:

首页 > 编程开发 > llama.cpp b12469 的隐式矩阵乘法需要怎样的硬件能力?

llama.cpp b12469 的隐式矩阵乘法需要怎样的硬件能力?

llama.cpp b12469 的 Metal CONV_2D 增加隐式 GEMM。能否走新内核取决于设备是否支持 simdgroup 矩阵指令等实际分派条件。

本文目录

    llama.cpp b12469 的 Metal CONV_2D 增加隐式 GEMM。能否走新内核取决于设备是否支持 simdgroup 矩阵指令等实际分派条件。

    llama.cpp 软件封面

    卷积窗口如何映射成矩阵

    llama.cpp b12469 为 Metal CONV_2D 增加隐式 GEMM 内核。每个输出通道对应权重矩阵的一行,每个输出像素对应由卷积窗口内的输入值组成的一列。

    llama.cpp b12469 官方预发布及改动

    隐式处理节省了哪一步

    线程组按需把窗口所需输入收集到共享内存,再通过 simdgroup 矩阵指令完成输出块的乘加。合并说明指出,输入以 f16 暂存,乘加结果在 f32 中累计。

    设备不支持矩阵指令时怎样处理

    旧内核仍保留作为无 simdgroup 矩阵支持设备的回退路径。b12469 是预发布构建,实际表现取决于设备、形状及分派结果,改动范围限于 Metal 的二维卷积。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    编程开发
    相关文章 更多
    llama.cpp b12466 的 SiLU 兼容范围扩大到哪里?
    llama.cpp b12466 的 SiLU 兼容范围扩大到哪里?

    llama.cpp b12466 调整了 OpenCL 的 SiLU 路径。新增的支持包括 f16,以及元素在内存中不连续的 f32 张量。

    llama.cpp b12468 的 WebGPU 时间步嵌入适用哪些项目?
    llama.cpp b12468 的 WebGPU 时间步嵌入适用哪些项目?

    llama.cpp b12468 的 WebGPU 变化集中在时间步嵌入。项目合并说明将 stable-diffusion.cpp 列作依赖该算子的下游项目示例。

    llama.cpp b12465 的 SYCL 快速取模适用哪些路径?
    llama.cpp b12465 的 SYCL 快速取模适用哪些路径?

    llama.cpp b12465。llama.cpp b12465 的快速取模用在 SYCL 广播相关的索引运算。一次内核启动可复用同一组预计算值,前提是除数非零且能放入 32 位。

    llama.cpp b12464 的 Q8_0 优化对应哪条 OpenCL 路径?
    llama.cpp b12464 的 Q8_0 优化对应哪条 OpenCL 路径?

    llama.cpp b12464 为 OpenCL A7 增加 Q8_0 非 MoE 二进制内核,解释 Adreno X1、矩阵乘法和适用条件。

    llama.cpp b12463 的视觉位置嵌入修复影响哪些输入?
    llama.cpp b12463 的视觉位置嵌入修复影响哪些输入?

    llama.cpp b12463 修正 Muse Glimmer 视觉编码器缩放位置嵌入时的坐标顺序,使其与训练一致,解释非方形图像为何更能体现差异。

    llama.cpp b12458的YuE2-3B支持有哪些使用边界
    llama.cpp b12458的YuE2-3B支持有哪些使用边界

    llama.cpp b12458加入YuE2-3B,修正流式生成,并按序列保存采样分数。

    llama.cpp b12441/b12442/b12448/b12449/b12451/b12452/b12453/b12455/b12456 对比?
    llama.cpp b12441/b12442/b12448/b12449/b12451/b12452/b12453/b12455/b12456 对比?

    llama.cpp b12441、b12442、b12448、b12449、b12451、b12452、b12453、b12455、b12456 均为预发布,涉及后端、聊天模板、设备参数、界面与音频,按场景对应各构建。

    llama.cpp b12457 的 OpenCL A7 内核有哪些适用条件?
    llama.cpp b12457 的 OpenCL A7 内核有哪些适用条件?

    llama.cpp b12457 为 OpenCL 的 A7 路径增加 Q4_K 非 MoE 二进制内核,说明后端、量化及模型执行路径的适用范围。

    llama.cpp b12435、b12436、b12438测试构建的三类兼容变化有什么区别?
    llama.cpp b12435、b12436、b12438测试构建的三类兼容变化有什么区别?

    llama.cpp b12435、b12436、b12438预发布构建,分别解释Vulkan并列选择确定性、32位编译与Jinja JSON键排序的适用范围。

    llama.cpp b12433怎样为AMD奇数列保留MUL_MAT_ID回退路径
    llama.cpp b12433怎样为AMD奇数列保留MUL_MAT_ID回退路径

    llama.cpp b12433避免AMD设备将奇数src0列送入需要偶数列的MMVF路径:满足偶数条件才保留MMVF,其他形状沿用既有回退。对应改动发生在MUL_MAT_ID处理和相关同步判断中,范围限定于代码说明中的类型与token条件。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。