初创公司硬刚英伟达：在 AMD 卡上模拟 CUDA，原版程序直接编译运行
无需任何修改转换，AMD显卡也跑起原版CUDA程序了！英国一家初创公司，推出了针对AMD的CUDA程序编译工具，而且免费商用。工具一经发布就引发了网友们的广泛热议，并登顶了HackerNews热榜。该工具名为SCALE，开发者给它的定位是一个GPGPU（通用GPU）编程工具包。目前已有大模型框架llama-cpp等9个程序通过测试，实现了正常运行。与其他实现方式不同，SCALE直接模拟CUDA工具包的安装，不需要转换成其他语言就能源到源地完成编译。因此，像内联PTX这种英伟达专用的中间语言，SCALE同样
无需任何修改转换，AMD 显卡也跑起原版 CUDA 程序了！
英国一家初创公司，推出了针对 AMD 的 CUDA 程序编译工具，而且免费商用。
工具一经发布就引发了网友们的广泛热议，并登顶了 HackerNews 热榜。
该工具名为 SCALE，开发者给它的定位是一个 GPGPU（通用 GPU）编程工具包。
目前已有大模型框架 llama-cpp 等 9 个程序通过测试，实现了正常运行。
与其他实现方式不同，SCALE 直接模拟 CUDA 工具包的安装，不需要转换成其他语言就能源到源地完成编译。
因此，像内联 PTX 这种英伟达专用的中间语言，SCALE 同样能够提供支持。
无需转换，让 AMD 跑起 CUDA
官网介绍显示，SCALE 主要有三个组成部分 —— 兼容的 nvcc 编译器、CUDA 运行时和驱动 API 的 AMD 实现，以及 ROCm 库。
其中编译器可以把用包括 nvcc、内联 PTX 等在内的 CUDA 专属语言编写的程序，直接编译成可在 AMD GPU 上运行的二进制代码。
ROCm 库则用来提供“CUDA-X”API，SCALE 在处理 cuBLAS 和 cuSOLVER 等库时均采用这种方式。
SCALE 的关键创新点在于按原样接受 CUDA 程序，而不必将它们移植到另一种语言，兼容 nvcc 和 clang 等多种编译方式，同时现有的构建工具和脚本（如 cmake）可以正常工作。
按照官方的说法，SCALE 实现了对 CUDA 的完全兼容，让开发者无需针对不同 GPU 平台分别编写代码。
这一点与 AMD 推出的 HIP 存在很大不同，因为 HIP 是通过一定方式对 CUDA 代码进行重写，遇到复杂的宏可能无法正确理解，也不支持内联 PTX 等专属语言。
甚至 SCALE 作者认为，HIP 并不能解决 CUDA 兼容性问题。
另外，SCALE 的语言是 CUDA 的超集，提供一些可选的语言扩展，可以使希望摆脱 nvcc 的开发者更轻松、更高效地编写 GPU 代码。
作者表示，希望未来开发者可以只编写一次代码，就能不同硬件平台上运行，并正在着手通过弥合流行的 CUDA 编程语言和其他硬件供应商之间的兼容性差距。
目前，SCALE 对 AMD 各系列 GPU 的支持情况如下：
已支持：gfx1030（RX6000 系列）和 gfx1100（RX7000 系列）
“似乎有效”（seem to work）：gfx1010（RX5000 系列）和 gfx1101
正在适配：gfx900（RX Vega 系列）
另外，作者测试了一些 CUDA 开源项目，并利用 SCALE 成功运行了 9 款 CUDA 应用。
不过，SCALE 毕竟是个全新的项目，所以作者也准备了从安装到编译的一系列教程，给出了不同类型的示例程序。
教程关键步骤都附有相关代码，甚至包括了如何判断自己 GPU 的型号，可以说是非常细致了。
如果使用过程中遇到问题，作者也介绍了常见故障的排除方式，同时还开通了 Discord 论坛，可与开发团队直接沟通交流。
打造出 SCALE 的这家初创公司名为 Spectral Compute，2018 年成立于英国，自称对 CPU 和 GPU 的架构有深入的了解，目标是帮助开发者高效利用算力资源。
网友：挑战英伟达护城河？
有网友认为，如果 SCALE 真能有（宣传中的）效果，那么将对英伟达护城河发起挑战，让 AMD 与之展开直接竞争。
不过，现在下定论未免为时过早，毕竟 SCALE 官方也承认目前和原版 CUDA 相比还存在一些缺陷。
而且开发者也明确表示有一些 CUDA API 和功能并不被支持，但也没有给出具体的列表。
关于“AMD 方案”的更多不足，一名自称和 SCALE 团队交流过的网友表示，目前的 SCALE 还无法操作 TensorCore，也就意味着 AMD 上跑不了 FlashAttention 加速框架。
另外由于 N 卡上有强大的矩阵乘法单元，所以即使能编译运行，AMD 卡上的性能可能也不及 N 卡。
更有网友认为，英伟达一家独大的原因是 AMD 不愿意投资让其 GPU 拥有更高的机器学习性能（而不只是拥有 CUDA 这一个优势）。
即便能够高效运行，AMD 卡是否真的经济实惠且容易获得，同样是一个问题。
还有一波网友的观点是，最大的问题不是技术上能不能运行，而是背后的法律问题。
这个问题同样引发了广泛的讨论，不过目前也暂未有定论。
有人认为 SCALE 像 ZLUDA（另一种在 AMD 上运行 CUDA 程序的方式）一样存在法律疑点，有可能招致英伟达的诉讼。
具体来说，根据英伟达的 EULA 条款，CUDA SDK 只允许开发在 N 卡上运行的应用程序，这可能禁止了类似 SCALE 这样的兼容实现。
但立马就又有网友说，SCALE 并没有用到英伟达的“SDK”，何谈 SDK 使用协议呢？
总之，无论是技术不足还是法律问题，对于这个新工具的讨论都还在持续进行。
至于到底好不好用，这就要由开发者用脚投票了。
参考链接：
[1]https://docs.scale-lang.com/
[2]https://news.ycombinator.com/item?id=40970560
本文来自微信公众号：量子位（ID：QbitAI），作者：克雷西
SemiAnalysis先指出英伟达CUDA护城河遭侵蚀，后又点赞其vLLM推理性能，认为AMD在部分模型支持上仍有差距。推理时代软件生态深度比硬件更关键，英伟达在推理软件栈的积累正成为持久竞争壁垒。
1. 从一次典型的“CUDA不可用”报错说起 在Conda创建的PyTorch虚拟环境里跑深度学习代码，十有八九会遇到那个让人血压飙升的错误：RuntimeError: CUDA error: no kernel image is available for execution on the dev
在实际操作中，用QLoRA+PEFT微调大模型时，因CUDA上下文丢失触发的设备断言错误，是不少人都踩过的坑。下面这份排查与修复方案，希望能帮你一次性解决它。 在实际工作中，用QLoRA对Gemma、Llama、Qwen这类大模型做高效微调时，可能会遇到一个颇具迷惑性的报错： RuntimeErro
升级pip至24.0及以上版本，即可自动解决PyTorchCUDA版wheel重复下载问题，缓存机制自动生效，无需任何手动配置，多环境安装时效率显著提升，避免反复下载同一文件。
最近，有消息人士在社交平台上放出了一组实物照片和测试数据，主角是一款从未正式推向市场的桌面显卡——NVIDIA GeForce RTX 3050 Ti。说实话，这块卡在RTX 30系产品线里一直是个“只闻其声不见其人”的角色，如今终于露出真容，倒是很有意思。 ▲ 图源：@白给的盖欧卡 从照片和识别信
QLoRA微调Gemma模型时CUDA设备断言失败的完整解决方案 本文详解QLoRA+PEFT微调Gemma等大模型时，因CUDA上下文未正确初始化导致的device >= 0 && device < num_gpus断言错误，提供从环境重置、配置修正到稳健训练的全流程避坑指南。 如果你正在使用QL
Token：新AI时代的基础构建单元 GPU技术大会（GTC）于3月17日在美国圣何塞正式开幕，英伟达首席执行官黄仁勋在主题演讲中抛出一个重要论断：当下AI时代最基础的构建单元，既不是算法也不是算力，而是看似微小的"Token"（词元）。这一观点为整个行业提供了全新的认知视角。 站在CUDA架构诞生
12月7日快讯，NVIDIA近日正式发布CUDA13.1版本，官方宣称这是自2006年CUDA平台问世以来规模最宏大、覆盖最广泛的升级。本次更新最具突破性的特性，是首次引入划时代的CUDATile编程范式，标志着GPU开发正迈向更高层级的抽象化新纪元。长期以来，GPU编程普遍采用SIMT（单指令多线程）架构，开发者需深度介入线程管理、内存访问策略及同步机制等底层细节。而CUDATile则以tile（即数据块或瓦片）为核心单元进行建模，开发者只需聚焦于如何划分数据块并定义其上的计算逻辑，至于线程分发、
本站3月6日消息，近日，网络上出现了对于英伟达CUDA（并行计算平台）兼容相关的报道，被认为是“禁止第三方公司兼容CUDA”。据外媒Tom'sHardware报道，英伟达CUDA11.6及更高版本的EULA（最终用户许可协议）中的某条款提到，“您不能逆向工程、反编译或反汇编使用此SDK生成的任何结果，并在非英伟达平台上进行转译。”对此，国产GPU厂商摩尔线程官方发布声明，表示其MUSA/MUSIFY不涉及英伟达EULA相关条款，开发者可放心使用。摩尔线程表示，MUSA是摩尔线程自主研发、拥有全部知识产权、
梳理苹果10月Mac与iPad新品的配置线索，包括触屏MacBook Pro的OLED屏幕与M5芯片、iMac的4.5K显示升级及iPad mini的存储选项，为选购提供参考。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
