新型 AI 算法亮相:功率降至常规配置 1/50,显存占用降至 1/10
本站6月27日消息,美国加州大学圣克鲁兹分校的研究团队研究出新的方法,只需要13W的功率(相当于一个现代LED灯泡的功率),就能运行10亿参数规模的大语言模型。而作为对比,用于大语言模型任务的数据中心级GPU需要约700W。AI浪潮下很多公司、机构的研究主方向是应用、推理方面,很少考虑效率等指标。该研究人员为缓解这种状况,淘汰了矩阵乘法的密集型技术,提出了“三元数”方案,只有负一、零或正一三个数值。团队还使用一种名为现场可编程门阵列(FPGA)的高度定制电路创建了定制硬件,让他们能够最大限度地利用神经网络
本站 6 月 27 日消息,美国加州大学圣克鲁兹分校的研究团队研究出新的方法,只需要 13W 的功率(相当于一个现代 LED 灯泡的功率),就能运行 10 亿参数规模的大语言模型。而作为对比,用于大语言模型任务的数据中心级 GPU 需要约 700W。

AI 浪潮下很多公司、机构的研究主方向是应用、推理方面,很少考虑效率等指标。该研究人员为缓解这种状况,淘汰了矩阵乘法的密集型技术,提出了“三元数”方案,只有负一、零或正一三个数值。
团队还使用一种名为现场可编程门阵列(FPGA)的高度定制电路创建了定制硬件,让他们能够最大限度地利用神经网络中的所有节能功能。
在定制硬件上运行时,可以达到与 Meta 的 Llama 等顶级模型相同的性能,但神经网络功率是常规配置的五十分之一。
该神经网络设计还可以用于在人工智能行业常用的标准 GPU 上运行,测试结果显示,与基于矩阵乘法的神经网络相比,显存占用仅为十分之一。
本站附上参考地址
Researchers run high-performing large language model on the energy needed to power a lightbulb
Scalable MatMul-free Language Modeling
Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。














