当前位置:

首页 > 业界资讯 > 轻量版ChatGPT训练方法开源!仅用3天围绕LLaMA打造,号称训练速度比OpenAI快15倍

轻量版ChatGPT训练方法开源!仅用3天围绕LLaMA打造,号称训练速度比OpenAI快15倍

基于Meta模型打造的轻量版ChatGPT,这就来啦?Meta宣布推出LLaMA才三天,业界就出现了把它打造成ChatGPT的开源训练方法,号称比ChatGPT训练速度最高快15倍。LLaMA是Meta推出的超快超小型GPT-3,参数量只有后者的10%,只需要单张GPU就能运行。把它变成ChatGPT的方法名叫ChatLLaMA,基于RLHF(基于人类反馈的强化学习)进行训练,在网上很快掀起了一阵热度。所以,Meta的开源版ChatGPT真的要来了?先等等,事情倒也没那么简单。把LLaMA训练成ChatG

基于Meta模型打造的轻量版ChatGPT,这就来啦?

Meta宣布推出LLaMA才三天,业界就出现了把它打造成ChatGPT的开源训练方法,号称比ChatGPT训练速度最高快15倍。

LLaMA是Meta推出的超快超小型GPT-3,参数量只有后者的10%,只需要单张GPU就能运行。

把它变成ChatGPT的方法名叫ChatLLaMA,基于RLHF(基于人类反馈的强化学习)进行训练,在网上很快掀起了一阵热度。

轻量版ChatGPT训练方法开源!仅用3天围绕LLaMA打造,号称训练速度比OpenAI快15倍

所以,Meta的开源版ChatGPT真的要来了?

先等等,事情倒也没那么简单。

把LLaMA训练成ChatGPT的“开源方法”

点进ChatLLaMA项目主页来看,会发现它实际上集成了四个部分——

DeepSpeed、RLHF方法、LLaMA和基于LangChain agent生成的数据集。

其中,DeepSpeed是一个开源深度学习训练优化库,包含名叫Zero的现存优化技术,用于提升大模型训练能力,具体指帮模型提升训练速度、降低成本、提升模型可用性等。

RLHF则会采用奖励模型来对预训练模型进行微调。奖励模型即先用多个模型生成问题问答,再依靠人工对问答进行排序,让它学会打分;随后,基于奖励学习给模型生成的回答进行打分,通过强化学习的方式增强模型能力。

LangChain是一个大语言模型应用开发库,希望将各种大语言模型整合起来,结合其他知识来源或计算能力创建一个实用的应用程序。LangChain agent则会像思维链一样放出GPT-3思考的全过程,将操作记录下来。

这时候你会发现,最关键的依旧是LLaMA的模型权重。它从哪里来?

嘿嘿,自己去找Meta申请吧,ChatLLaMA并不提供。(虽然Meta声称开源LLaMA,但依旧需要申请)

轻量版ChatGPT训练方法开源!仅用3天围绕LLaMA打造,号称训练速度比OpenAI快15倍

所以本质上来说,ChatLLaMA并不是一个开源ChatGPT项目,而只是一种基于LLaMA的训练方法,其库内集成的几个项目原本也都是开源的。

实际上,ChatLLaMA也并非由Meta打造,而是来自一个叫做Nebuly AI的初创AI企业。

Nebuly AI做了一个叫做Nebullvm的开源库,里面集成了一系列即插即用的优化模块,用于提升AI系统性能。

例如这是Nebullvm目前包含的一些模块,包括基于DeepMind开源的AlphaTensor算法打造的OpenAlphaTensor、自动感知硬件并对其进行加速的优化模块……

轻量版ChatGPT训练方法开源!仅用3天围绕LLaMA打造,号称训练速度比OpenAI快15倍

ChatLLaMA也在这一系列模块中,但要注意的是它的开源license也是不可商用的。​

所以“国产自研ChatGPT”想要直接拿去用,可能还没那么简单(doge)。​

看完这个项目后,有网友表示,要是有人真搞到LLaMA的模型权重(代码)就好了……

轻量版ChatGPT训练方法开源!仅用3天围绕LLaMA打造,号称训练速度比OpenAI快15倍

但也有网友指出,“比ChatGPT训练方法快15倍”这种说法是一个纯纯的误导:

所谓的快15倍只是因为LLaMA模型本身很小,甚至能在单个GPU上运行,但应该不是因为这个项目所做的任何事情吧?

轻量版ChatGPT训练方法开源!仅用3天围绕LLaMA打造,号称训练速度比OpenAI快15倍

这位网友还推荐了一个比库中效果更好的RLHF训练方法,名叫trlx,训练速度要比通常的RLHF方法快上3~4倍:

轻量版ChatGPT训练方法开源!仅用3天围绕LLaMA打造,号称训练速度比OpenAI快15倍

你拿到LLaMA的代码了吗?觉得这个训练方法如何?

ChatLLaMA地址:​​​https://github.com/nebuly-ai/nebullvm/tree/main/apps/accelerate/chatllama​

参考链接:​​​https://twitter.com/omarsar0/status/1630211059876339713​

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
文本 Unicode 码加密与解密 代码
文本 Unicode 码加密与解密 代码

文本 Unicode 码加密与解密:一个简单实用的工具 今天我们来聊聊一种有趣的文本加密方式——Unicode码加密与解密。这个工具利用Unescape脚本的转换机制,能够将普通文本转换成看似乱码的Unicode编码,实现信息的隐藏与保护。 主要用途 这个工具的应用场景其实相当广泛: 加密中文信函,

JScript.Encode 脚本在线解密 代码
JScript.Encode 脚本在线解密 代码

JScript.Encode脚本在线解密工具,提供完整HTML页面代码,可对编码脚本进行快速解密。页面直接运行,无需额外配置,支持一键解密,操作简便,适用于前端开发者调试与还原加密脚本。

华为盘古 Ultra MoE 模型发布
华为盘古 Ultra MoE 模型发布

5月30日,华为推出了全新的AI模型——盘古UltraMoE,该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型,它在整个训练过程中完全基于华为的昇腾AI平台完成,标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如,Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入,显著改善了超大规模模型训练期间出现的梯度异常及

夸克高考代码查询方法 备选志愿查看教程
夸克高考代码查询方法 备选志愿查看教程

志愿填报别再纠结!夸克免费助你精准选择,填志愿比高考还头疼?那是因为你还没找到好帮手!每年都有考生因志愿选择不当而错失心仪高校的机会,如今有了夸克高考志愿填报工具,这些烦恼一扫而空!如何通过夸克查询代码?只需四个步骤即可免费获取院校代码和专业代码:如何查看夸克高考的备选志愿?打开夸克浏览器后,在首页就能看到最新的夸克高考选项,点击进入即可。接着点击夸克高考,就能查看已填报的志愿详情了。夸克高考为何无法使用?这可能与网络状况有关,也可能是因为软件版本过旧。建议更新至最新版本,通常情况下,夸克高考可以正常使用

每2秒解一道高数题!华为揭秘万亿MoE训练系统全流程
每2秒解一道高数题!华为揭秘万亿MoE训练系统全流程

现在,请大家一起来数一下"1"、"2"。OK,仅仅2秒的时间,一个接近万亿规模的MoE大模型就已经掌握了如何解答一道高等数学难题的方法!而且呢,这个大模型还是完全依靠国产设备进行训练的,整个流程都体现了浓浓的“国产”特色。这就是华为借助"昇腾+PanguUltraMoE"这一组合实现的成果——不仅达成了国产算力与国产模型在全流程上的自主可控训练闭环,还在集群训练系统的性能方面达到了行业顶尖水平。有多顶尖?来看一组数据:预训练阶段:昇腾Atlas800TA2万卡集群的MFU提升

美团推出首个语音GUI智能体,端到端语音训练更优
美团推出首个语音GUI智能体,端到端语音训练更优

只需动动嘴,就能操控GUI代理?由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手,直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端(End-to-End)决策的自主GUI智能体,致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音,智能代理的新一轮进化目前,基于大语言模型(LLMs)的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作,显著提升用户效率。然而,这种依赖文本输入的方式在某些场景中存在明显局限

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。