当前位置:

首页 > 业界资讯 > 10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

想了解更多AIGC的内容,请访问:51CTOAI.x社区https://www.51cto.com/aigc/“只需”10万美元,训练Llama-2级别的大模型。尺寸更小但性能不减的MoE模型来了:它叫JetMoE,来自MIT、普林斯顿等研究机构。性能妥妥超过同等规模的Llama-2。△贾扬清转发要知道,后者可是数十亿美元级别的投入成本。JetMoE发布即完全开源,且学术界友好:仅使用公开数据集和开源代码,用消费级GPU就能进行微调。不得说,大模型的打造成本,真的比人们想的要便宜更多了。Ps.Stable

本文目录

    想了解更多AIGC的内容,

    请访问:51CTO AI.x社区

    https://www.51cto.com/aigc/

    “只需”10万美元,训练Llama-2级别的大模型。

    尺寸更小但性能不减的MoE模型来了:

    它叫JetMoE,来自MIT、普林斯顿等研究机构。

    性能妥妥超过同等规模的Llama-2。

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    △贾扬清转发

    要知道,后者可是数十亿美元级别的投入成本。

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    JetMoE发布即完全开源,且学术界友好:仅使用公开数据集和开源代码,用消费级GPU就能进行微调。

    不得说,大模型的打造成本,真的比人们想的要便宜更多了。

    Ps. Stable Diffusion前老板Emad也点了赞:

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    10万美刀实现Llama-2性能

    JetMoE启发于ModuleFormer的稀疏激活架构。

    (ModuleFormer,一种基于稀疏专家混合(SMoE)的模块化架构,可提高大模型效率和灵活性,去年6月提出)

    它的注意力层中仍然使用了MoE:

    80亿参数的JetMoE一共有24个区块,每块包含2个MoE层,分别是注意力头混合 (MoA) 和MLP专家混合 (MoE)。

    每个MoA和MoE层又有8个专家,每次输入token激活2个。

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    JetMoE-8B使用公开数据集中的1.25T token进行训练,学习率5.0 x 10-4,全局batch size为4M token。

    具体训练方案遵循MiniCPM(来自面壁智能,2B模型就能赶超Mistral-7B)的思路,共包含两阶段:

    第一阶段使用线性预热的恒定学习率,用来自大规模开源预训练数据集的1万亿个token进行训练,这些数据集包括RefinedWeb、Pile、Github data等等。

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    第二阶段则使用指数学习率衰减,用2500亿个token训练来自第一阶段数据集和超高质量开源数据集的token。

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    最终,团队使用96×H100的GPU集群,花费2周时间、约8万美元搞定JetMoE-8B。

    更多技术细节将在不久后发布的技术报告上揭露。

    而在推理过程中,由于JetMoE-8B仅具有22亿个激活参数,因此计算成本大大降低——

    同时,它还收获了不错的性能表现。

    如下图所示:

    JetMoE-8B在8个评测基准上获得了5个sota(包括大模型竞技场Open LLM Leaderboard),超过LLaMA-13B、LLaMA2-7B和DeepseekMoE-16B。

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    在MT-Bench基准上得分6.681,也超过了130亿参数的LLaMA2、Vicuna等模型。

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    作者介绍

    JetMoE一共4位作者,分别是:

    • Yikang Shen

    MIT-IBM Watson Lab研究员,研究方向NLP。

    本硕毕业于北航,博士经历于Yoshua Bengio创办的Mila研究机构。

    • 国振 (Gavin Guo)

    MIT博士在读, 研究方向为3D成像的数据高效机器学习。

    UC伯克利本科毕业,去年夏天作为学生研究员加入MIT-IBM Watson Lab,导师为Yikang Shen等人。

    • 蔡天乐

    普林斯顿博士在读生,本科毕业于北大应用数学和计算机科学,目前也是Together.ai 的兼职研究员,与Tri Dao合作。

    • Zengyi Qin

    MIT博士在读,同时在创业,MyShell的AI研发主管。

    这家公司刚刚融资了1100万美元,投资者包括Transformer的作者。

    10万美元训出Llama-2级大模型!全华人打造新型MoE,贾扬清SD前CEO围观

    传送门:https://github.com/myshell-ai/JetMoE
    参考链接:https://twitter.com/jiayq/status/1775935845205463292

    想了解更多AIGC的内容,

    请访问:51CTO AI.x社区

    https://www.51cto.com/aigc/

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 模型
    上一篇: 福昕阅读器怎么复制文字 福昕阅读器复制文字的方法
    下一篇: UC浏览器设置主页的图文步骤
    相关文章 更多
    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录
    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录

    云调用AI太贵:开发者自建48台Mac mini集群,撑起Overcast播客转录 最近科技圈里有件挺有意思的事。播客应用Overcast的开发者马可·阿门特,成功搭建了一个由48台苹果Mac mini组成的服务器集群。关键点在于,他用这套硬件集群,绕过了云端AI服务,直接在本地运行语音识别模型来处

    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏
    索尼推出“Playerbase”计划:将真实玩家扫描植入PS第一方游戏

    索尼推出“玩家基地”计划:将真实玩家扫描植入PS第一方游戏 最近,游戏界有个大动作值得关注。索尼正式宣布启动名为“玩家基地”的新计划,准备推出一套完整的流程,将真实玩家的形象扫描并植入到PlayStation工作室的游戏之中。这套创新的流程,背后是摄影测量、动作捕捉与玩家数据技术的融合。 索尼互动娱

    华为盘古 Ultra MoE 模型发布
    华为盘古 Ultra MoE 模型发布

    5月30日,华为推出了全新的AI模型——盘古UltraMoE,该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型,它在整个训练过程中完全基于华为的昇腾AI平台完成,标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如,Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入,显著改善了超大规模模型训练期间出现的梯度异常及

    阿里开源14B电影级视频模型,实测可玩
    阿里开源14B电影级视频模型,实测可玩

    AI视频生成正迎来属于“通义”的高光时刻!就在昨晚,阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频,就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频,效果惊艳。实际效果展示如下:△来自@AIMIRAI46487更令人振奋的是,这款新模型一经发布便全面开源,现在所有人都可以免费在通义万相官网体验使用。据官方介绍,Wan2.2-S2V的核心优势包括:支持最长分钟级的单次视频生成,画面稳定且具有一致性;具备影院级别的音

    特斯拉FSD新增滑板识别模型
    特斯拉FSD新增滑板识别模型

    近日,有汽车领域博主爆料,特斯拉的FSD(完全自动驾驶)辅助系统将迎来一次重要升级,或将实现更真实的环境场景还原。在最新曝光的软件代码中,发现了大量新增的渲染模型,涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人,以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息,日本方面已为特斯拉FSD系统的落地扫

    SOTA大模型加密数据评测:Qwen3仅破10%
    SOTA大模型加密数据评测:Qwen3仅破10%

    大语言模型面对加密数据,即便最新的Qwen3也会感到压力!尽管当下各类推理模型在多种基准测试中表现优异,但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域,模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链,还需要其能够精准辨识复杂加密模式中的潜在规律;成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评,使用大量真实隐私场景数据和多种密码算法,严苛挑战当前最先进的大模型。CipherBank的测评结果显示,目前的大语言模型

    每2秒解一道高数题!华为揭秘万亿MoE训练系统全流程
    每2秒解一道高数题!华为揭秘万亿MoE训练系统全流程

    现在,请大家一起来数一下"1"、"2"。OK,仅仅2秒的时间,一个接近万亿规模的MoE大模型就已经掌握了如何解答一道高等数学难题的方法!而且呢,这个大模型还是完全依靠国产设备进行训练的,整个流程都体现了浓浓的“国产”特色。这就是华为借助"昇腾+PanguUltraMoE"这一组合实现的成果——不仅达成了国产算力与国产模型在全流程上的自主可控训练闭环,还在集群训练系统的性能方面达到了行业顶尖水平。有多顶尖?来看一组数据:预训练阶段:昇腾Atlas800TA2万卡集群的MFU提升

    美团推出首个语音GUI智能体,端到端语音训练更优
    美团推出首个语音GUI智能体,端到端语音训练更优

    只需动动嘴,就能操控GUI代理?由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手,直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端(End-to-End)决策的自主GUI智能体,致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音,智能代理的新一轮进化目前,基于大语言模型(LLMs)的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作,显著提升用户效率。然而,这种依赖文本输入的方式在某些场景中存在明显局限

    超级智能体生命力觉醒!可自我更新的AI来了,妈妈再也不用担心数据瓶颈难题
    超级智能体生命力觉醒!可自我更新的AI来了,妈妈再也不用担心数据瓶颈难题

    哭死啊,全球狂炼大模型,一互联网的数据不够用,根本不够用。训练模型搞得跟《饥饿游戏》似的,全球AI研究者,都在苦恼怎么才能喂饱这群数据大胃王。尤其在多模态任务中,这一问题尤为突出。一筹莫展之际,来自人大系的初创团队,用自家的新模型,率先在国内把“模型生成数据自己喂自己”变成了现实。而且还是理解侧和生成侧双管齐下,两侧都能生成高质量、多模态的新数据,对模型本身进行数据反哺。模型是啥?中关村论坛上刚刚露面的多模态大模型Awaker1.0。团队是谁?智子引擎。由人大高瓴人工智能学院博士生高一钊创立,高瓴人工智能

    通义千问新技能!用“扮演”方式提升推理能力,不再依赖搜索API
    通义千问新技能!用“扮演”方式提升推理能力,不再依赖搜索API

    强化学习(RL)结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而,这一方法面临两大挑战:搜索引擎返回的文档质量不稳定,导致训练过程中的噪音和不稳定性;RL训练需要频繁部署,产生大量API开销,限制了可扩展性。针对这些问题,阿里通义实验室推出了开源解决方案ZeroSearch,这是一个无需与真实搜索引擎交互的强化学习框架。实验表明,ZeroSearch只需使用3B参数的LLM作为检索模块,就能有效提升搜索能力,并大幅节省API成本。ZeroSearch让LLM实现自给自足

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。