零基础教程：手把手教你制作MoE大模型
Air Explorer Pro是一款跨平台多网盘管理工具，可实现一站式完成不同网盘间文件的互传、搜索和同步等操作。任务管理和过程控制会更完整，持续下载、批量同步或需要稳定传输流程的场景会更适合它。
传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！HuggingFace上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。这个项目被作者叫做MakeMoE，详细讲述了从注意力构建到形成完整MoE模型的过程。作者介绍，MakeMoE是受到OpenAI创始成员AndrejKarpathy的makemore启发并以之为基础编写的。makemore是一个针对自然语言处理和机器学习的教学项目，意在帮助学习者理解并实现一些基本模型。同样，MakeMoE也是在一步步的搭建过程中，
传说中GPT-4的“致胜法宝”——MoE（混合专家）架构，自己也能手搓了！
Hugging Face上有一位机器学习大神，分享了如何从头开始建立一套完整的MoE系统。
这个项目被作者叫做MakeMoE，详细讲述了从注意力构建到形成完整MoE模型的过程。
作者介绍，MakeMoE是受到OpenAI创始成员Andrej Karpathy的makemore启发并以之为基础编写的。
makemore是一个针对自然语言处理和机器学习的教学项目，意在帮助学习者理解并实现一些基本模型。
同样，MakeMoE也是在一步步的搭建过程中，帮助学习者更深刻地理解混合专家模型。
那么，这份“手搓攻略”具体都讲了些什么呢？
从头开始搭建MoE模型
和Karpathy的makemore相比，MakeMoE用稀疏的专家混合体代替了孤立的前馈神经网络，同时加入了必要的门控逻辑。
同时，由于过程中需要用到ReLU激活函数，makemore中的默认初始化方式被替换成了Kaiming He方法。
想要创建一个MoE模型，首先要理解自注意力机制。
模型首先通过线性变换，将输入序列变换成用查询（Q）、键（K）和值（V）表示的参数。
这些参数随后被用于计算注意力分数，这些分数决定了在生成每个token时，模型对序列中每个位置的关注程度。
为了确保模型在生成文本时的自回归特性，即只能基于已经生成的token来预测下一个token，作者使用了多头因果自注意力机制。
这种机制通过一个掩码来实现将未处理的位置的注意力分数设置为负无穷大，这样这些位置的权重就会变为零。
多头因果则是让模型并行地执行多个这样的注意力计算，每个头关注序列的不同部分。
完成自注意力机制的配置后，就可以创建专家模块了，这里的“专家模块”是一种多层感知器。
每个专家模块包含一个线性层，它将嵌入向量映射到一个更大的维度，然后通过非线性激活函数（如ReLU），再通过另一个线性层将向量映射回原始的嵌入维度。
这样的设计使得每个专家能够专注于处理输入序列的不同部分，并通过门控网络来决定在生成每个token时应该激活哪些专家。
于是，接下来就要开始构建分配和管理专家的组件——门控网络。
这里的门控网络同样是通过一个线性层实现，该层将自注意力层的输出映射到专家模块的数量。
这个线性层的输出是一个分数向量，每个分数代表了对应专家模块对于当前处理的token的重要性。
门控网络会计算这个分数向量的top-k值并记录其索引，然后从中选择top-k个最大的分数，用来加权对应的专家模块输出。
为了在训练过程中增加模型的探索性，作者还引入了噪声，避免所有token都倾向于被相同的专家处理。
这种噪声通常通过在分数向量上添加随机的高斯噪声实现。
获得结果后，模型有选择地将前k个值与相应token的前k个专家的输出相乘，然后相加形成加权和，构成模型的输出。
最后，将这些模块在一起，就得到一个MoE模型了。
针对以上的整个过程，作者都提供了相应的代码，可以到原文中具体了解。
另外，作者还制作了端到端的Jupyter笔记，可以在学习各模块的同时直接运行。
感兴趣的话，就赶快学起来吧！
原文地址：https://huggingface.co/blog/AviSoori1x/makemoe-from-scratch
笔记版本（GitHub）：https://github.com/AviSoori1x/makeMoE/tree/main
本文解析超聚变在2026数博会发布的“智企”范式，重点阐述如何通过Token生产平台（Token Factory）与企业业务本体建模，实现从简单AI工具调用到企业应用架构系统性重构的演进。文章详细拆解了智能体编排、数字孪生及生态协同等关键技术路径，为AI时代企业数字化转型提供可落地的参考方案。
从Office转向WPS的核心操作肌肉记忆切换通常需3至7天，不影响正常办公。适应期长短取决于界面视觉差异与专属格式配置。通过切换“经典界面”、嵌入字体及开启云同步，可实现平滑过渡。本文详解格式兼容、数据迁移及AI功能适用场景，适用于需多端协同、成本控制及国产化兼容的办公人群。
加拿大一母亲起诉OpenAI，称ChatGPT设计缺陷导致其女儿自杀，指控其优先用户参与度而非安全性，持续提供情感支持致过度依赖。专家指出AI应“陪伴但不过界”，需设定边界并引导求助。国家已出台拟人化互动服务管理办法。
2026届高考生学车时多采用AI教练，逐步适应人机共驾。作为与生成式AI共同成长的一代，他们更易接受智能驾驶，未来可能成为首批“原生AI司机”。至2030年前后，其人生首辆车或具备L3级自动驾驶能力，驾驶角色将从操控者转向监督者。
全球股市因AI热潮呈现K型分化，半导体板块估值逼近百倍市盈率。历史警示：2000年互联网泡沫中的“四骑士”最终市值暴跌或长期盘整。投资者应警惕“错失恐惧症”，重视安全边际、护城河与能力圈，避免被高估值裹挟，关注稳健性与股息率。
Cloudflare报告显示，完成应用现代化的企业从AI投资中获得可衡量回报的概率是未现代化企业的三倍。93%的决策者视系统更新为AI先决条件，91%的领先企业已嵌入AI功能。安全与现代化协同推进可使AI成熟度提升四倍，精简技术架构成为竞争力分水岭。
据微软引用《Joule》期刊的一项研究指出，每一次典型人工智能查询耗电量零点一六至零点六零瓦时，其冷却用水量中位数不足一滴水。大规模部署下，单位查询的效率会更高，总能耗可以降低一半以上。
A股PCB概念板块掀起涨停潮，因摩根士丹利报告预测AI光模块PCB市场三年增长超5倍，2025至2028年规模从6.2亿美元增至37.7亿美元，年复合增速高达83%，远超光模块整体增速。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
