手机运行微软小模型胜过27亿参数的大模型
微软CEO纳德拉在Ignite大会上宣布，上个月，Phi-2小尺寸模型将完全开源。这一举措将显著改进常识推理、语言理解和逻辑推理的性能今天，微软公布了Phi-2模型的更多细节以及全新的提示技术promptbase。这个仅27亿参数的模型在大多数常识推理、语言理解、数学和编码任务上超越了Llama27B、Llama213B、Mistral7B，与Llama270B的差距也在缩小（甚至更好）。同时，小尺寸的Phi-2可以在笔记本电脑、手机等移动设备上运行。纳德拉表示，微软非常高兴将一流的小语言模型（SLM）和
微软 CEO 纳德拉在 Ignite 大会上宣布，上个月，Phi-2 小尺寸模型将完全开源。这一举措将显著改进常识推理、语言理解和逻辑推理的性能
今天，微软公布了 Phi-2 模型的更多细节以及全新的提示技术 promptbase。这个仅 27 亿参数的模型在大多数常识推理、语言理解、数学和编码任务上超越了 Llama2 7B、Llama2 13B、Mistral 7B，与 Llama2 70B 的差距也在缩小（甚至更好）。
同时，小尺寸的 Phi-2 可以在笔记本电脑、手机等移动设备上运行。纳德拉表示，微软非常高兴将一流的小语言模型（SLM）和 SOTA 提示技术向研发人员分享。
微软在今年六月发表了一篇名为《只需教科书》的论文，使用了仅包含7B个标记的“教科书质量”数据来训练了一个包含1.3B个参数的模型，即phi-1。尽管数据集和模型规模比竞争对手小几个数量级，但是phi-1在HumanEval中的一次通过率达到了50.6%，在MBPP中的准确率达到了55.5%。phi-1证明了即使是高质量的“小数据”也能够使模型具备良好的性能
微软随后在九月份发表了《只需教科书II：Phi-1.5技术报告》，对高质量的“小数据”潜力进行了进一步的研究。文中提出了Phi-1.5，该参数适用于QA问答、代码等场景，可达到13亿的规模
如今 27 亿参数的 Phi-2，再次用「小身板」给出了卓越的推理和语言理解能力，展示了 130 亿参数以下基础语言模型中的 SOTA 性能。得益于在模型缩放和训练数据管理方面的创新， Phi-2 在复杂的基准测试中媲美甚至超越了 25 倍于自身尺寸的模型。
微软表示，Phi-2 将成为研究人员的理想模型，可以进行可解释性探索、安全性改进或各种任务的微调实验。微软已经在 Azure AI Studio 模型目录中提供了 Phi-2，以促进语言模型的研发。
Phi-2 关键亮点
语言模型规模增加到千亿参数，的确释放了很多新能力，并重新定义了自然语言处理的格局。但仍存在一个问题：是否可以通过训练策略选择（比如数据选择）在较小规模的模型上同样实现这些新能力？
微软提供的解决方案是使用Phi系列模型，通过训练小型语言模型来实现与大型模型类似的性能。Phi-2在两个方面打破了传统语言模型的缩放规则
首先，训练数据的质量在模型性能中起着至关重要的作用。微软通过专注于「教科书质量」的数据，将这一认知发挥到了极致。他们的训练数据包含了专门创建的综合数据集，教给模型常识性知识和推理，例如科学、日常活动和心理等。此外，他们还通过精心挑选的网络数据来进一步扩充自己的训练语料库，这些网络数据经过教育价值和内容质量的筛选
其次，微软使用创新技术进行扩展，从 13 亿参数的 Phi-1.5 开始，将知识逐渐嵌入到了 27 亿参数的 Phi-2 中。这种规模化知识迁移加速了训练收敛，并显著提升了 Phi-2 的基准测试分数。
以下是Phi-2和Phi-1.5之间的比较图，除了BBH（3-shot CoT）和MMLU（5-shot）之外，所有其他任务都是使用0-shot进行评估
训练细节
Phi-2 是一个基于 Transformer 的模型，其目标是预测下一个词。它在合成数据集和网络数据集上进行了训练，使用了 96 块 A100 GPU，并花费了 14 天的时间
Phi-2 是一个基础模型，没有通过人类反馈强化学习 (RLHF) 进行对齐，也没有进行指令微调。尽管如此，与经过调整的现有开源模型相比，Phi-2 在毒性和偏见方面仍然表现得更好，如下图 3 所示。
实验评估
首先，该研究在学术基准上对 Phi-2 与常见语言模型进行了实验比较，涵盖多个类别，包括：
- Big Bench Hard (BBH) (3 shot with CoT)
- 常识推理（PIQA、WinoGrande、ARC easy and challenge、SIQA）、
- 语言理解（HellaSwag、OpenBookQA、MMLU（5-shot）、SQuADv2（2-shot）、BoolQ）
- 数学（GSM8k（8 shot））
- 编码（HumanEval、MBPP（3-shot））
Phi-2模型仅有27亿个参数，却在各种聚合基准上性能超越了7B和13B的Mistral模型和Llama2模型。值得一提的是，与庞大的25倍Llama2-70B模型相比，Phi-2在多步骤推理任务（即编码和数学）方面表现更出色
此外，尽管尺寸较小，但 Phi-2 的性能可以媲美最近由谷歌发布的 Gemini Nano 2
由于许多公共基准可能会泄漏到训练数据中，研究团队认为测试语言模型性能的最佳方法是在具体用例上对其进行测试。因此，该研究使用多个微软内部专有数据集和任务对 Phi-2 进行了评估，并再次将其与 Mistral 和 Llama-2 进行比较，平均而言，Phi-2 优于 Mistral-7B，Mistral-7B 优于 Llama2 模型（7B、13B、70B）。
研究团队还对常见的研究社区提示进行了广泛测试。Phi-2的表现与预期相符。例如，对于一个用于评估模型解决物理问题能力的提示（最近用于评估Gemini Ultra模型），Phi-2给出了以下结果：
在开始之前，先确认硬件已经就位：关机，把新硬盘装上，再重新开机。开机后第一件事，就是检查系统是否识别到了新设备。用 dmesg | grep ad2 看一眼，如果输出类似 ad2: 9765MB [19841/16/63] at ata1-master UDMA33 这样的信息，说明新硬盘已经被成功
7月25日消息 天文学界最近有一项挺有意思的发现。根据中国科学院发布的信息，由南京天文光学技术研究所研究员王靓团队，联合国家天文台研究员罗阿理等人，利用LAMOST望远镜第十次公开的海量光谱数据，再结合多种测光数据，成功揪出了两颗全新的共生星，同时还锁定了12颗“仅吸积共生星”的候选体。这成果可不只
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
在千兆宽带、5G通信与云服务深度普及的2026年，大众普遍以为超大文件传输已步入“秒级时代”，但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时，当下最可靠、最迅捷且兼顾安全性的传输方案，依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历：他曾需将4TB资料从信阳送往郑州，首次尝试纯网络传输，系统预估总耗时近72小时；最终改用专人驱车运送，单程仅需约2.5小时，当天即完成取件与送达，整体效率显著超越线上方式。该实例迅速引发热议，多位资深IT博主随
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
