手机运行微软小模型胜过27亿参数的大模型
微软CEO纳德拉在Ignite大会上宣布，上个月，Phi-2小尺寸模型将完全开源。这一举措将显著改进常识推理、语言理解和逻辑推理的性能今天，微软公布了Phi-2模型的更多细节以及全新的提示技术promptbase。这个仅27亿参数的模型在大多数常识推理、语言理解、数学和编码任务上超越了Llama27B、Llama213B、Mistral7B，与Llama270B的差距也在缩小（甚至更好）。同时，小尺寸的Phi-2可以在笔记本电脑、手机等移动设备上运行。纳德拉表示，微软非常高兴将一流的小语言模型（SLM）和
微软 CEO 纳德拉在 Ignite 大会上宣布，上个月，Phi-2 小尺寸模型将完全开源。这一举措将显著改进常识推理、语言理解和逻辑推理的性能
今天，微软公布了 Phi-2 模型的更多细节以及全新的提示技术 promptbase。这个仅 27 亿参数的模型在大多数常识推理、语言理解、数学和编码任务上超越了 Llama2 7B、Llama2 13B、Mistral 7B，与 Llama2 70B 的差距也在缩小（甚至更好）。
同时，小尺寸的 Phi-2 可以在笔记本电脑、手机等移动设备上运行。纳德拉表示，微软非常高兴将一流的小语言模型（SLM）和 SOTA 提示技术向研发人员分享。
微软在今年六月发表了一篇名为《只需教科书》的论文，使用了仅包含7B个标记的“教科书质量”数据来训练了一个包含1.3B个参数的模型，即phi-1。尽管数据集和模型规模比竞争对手小几个数量级，但是phi-1在HumanEval中的一次通过率达到了50.6%，在MBPP中的准确率达到了55.5%。phi-1证明了即使是高质量的“小数据”也能够使模型具备良好的性能
微软随后在九月份发表了《只需教科书II：Phi-1.5技术报告》，对高质量的“小数据”潜力进行了进一步的研究。文中提出了Phi-1.5，该参数适用于QA问答、代码等场景，可达到13亿的规模
如今 27 亿参数的 Phi-2，再次用「小身板」给出了卓越的推理和语言理解能力，展示了 130 亿参数以下基础语言模型中的 SOTA 性能。得益于在模型缩放和训练数据管理方面的创新， Phi-2 在复杂的基准测试中媲美甚至超越了 25 倍于自身尺寸的模型。
微软表示，Phi-2 将成为研究人员的理想模型，可以进行可解释性探索、安全性改进或各种任务的微调实验。微软已经在 Azure AI Studio 模型目录中提供了 Phi-2，以促进语言模型的研发。
Phi-2 关键亮点
语言模型规模增加到千亿参数，的确释放了很多新能力，并重新定义了自然语言处理的格局。但仍存在一个问题：是否可以通过训练策略选择（比如数据选择）在较小规模的模型上同样实现这些新能力？
微软提供的解决方案是使用Phi系列模型，通过训练小型语言模型来实现与大型模型类似的性能。Phi-2在两个方面打破了传统语言模型的缩放规则
首先，训练数据的质量在模型性能中起着至关重要的作用。微软通过专注于「教科书质量」的数据，将这一认知发挥到了极致。他们的训练数据包含了专门创建的综合数据集，教给模型常识性知识和推理，例如科学、日常活动和心理等。此外，他们还通过精心挑选的网络数据来进一步扩充自己的训练语料库，这些网络数据经过教育价值和内容质量的筛选
其次，微软使用创新技术进行扩展，从 13 亿参数的 Phi-1.5 开始，将知识逐渐嵌入到了 27 亿参数的 Phi-2 中。这种规模化知识迁移加速了训练收敛，并显著提升了 Phi-2 的基准测试分数。
以下是Phi-2和Phi-1.5之间的比较图，除了BBH（3-shot CoT）和MMLU（5-shot）之外，所有其他任务都是使用0-shot进行评估
训练细节
Phi-2 是一个基于 Transformer 的模型，其目标是预测下一个词。它在合成数据集和网络数据集上进行了训练，使用了 96 块 A100 GPU，并花费了 14 天的时间
Phi-2 是一个基础模型，没有通过人类反馈强化学习 (RLHF) 进行对齐，也没有进行指令微调。尽管如此，与经过调整的现有开源模型相比，Phi-2 在毒性和偏见方面仍然表现得更好，如下图 3 所示。
实验评估
首先，该研究在学术基准上对 Phi-2 与常见语言模型进行了实验比较，涵盖多个类别，包括：
- Big Bench Hard (BBH) (3 shot with CoT)
- 常识推理（PIQA、WinoGrande、ARC easy and challenge、SIQA）、
- 语言理解（HellaSwag、OpenBookQA、MMLU（5-shot）、SQuADv2（2-shot）、BoolQ）
- 数学（GSM8k（8 shot））
- 编码（HumanEval、MBPP（3-shot））
Phi-2模型仅有27亿个参数，却在各种聚合基准上性能超越了7B和13B的Mistral模型和Llama2模型。值得一提的是，与庞大的25倍Llama2-70B模型相比，Phi-2在多步骤推理任务（即编码和数学）方面表现更出色
此外，尽管尺寸较小，但 Phi-2 的性能可以媲美最近由谷歌发布的 Gemini Nano 2
由于许多公共基准可能会泄漏到训练数据中，研究团队认为测试语言模型性能的最佳方法是在具体用例上对其进行测试。因此，该研究使用多个微软内部专有数据集和任务对 Phi-2 进行了评估，并再次将其与 Mistral 和 Llama-2 进行比较，平均而言，Phi-2 优于 Mistral-7B，Mistral-7B 优于 Llama2 模型（7B、13B、70B）。
研究团队还对常见的研究社区提示进行了广泛测试。Phi-2的表现与预期相符。例如，对于一个用于评估模型解决物理问题能力的提示（最近用于评估Gemini Ultra模型），Phi-2给出了以下结果：
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
在千兆宽带、5G通信与云服务深度普及的2026年，大众普遍以为超大文件传输已步入“秒级时代”，但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时，当下最可靠、最迅捷且兼顾安全性的传输方案，依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历：他曾需将4TB资料从信阳送往郑州，首次尝试纯网络传输，系统预估总耗时近72小时；最终改用专人驱车运送，单程仅需约2.5小时，当天即完成取件与送达，整体效率显著超越线上方式。该实例迅速引发热议，多位资深IT博主随
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
无论是专业摄影师还是摄影爱好者，相机内存储卡的可靠性都至关重要，尤其是在恶劣的拍摄环境中，数据存储的安全性更是不可忽视。尽管市场上有多种支持三防功能的移动存储设备用于数据备份，但最常用的SD存储卡由于采用塑料外壳，长期使用后容易出现破损，导致数据损坏，甚至可能损坏相机的存储卡槽，带来的损失不可估量。国际存储品牌雷克沙推出了全新的Armor系列SD存储卡，不仅读写速度快，还采用了不锈钢材质的外壳，具有优异的防水、防尘和防跌落性能，为相机的原始拍摄数据提供了可靠的保护。雷克沙ArmorSD存储卡分为GOLD
1.1计算机发展历程[计组]1.0_你好，我是计算机组成原理我们生活在一个信息化程度极高的世界中，我们每天的生活都离不开电脑和手机，这些设备实际上都属于计算机的范畴。计算机的底层结构由硬件构成，在硬件之上，我们会安装操作系统，再在操作系统上运行各种应用软件，这样就能得到一个易于使用的计算机系统。通过计算机网络，这些设备实现了信息的互联互通，这正是我们现在生活的信息化世界的缩影。计算机组成原理这门课研究的就是这些计算机硬件在底层如何协同工作。既然我们要研究硬件，不妨先来看一下大家日常生活中常见的一些硬件
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
