智源等机构发布LM-Cocktail模型的多技能大模型治理策略
随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务以外的一般任务的性能明显下降，损害LLM原本具备的通用能力。另一方面，开源社区的模型逐渐增多，大模型开发者也可能在多次训练中累计了越来越多的模型，每个模型都具有各自的优势，如何选择合适的模型执行任务或进一步微调反而成为一个问题。近日，智源研究院信息检索与知识
随着大模型技术的发展与落地，「模型治理」已经成为了目前受到重点关注的命题。只不过，在实践中，研究者往往感受到多重挑战。
一方面，为了高其在目标任务的性能表现，研究者会收集和构建目标任务数据集并对大语言模型（LLM）进行微调，但这种方式通常会导致除目标任务以外的一般任务的性能明显下降，损害 LLM 原本具备的通用能力。
另一方面，开源社区的模型逐渐增多，大模型开发者也可能在多次训练中累计了越来越多的模型，每个模型都具有各自的优势，如何选择合适的模型执行任务或进一步微调反而成为一个问题。
近日，智源研究院信息检索与知识计算组发布 LM-Cocktail 模型治理策略，旨在为大模型开发者提供一个低成本持续提升模型性能的方式：通过少量样例计算融合权重，借助模型融合技术融合微调模型和原模型的优势，实现「模型资源」的高效利用。
- 技术报告：https://arxiv.org/abs/2311.13534
- 代码：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail
模型融合技术可以通过融合多个模型提高单模型的性能。受此启发，LM-Cocktail 策略进一步通过对目标任务计算不同模型的重要性，赋予不同模型不同的权重，在此基础上进行模型融合，在提升目标任务上性能的同时，保持在通用任务上的强大能力。
LM-Cocktail 策略的作用类似于制作鸡尾酒，它可以将各个模型的优势能力汇总起来，通过调配不同的模型，创造出一个拥有多种特长的「多才」模型
方法创新
具体而言，LM-Cocktail 可以通过手动选择模型配比，或者输入少量样例自动计算加权权重，来融合现有模型生成一个新模型，该过程不需要对模型进行重新训练并且具备适配多种结构的模型，如大语言模型 Llama，语义向量模型 BGE 等。
如果开发者缺乏某些目标任务的标签数据，或者缺少计算资源进行模型微调，那么可以采用LM-Cocktail策略来省去模型微调的步骤。只需构造极少量的数据样例，就可以融合开源社区中已有的大型语言模型，以调制自己的「LM鸡尾酒」
如上图所示，在特定目标任务上微调 Llama，可以显著提高目标任务上的准确度，但损害了在其他任务上的通用能力。采用 LM-Cocktail 可以解决这个问题。
LM-Cocktail 的核心是将微调后的模型与多个其他模型的参数进行融合，整合多个模型的优点，在提高目标任务上准确度的同时，保持在其他任务上的通用能力。具体形式为，给定目标任务、基础模型，以及一个在该任务上微调基础模型后得到的模型，同时收集开源社区或以往训练过的模型组成集合。通过目标任务上少量的样例计算每个模型的融合加权权重，对这些模型的参数进行加权求和，得到新的模型（具体的过程请参考论文或开源代码）。如果开源社区不存在其他模型，也可以直接融合基础模型和微调模型，在不降低通用能力的基础上提升下游任务表现。
用户在实际应用场景中，由于数据和资源的限制，可能无法进行下游任务的微调，即没有在目标任务微调过后的模型。这种情况下，用户可以通过构造非常少量的数据样例融合社区中已有的大语言模型，生成一个面向新任务的模型，提高目标任务的准确度，而无需对模型进行训练。
实验结果
1. 弹性微调以保持通用能力
从上图中可以看到，在某个目标任务上进行微调之后，微调后的模型大幅提高了在该任务上的准确度，但其他通用任务上的准确度都有所下降。例如，在 AG News 到训练集上进行微调，Llama 在 AG News 测试集上准确度从 40.80% 涨到 94.42%，但在其他任务上准确度从 46.80% 下降到了 38.58%。
然而，通过简单的融合微调后模型和原模型的参数，在目标任务上实现了具有竞争力的性能 94.46%，与微调模型相当，同时在其他任务上准确度为 47.73%, 甚至稍强于原模型的性能。在某些任务下，如 Helleswag， 融合后的模型甚至可以在该微调任务上超过微调后的模型，并在其他任务上超过原通用模型，即在继承微调模型和原模型的优点的同时，超过了他们。可以看出，通过 LM-Cocktail 计算融合比例，进一步融合其他微调模型，可以在保证目标任务准确度的同时，进一步提升在其他任务上的通用性能。
2. 混合已有模型处理新任务
重写后的内容：图表展示了语言模型目标任务MMLU
重写后的内容：图片：向量模型的目标任务是检索（信息检索）
微调模型需要大量的数据，同时需要大量的计算资源，尤其是微调大语言模型，这些在实际情况中不一定可以实现。在无法对目标任务进行微调的情况下，LM- Cocktail 可以通过混合已有的模型（来自开源社区或者自己历史训练积累）来实现新的能力。
通过只给定 5 条样例数据，LM-Cocktail 自动计算融合加权权重，从已有的模型进行筛选然后融合得到新的模型，而无需使用大量数据进行训练。实验发现，生成的新模型可以在新的任务上得到更高的准确度。例如，对于 Llama，通过 LM- Cocktail 融合现有 10 个模型（其训练任务都与 MMLU 榜单无关），可以取得明显的提升，并且要高于使用 5 条样例数据进行上下文学习的 Llama 模型。
请尝试使用 LM-Cocktail，我们欢迎您通过GitHub issue提供反馈和建议：https://github.com/FlagOpen/FlagEmbedding/tree/master/LM_Cocktail
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
在千兆宽带、5G通信与云服务深度普及的2026年，大众普遍以为超大文件传输已步入“秒级时代”，但现实远未达到这般畅快。当面对数TB乃至数十TB级别的庞大数据集时，当下最可靠、最迅捷且兼顾安全性的传输方案，依然是“物理位移”——依靠人工携带存储介质完成跨地域交付。一位来自河南信阳的用户讲述了真实经历：他曾需将4TB资料从信阳送往郑州，首次尝试纯网络传输，系统预估总耗时近72小时；最终改用专人驱车运送，单程仅需约2.5小时，当天即完成取件与送达，整体效率显著超越线上方式。该实例迅速引发热议，多位资深IT博主随
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
无论是专业摄影师还是摄影爱好者，相机内存储卡的可靠性都至关重要，尤其是在恶劣的拍摄环境中，数据存储的安全性更是不可忽视。尽管市场上有多种支持三防功能的移动存储设备用于数据备份，但最常用的SD存储卡由于采用塑料外壳，长期使用后容易出现破损，导致数据损坏，甚至可能损坏相机的存储卡槽，带来的损失不可估量。国际存储品牌雷克沙推出了全新的Armor系列SD存储卡，不仅读写速度快，还采用了不锈钢材质的外壳，具有优异的防水、防尘和防跌落性能，为相机的原始拍摄数据提供了可靠的保护。雷克沙ArmorSD存储卡分为GOLD
1.1计算机发展历程[计组]1.0_你好，我是计算机组成原理我们生活在一个信息化程度极高的世界中，我们每天的生活都离不开电脑和手机，这些设备实际上都属于计算机的范畴。计算机的底层结构由硬件构成，在硬件之上，我们会安装操作系统，再在操作系统上运行各种应用软件，这样就能得到一个易于使用的计算机系统。通过计算机网络，这些设备实现了信息的互联互通，这正是我们现在生活的信息化世界的缩影。计算机组成原理这门课研究的就是这些计算机硬件在底层如何协同工作。既然我们要研究硬件，不妨先来看一下大家日常生活中常见的一些硬件
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
