LLama+Mistral+…+Yi=? 免训练异构大模型集成学习框架DeePEn来了
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com本文的主要作者为黄毅翀。黄毅翀是哈尔滨工业大学社会计算与信息检索研究中心博士生，鹏城实验室实习生，师从秦兵教授和冯骁骋教授。研究方向包括大语言模型集成学习、多语言大模型，相关论文发表于自
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com
论文标题：Ensemble Learning for Heterogeneous LargeLanguage Models with Deep Parallel Collaboration 论文地址：https://arxiv.org/abs/2404.12715 代码地址：https://github.com/OrangeInSouth/DeePEn
，并从中抽取一个子集 A⊆C 或使用全部共享词作为锚点词集合 A=C。
，DeePEn 计算词表中每个 token 与锚点 token 的嵌入相似度，得到相对表示矩阵
。最后，为了克服离群词的相对表示退化问题，论文作者对相对表示矩阵进行行归一化，通过对矩阵的每一行进行 softmax 操作，得到归一化相对表示矩阵
。
输出概率分布
，DeePEn 使用归一化相对表示矩阵将
转换为相对表示
：
其中
是模型的协作权重。作者尝试了两种确定协作权重值的方法：(1) DeePEn-Avg，对所有模型使用相同的权重；(2) DeePEn-Adapt，根据各个模型的验证集性能成比例地为每个模型设置权重。
表示模型的绝对空间，
是衡量相对表示之间距离的损失函数（KL 散度）。
相对于绝对表示的梯度来指导搜索过程，并迭代地进行搜索。具体来说，DeePEn 将搜索的起始点
初始化为主模型的原始绝对表示，并进行更新：
来确定下一步输出的 token。
华为鸿蒙电脑技术与生态沟通会隆重举行，首款鸿蒙电脑惊艳登场，这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步，为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功，而是华为经过五年精心策划的结果。在此期间，华为汇聚了超过10000名顶尖工程师，与20多家专业研究所紧密合作，投入大量的精力与资源进行技术研发，最终积累了超过2700项核心专利，彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核，从操作系统底层开始重构，旨在为用户提供全面升级的办公体验
比特现金（BCH）的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持，比特现金有望在多个领域取得显著发展，成为一种多功能且广泛使用的加密货币。
ACH 总共发行了 10 亿枚，用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准，采用 PoS 机制，可通过私募、公募和生态系统分配获取，其价值受服务需求、实用性和市场趋势影响，可在币安、火币等交易所购买。
Coinbase Pro 设置步骤：下载并安装软件后，打开并登录，点击右上角齿轮图标进入“首选项”。在首选项中，你可以调整界面、安全、通知、交易和API设置，完成后点击“保存”按钮确认更改。
IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络，确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用，物联网生态系统实现了去中心化、安全、互操作性和自治，充分释放了物联网的潜力。
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
