「无需配对数据」就能学习！浙大等提出连接多模态对比表征C-MCR
多模态对比表示（MCR）旨在将来自不同模态的输入编码到一个语义对齐的共享空间中随着视觉-语言领域中CLIP模型的巨大成功，越来越多的模态对比表征开始出现，并在许多下游任务上取得明显的改善，但这些方法严重依赖于大规模高质量的配对数据为了解决这个问题，来自浙江大学等机构的研究人员提出了连接多模态对比表示（C-MCR），一种无需配对数据且训练极为高效的多模态对比表征学习方法。请点击以下链接查看论文：https://arxiv.org/abs/2305.14381C-MCR项目主页链接：https://c-mcr
多模态对比表示（MCR）旨在将来自不同模态的输入编码到一个语义对齐的共享空间中
随着视觉-语言领域中CLIP模型的巨大成功，越来越多的模态对比表征开始出现，并在许多下游任务上取得明显的改善，但这些方法严重依赖于大规模高质量的配对数据
为了解决这个问题，来自浙江大学等机构的研究人员提出了连接多模态对比表示（C-MCR），一种无需配对数据且训练极为高效的多模态对比表征学习方法。
请点击以下链接查看论文：https://arxiv.org/abs/2305.14381
C-MCR项目主页链接：https://c-mcr.github.io/C-MCR/
模型和代码地址：https://github.com/MCR-PEFT/C-MCR
该方法在不使用任何配对数据的情况下，通过枢纽模态连接不同的预训练对比表征，我们学习到了强大的音频-视觉和3D点云-文本表征，并在音频-视觉检索、声源定位、3D物体分类等多个任务上取得了SOTA效果。
介绍
多模态对比表示（MCR）旨在将不同模态的数据映射到统一的语义空间中。随着CLIP在视觉-语言领域的巨大成功，学习更多模态组合之间的对比表示已成为一个热门研究课题，吸引了越来越多的关注。
然而，现有多模态对比表示的泛化能力主要受益于大量高质量数据对。这严重限制了对比表征在缺乏大规模高质量数据的模态上的发展。例如，音频和视觉数据对之间的语义相关性往往是模糊的，3D点云和文本之间的配对数据稀缺且难以获得。
不过，我们观察到，这些缺乏配对数据的模态组合，往往和同一个中间模态具有大量高质量配对数据。比如，在音频-视觉领域，尽管视听数据质量不可靠，但音频-文本和文本-视觉之间存在大量高质量的配对数据。
同样，虽然3D点云-文本配对数据的可用性有限，但3D点云-图像和图像-文本数据却非常丰富。这些枢纽模态可以为模式之间建立进一步关联的纽带。
考虑到具有大量配对数据的模态间往往已经拥有预训练的对比表示，本文直接尝试通过枢纽模态来将不同模态间的对比表征连接起来，从而为缺乏配对数据的模态组合构建新的对比表征空间。
使用连接多模态对比表示（C-MCR）可以通过重叠模态来构建已有大量多模态对比表示的连接，从而学习更广泛的模态之间的对齐关系。这个学习过程不需要任何配对数据，并且具有极高的效率
C-MCR具有两个关键优势：
重点在于灵活性：
C-MCR的能力在于为模态学习提供缺乏直接配对的对比表征。从另一个角度来看，C-MCR将每个已有的多模态对比表示空间视为一个节点，并将重叠的模态视为关键的枢纽模态
通过连接各个孤立的多模态对比表征，我们能够灵活地扩展所获得的多模态对齐知识，并挖掘出更广泛的模态间对比表示
2、高效性：
由于C-MCR仅需为已有的表征空间构建连接，因此只用学习两个简单的映射器，其训练参数和训练成本都是极低的。
在这项实验中，我们使用文本作为枢纽，将视觉-文本（CLIP）和文本-音频（CLAP）进行对比表示空间的连接，最终得到了高质量的视觉-音频表示
类似地，通过使用图像连接文本-视觉（CLIP）和视觉-3D点云（ULIP）进行比较来表示空间，也可以得到一组3D点云-文本对比表示
方法
图1 (a) 介绍了C-MCR的算法流程（以使用文本连接CLIP和CLAP为例）。
文本（重叠模态）的数据分别被CLIP和CLAP的文本编码器编码为文本特征：、。
同时，还有大量的非配对单模态数据被分别编码到CLIP和CLAP空间中，形成了图像记忆和音频记忆
特征语义增强是指通过对特征进行改进和优化，以提升其语义表达能力的过程。通过对特征进行适当的调整，可以使其更加准确地反映所要表达的含义，从而提高语言表达的效果。特征语义增强技术在自然语言处理领域具有重要的应用价值，可以帮助机器理解和处理文本信息，提高机器在语义理解和语义生成方面的能力
我们可以从提升表征的语义信息出发，以增强空间连接的鲁棒性和全面性。在此方面，我们首先从语义一致性和语义完整性两个角度进行探讨
模态间语义一致性
CLIP和CLAP分别已经学到了可靠的对齐的图像-文本和文本-音频表征。
我们利用CLIP和CLAP中这种内在的模态对齐性来生成与第i个文本语义一致的图像和音频特征，从而更好地量化对比表征空间中的modality gap以及更直接的挖掘非重叠模态间的关联性：
模态内语义完整性
不同表征空间对于数据的语义表达会有不同的倾向性，因此不同空间下的同一个文本也会不可避免的存在语义偏差和丢失。在连接表示空间时，这种语义偏差会被累积并且放大。
为了增强每个表征的语义完整性，我们提出将零均值高斯噪声添加到表征中，并将它们重新归一化为单位超球面上：
如图1 (c) 中所示，在对比表征空间中，每个表征可以看代表是在单位超球面上的一个点。添加高斯噪声并重新归一化则使表征能够代表了单位球面上的一个圆。
当两个特征的空间距离越接近时，它们的语义相似度也越高。因此，圆内的特征都具有相似的语义，圆能够更完整地表示语义
2. Inter-MCR的对齐
在表征语义增强之后，我们使用两个映射器 和 来将CLIP和CLAP表征重新映射到一个新的共享空间
新空间需要确保来自不同空间的语义相似的表征彼此接近。
来源于同一文本的 (
,
) 是天然语义一致的，可以被看做真实标签对，而源自于 (,
) 的 (
,
) 可以被视为伪标签对。
(
,
) 之间的语义高度一致，但从它们中学习到的连接对于音频-视觉来说是间接的。 而(
,
)对的语义一致性虽然不太可靠，但其更直接地有利于音频-视觉表征。
为了更全面地连接两个对比表征空间，我们同时对齐 (
,
) 和 (
,
)：
3. Intra-MCR的对齐
除了空间之间的连接，对比表征空间内部还存在着modality gap的现象。即在对比表征空间中，不同模态的表征虽然语义对齐，但它们分布在完全不同的子空间中。这意味着从 (,) 学习到的更稳定的连接可能不能很好的被音频-视觉继承。
为了解决这个问题，我们提出重新对齐各个对比表征空间的不同模态表征。具体来说，我们去除对比损失函数中的负例排斥结构，来推导出用于减小modality gap的损失函数。典型的对比损失函数可以表述为：
我们消除其中的负对排斥项后，最终的公式可以简化为：
实验
实验上，我们通过使用文本连接音频-文本空间（CLAP）和文本-视觉空间（CLIP）来获得音频-视觉表征，使用图像连接3D点云-图像空间（ULIP）和图像-文本空间（CLIP）来获得3D点云-文本表征。
在AVE和Flickr-SoundNet上进行零样本音频图像检索的结果如下：
MUSIC-Solo和VGGSS上的零样本声源定位结果如下：
在Ex-VGGSS和Ex-FlickrNet上的零样本反事实音频图像识别结果如下所示：
在ModelNet40上的zero-shot 3D点云分类结果如下：
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
AI视频生成正迎来属于“通义”的高光时刻！就在昨晚，阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频，就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频，效果惊艳。实际效果展示如下：△来自@AIMIRAI46487更令人振奋的是，这款新模型一经发布便全面开源，现在所有人都可以免费在通义万相官网体验使用。据官方介绍，Wan2.2-S2V的核心优势包括：支持最长分钟级的单次视频生成，画面稳定且具有一致性；具备影院级别的音
近日，有汽车领域博主爆料，特斯拉的FSD（完全自动驾驶）辅助系统将迎来一次重要升级，或将实现更真实的环境场景还原。在最新曝光的软件代码中，发现了大量新增的渲染模型，涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人，以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息，日本方面已为特斯拉FSD系统的落地扫
大语言模型面对加密数据，即便最新的Qwen3也会感到压力！尽管当下各类推理模型在多种基准测试中表现优异，但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域，模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链，还需要其能够精准辨识复杂加密模式中的潜在规律；成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评，使用大量真实隐私场景数据和多种密码算法，严苛挑战当前最先进的大模型。CipherBank的测评结果显示，目前的大语言模型
现在，请大家一起来数一下"1"、"2"。OK，仅仅2秒的时间，一个接近万亿规模的MoE大模型就已经掌握了如何解答一道高等数学难题的方法！而且呢，这个大模型还是完全依靠国产设备进行训练的，整个流程都体现了浓浓的“国产”特色。这就是华为借助"昇腾+PanguUltraMoE"这一组合实现的成果——不仅达成了国产算力与国产模型在全流程上的自主可控训练闭环，还在集群训练系统的性能方面达到了行业顶尖水平。有多顶尖？来看一组数据：预训练阶段：昇腾Atlas800TA2万卡集群的MFU提升
只需动动嘴，就能操控GUI代理？由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手，直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端（End-to-End）决策的自主GUI智能体，致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音，智能代理的新一轮进化目前，基于大语言模型（LLMs）的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作，显著提升用户效率。然而，这种依赖文本输入的方式在某些场景中存在明显局限
哭死啊，全球狂炼大模型，一互联网的数据不够用，根本不够用。训练模型搞得跟《饥饿游戏》似的，全球AI研究者，都在苦恼怎么才能喂饱这群数据大胃王。尤其在多模态任务中，这一问题尤为突出。一筹莫展之际，来自人大系的初创团队，用自家的新模型，率先在国内把“模型生成数据自己喂自己”变成了现实。而且还是理解侧和生成侧双管齐下，两侧都能生成高质量、多模态的新数据，对模型本身进行数据反哺。模型是啥？中关村论坛上刚刚露面的多模态大模型Awaker1.0。团队是谁？智子引擎。由人大高瓴人工智能学院博士生高一钊创立，高瓴人工智能
强化学习（RL）结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而，这一方法面临两大挑战：搜索引擎返回的文档质量不稳定，导致训练过程中的噪音和不稳定性；RL训练需要频繁部署，产生大量API开销，限制了可扩展性。针对这些问题，阿里通义实验室推出了开源解决方案ZeroSearch，这是一个无需与真实搜索引擎交互的强化学习框架。实验表明，ZeroSearch只需使用3B参数的LLM作为检索模块，就能有效提升搜索能力，并大幅节省API成本。ZeroSearch让LLM实现自给自足
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
