当前位置：

首页 > 业界资讯 > ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

作者：WeekendFlower 时间：2024-03-05 来源：互联网浏览：0

在2024世界经济论坛的一次会谈中，图灵奖得主YannLeCun提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间[1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，正是促进该过程的关键技术。然而，当下视频与文本描述间广泛存在的噪声关联现象严重阻碍了视频表征学习。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频学习方案以应对该挑战。该论文被机器学习顶会ICLR2024接收为了Oral。论文题目：Multi-granularityCorresponde

在 2024 世界经济论坛的一次会谈中，图灵奖得主 Yann LeCun 提出用来处理视频的模型应该学会在抽象的表征空间中进行预测，而不是具体的像素空间 [1]。借助文本信息的多模态视频表征学习可抽取利于视频理解或内容生成的特征，正是促进该过程的关键技术。

然而，当下视频与文本描述间广泛存在的噪声关联现象严重阻碍了视频表征学习。因此本文中，研究者基于最优传输理论，提出鲁棒的长视频学习方案以应对该挑战。该论文被机器学习顶会 ICLR 2024 接收为了 Oral。

论文题目：Multi-granularity Correspondence Learning from Long-term Noisy Videos
论文地址：https://openreview.net/pdf?id=9Cu8MRmhq2
项目地址：https://lin-yijie.github.io/projects/Norton
代码地址：https://github.com/XLearning-SCU/2024-ICLR-Norton

背景与挑战

视频表征学习是多模态研究中最热门的问题之一。大规模视频 - 语言预训练已在多种视频理解任务中取得显著效果，例如视频检索、视觉问答、片段分割与定位等。目前大部分视频 - 语言预训练工作主要面向短视频的片段理解，忽略了长视频中存在的长时关联与依赖。

如下图 1 所示，长视频学习核心难点是如何去编码视频中的时序动态，目前的方案主要集中于设计定制化的视频网络编码器去捕捉长时依赖 [2]，但通常面临很大的资源开销。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{图 1：长视频数据示例 [2]。该视频中包含了复杂的故事情节和丰富的时序动态。每个句子只能描述一个简短的片段，理解整个视频需要具有长时关联推理能力。}

由于长视频通常采用自动语言识别（ASR）得到相应的文本字幕，整个视频所对应的文本段落（Paragraph）可根据 ASR 文本时间戳切分为多个短的文本标题（Caption），同时长视频（Video）可相应切分为多个视频片段（Clip）。对视频片段与标题进行后期融合或对齐的策略相比直接编码整个视频更为高效，是长时时序关联学习的一种优选方案。

然而，视频片段与文本句子间广泛存在噪声关联现象（Noisy correspondence [3-4]，NC），即视频内容与文本语料错误地对应 / 关联在一起。如下图 2 所示，视频与文本间会存在多粒度的噪声关联问题。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{图 2：多粒度噪声关联。该示例中视频内容根据文本标题切分为 6 块。（左图）绿色时间线指示该文本可与视频内容对齐，红色时间线则指示该文本无法与整个视频中的内容对齐。t5 中的绿色文本表示与视频内容 v5 有关联的部分。（右图）虚线表示原本给定的对齐关系，红色指示原本对齐中错误的对齐关系，绿色则指示真实的对齐关系。实线表示通过 Dynamic Time Wraping 算法进行重新对齐的结果，其也未能很好地处理噪声关联挑战。}

粗粒度 NC（Clip-Caption 间）。粗粒度 NC 包括异步（Asynchronous）和不相关（Irrelevant）两类，区别在于该视频片段或标题能否与现有标题或视频片段相对应。其中「异步」指视频片段与标题间存在时序上的错位，例如图 2 中 t1。由于讲述者在实际执行动作的前后进行解释，导致陈述与行动的顺序不匹配。「不相关」则指无法与视频片段对齐的无意义标题（例如 t2 和 t6），或是无关的视频片段。根据牛津 Visual Geometry Group 的相关研究 [5]，HowTo100M 数据集中只有约 30% 的视频片段与标题在视觉上是可对齐的，而仅有 15% 是原本就对齐的；
细粒度 NC（Frame-Word 间）。针对一个视频片段，可能一句文本描述中只有部分文字与其相关。在图 2 中，标题 t5 中「糖撒在上面」与视觉内容 v5 强相关，但动作「观察釉面脱落」则与视觉内容并不相关。无关的单词或视频帧可能会阻碍关键信息提取，从而影响片段与标题间的对齐。

方法

本文提出噪声鲁棒的时序最优传输（NOise Robust Temporal Optimal transport, Norton），通过视频 - 段落级对比学习与片段 - 标题级对比学习，以后期融合的方式从多个粒度学习视频表征，显著节省了训练时间开销。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{图 3 视频 - 段落对比算法框架图。}

1）视频 - 段落对比。如图 3 所示，研究者以 fine-to-coarse 的策略进行多粒度关联学习。首先利用帧 - 词间相关性得到片段 - 标题间相关性，并进一步聚集得到视频 - 段落间相关性，最终通过视频级对比学习捕捉长时序关联。针对多粒度噪声关联挑战，具体应对如下：

面向细粒度 NC。研究者采用 log-sum-exp 近似作为 Soft-maximum 算子去识别帧 - 词和词 - 帧对齐中的关键词和关键帧，以细粒度的交互方式实现重要信息抽取，累计得到片段 - 标题相似性。
面向粗粒度异步 NC。研究者采用最优传输距离作为视频片段和标题之间的距离度量。给定视频片段 - 文本标题间相似性矩阵，其中表示片段与标题个数，最优传输目标为最大化整体对齐相似性，可天然处理时序异步或一对多（如 t3 与 v4,v5 对应）的复杂对齐情况。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

其中

为均匀分布给予每个片段、标题同等权重， ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

为传输指派或重对齐矩，可通过 Sinkhorn 算法求解。

面向粗粒度不相关 NC。受特征匹配中 SuperGlue [6] 启发，我们设计了自适应的可对齐提示桶去尝试过滤不相关的片段与标题。提示桶是一行一列的相同值向量，拼接于相似性矩阵上，其数值代表是否可对齐的相似度阈值。提示桶可无缝融入最优传输 Sinkhorn 求解中。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

通过最优传输来度量序列距离，而非直接对长视频进行建模，可显著减少计算量。最终视频 - 段落损失函数如下，其中 ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

表示第

个长视频与第

个文本段落间的相似性矩阵。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

2）片段 - 标题对比。该损失确保视频 - 段落对比中片段与标题对齐的准确性。由于自监督对比学习会将语义相似的样本错误地作为负样本优化，我们利用最优传输识别并矫正潜在的假阴性样本：

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

其中

代表训练批次中的所有视频片段和标题个数，单位矩阵 ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

代表对比学习交叉熵损失中的标准对齐目标， ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

代表融入最优传输矫正目标 ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

后的重对齐目标，

为权重系数。

实验

本文旨在克服噪声关联以提升模型对长视频的理解能力。我们通过视频检索、问答、动作分割等具体任务进行验证，部分实验结果如下。

1）长视频检索

该任务目标为给定文本段落，检索对应的长视频。在 YouCookII 数据集上，依据是否保留文本无关的视频片段，研究者测试了背景保留与背景移除两种场景。他们采用 Caption Average、DTW 与 OTAM 三种相似性度量准则。Caption Average 为文本段落中每个标题匹配一个最优视频片段，最终召回匹配数最多的长视频。DTW 和 OTAM 按时间顺序累计视频与文本段落间距离。结果如下表 1、2 所示。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{表 1、2 在 YouCookII 数据集上的长视频检索性能比较}

2）噪声关联鲁棒性分析

牛津 Visual Geometry Group 对 HowTo100M 中的视频进行了手工重标注，对每个文本标题重新标注正确的时间戳。产出的 HTM-Align 数据集 [5] 包含 80 个视频与 49K 条文本。在该数据集上进行视频检索主要验证模型是否过度拟合了噪声关联，结果如下表 9 所示。

ICLR 2024 Oral：长视频中噪声关联学习，单卡训练仅需1天

^{表 9 在 HTM-Align 数据集上针对噪声关联的有效性分析}

总结与展望

本文是噪声关联学习 [3][4]—— 数据错配 / 错误关联的深入延续，研究多模态视频 - 文本预训练面临的多粒度噪声关联问题，所提出的长视频学习方法能够以较低资源开销扩展到更广泛的视频数据中。

展望未来，研究者可进一步探讨多种模态间的关联问题，例如视频往往包含视觉、文本及音频信号；可尝试结合外部大语言模型（LLM）或多模态模型（BLIP-2）来清洗和重组织文本语料；以及探索将噪声作为模型训练正激励的可能性，而非仅仅抑制噪声的负面影响。

^{参考文献：}

^{1. 本站，“Yann LeCun：生成模型不适合处理视频，AI 得在抽象空间中进行预测”，2024-01-23.}

^{2.Sun, Y., Xue, H., Song, R., Liu, B., Yang, H., & Fu, J. (2022). Long-form video-language pre-training with multimodal temporal contrastive learning. Advances in neural information processing systems, 35, 38032-38045.}

^{3.Huang, Z., Niu, G., Liu, X., Ding, W., Xiao, X., Wu, H., & Peng, X. (2021). Learning with noisy correspondence for cross-modal matching. Advances in Neural Information Processing Systems, 34, 29406-29419.}

^{4.Lin, Y., Yang, M., Yu, J., Hu, P., Zhang, C., & Peng, X. (2023). Graph matching with bi-level noisy correspondence. In Proceedings of the IEEE/CVF international conference on computer vision.}

^{5.Han, T., Xie, W., & Zisserman, A. (2022). Temporal alignment networks for long-term video. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 2906-2916).}

^{6.Sarlin, P. E., DeTone, D., Malisiewicz, T., & Rabinovich, A. (2020). Superglue: Learning feature matching with graph neural networks. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 4938-4947).}

本文内容来源于互联网，如有侵权请联系删除。

作者最新文章

赤友清理大师 2026-09-16 17:43

南邮光擎智算团队：GaN基Micro-LED光计算芯片从理论到流片的突破 2026-09-08 18:35

多张照片怎么合成PDF文件？三种图片转PDF工具怎么选？ 2026-09-03 17:04

Excel转PDF防乱版指南：在线与本地双方案及排版检查 2026-09-03 10:04

多个PDF怎么合并成一个？合并后顺序怎么检查？ 2026-09-02 19:54

业界资讯

上一篇：手机文件传输至电脑的方法

下一篇： Photoshop快捷键技巧教程常用命令一览表及图解

相关文章更多

华为鸿蒙电脑亮相，重构产业新格局

华为鸿蒙电脑技术与生态沟通会隆重举行，首款鸿蒙电脑惊艳登场，这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步，为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功，而是华为经过五年精心策划的结果。在此期间，华为汇聚了超过10000名顶尖工程师，与20多家专业研究所紧密合作，投入大量的精力与资源进行技术研发，最终积累了超过2700项核心专利，彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核，从操作系统底层开始重构，旨在为用户提供全面升级的办公体验

2025-10-11 0 小月亮

硬件相关华为 AI 鸿蒙

Siri等明年！苹果WWDC25给AI交底：画小饼，继续熬

不求速胜，熬吧。

2025-06-10 0 BlueNight

业界资讯

比特现金未来：可扩展性与支付潜力

比特现金（BCH）的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持，比特现金有望在多个领域取得显著发展，成为一种多功能且广泛使用的加密货币。

2025-05-16 0 归人云淡风轻

业界资讯

ACH总量10亿，价值与用途详解

ACH 总共发行了 10 亿枚，用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准，采用 PoS 机制，可通过私募、公募和生态系统分配获取，其价值受服务需求、实用性和市场趋势影响，可在币安、火币等交易所购买。

2025-05-15 0 小宇宙叶知秋

业界资讯

Coinbase Pro设置指南：下载、登录与自定义

Coinbase Pro 设置步骤：下载并安装软件后，打开并登录，点击右上角齿轮图标进入“首选项”。在首选项中，你可以调整界面、安全、通知、交易和API设置，完成后点击“保存”按钮确认更改。

2025-05-15 0 归人云淡风轻

业界资讯

IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络，确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用，物联网生态系统实现了去中心化、安全、互操作性和自治，充分释放了物联网的潜力。

2025-05-15 0 RiverSoul

业界资讯

DOGE发行价多少

2025-05-15 0 RainLight

业界资讯

波场etf代码

2025-05-15 0 BrightSoul

业界资讯

TRX浏览器查询地址

2025-05-15 50 水悠悠予安

业界资讯

ChainLink跑路了吗

2025-05-15 0 RiverSoul

业界资讯

热门文章更多

Yandex中文入口及登录使用全攻略 B站免费入口永久有效网址推荐 51漫画高清入口及最新章节更新高德地图开启海拔显示方法我的世界网页版即点即玩入口推荐 JS金额计算怎么避免四舍五入误差 photoshop智能对象怎么编辑 B站免费入口网站高效连接方法 QQ网页版登录入口大全 QQ网页版官方登录指南学习通网页登录入口及账号使用教程

精品专题更多

装机必备

正软商城装机必备专区，精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件，帮助用户快速完成新电脑软件配置。

Windows

正软商城Windows软件专区，汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件，提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件

正软商城macOS软件专区，精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具，提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件更多

灵活计算器

macOS/iOS/Android

灵活计算器是一款笔记式算数应用，支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然，适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师

macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具，可精准扫描垃圾、大文件、重复文件等，释放磁盘空间。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。

极度公式

Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。

WINDOWS 更多

Windows 10

Windows

Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。

极度公式

Windows/macOS/Linux

密码键盘

Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出，适合把安全控制放进长期使用流程中的场景。