当前位置:

首页 > 业界资讯 > 在12个视频理解任务中,Mamba先打败了Transformer

在12个视频理解任务中,Mamba先打败了Transformer

本站发布学术、技术内容的专栏。近年来,本站AIxiv专栏接收报道超过2000篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com。探索视频理解的新境界,Mamba模型引领计算机视觉研究新潮流!传统架构的局限已被打破,状态空间模型Mamba以其在长序列处理上的独特优势,为视频理解领域带来了革命性的变革。来自南京大学、上海人工智能实验

本文目录

    在12个视频理解任务中,Mamba先打败了Transformer

    本站发布学术、技术内容的专栏。近年来,本站AIxiv专栏接收报道超过2000篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com。


    探索视频理解的新境界,Mamba 模型引领计算机视觉研究新潮流!传统架构的局限已被打破,状态空间模型 Mamba 以其在长序列处理上的独特优势,为视频理解领域带来了革命性的变革。

    来自南京大学、上海人工智能实验室、复旦大学、浙江大学的研究团队发布了一项开创性工作。他们全面审视了 Mamba 在视频建模中的多重角色,提出了针对 14 种模型 / 模块的 Video Mamba Suite,在 12 项视频理解任务中对其进行了深入评估。结果令人振奋:Mamba 在视频专用和视频 - 语言任务中均展现出强劲的潜力,实现了效率与性能的理想平衡。这不仅是技术上的飞跃,更是对未来视频理解研究的有力推动。

    在12个视频理解任务中,Mamba先打败了Transformer

    • 论文标题:Video Mamba Suite: State Space Model as a Versatile Alternative for Video Understanding
    • 论文链接:https://arxiv.org/abs/2403.09626
    • 代码链接:https://github.com/OpenGVLab/video-mamba-suite

    在当今快速发展的计算机视觉领域,视频理解技术已成为推动行业进步的关键驱动力之一。众多研究者致力于探索和优化各种深度学习架构,以期实现对视频内容的更深层次解析。从早期的循环神经网络(RNN)和三维卷积神经网络(3D CNN),到目前广受瞩目的 Transformer 模型,每一次技术的飞跃都极大地拓宽了我们对视频数据的理解和应用。

    特别是 Transformer 模型,以其卓越的性能在视频理解的多个领域 —— 包括但不限于目标检测、图像分割、以及多模态问答等 —— 取得了显著成就。然而,面对视频数据固有的超长序列特性,Transformer 模型也暴露出了其固有的局限性:由于其计算复杂度呈平方增长,使得对超长视频序列的直接建模变得异常困难。

    在这样的背景下,状态空间模型架构 —— 以 Mamba 为代表 —— 应运而生,以其线性计算复杂度的优势,展现出处理长序列数据的强大潜力,为 Transformer 模型的替代提供了可能。尽管如此,目前对于状态空间模型架构在视频理解领域的应用,还存在一些局限性:一是主要集中在视频全局理解任务,如分类和检索;二是主要探索了直接进行时空建模的方式,而对于更多样化的建模方法的探索尚显不足。

    为了克服这些局限,并全面评估 Mamba 模型在视频理解领域的潜力,研究团队精心打造了 video-mamba-suite(视频 Mamba 套件)。该套件旨在补充现有研究的不足,通过一系列深入的实验和分析,探索 Mamba 在视频理解中的多样化角色和潜在优势。

    研究团队将 Mamba 模型的应用划分为四种不同的角色,并据此构建了一个包含 14 个模型 / 模块的视频 Mamba 套件。经过在 12 个视频理解任务上的全面评估,实验结果不仅揭示了 Mamba 在处理视频和视频 - 语言任务上的巨大潜力,还展现了其在效率和性能之间取得的卓越平衡。论文作者们期待着这项工作能够为视频理解领域的未来研究提供可参考的资源和深刻的见解。

    在12个视频理解任务中,Mamba先打败了Transformer

    研究背景

    视频理解作为计算机视觉研究的基础问题,其核心在于捕捉视频中的时空动态,用一识别并推断活动的性质及其演变过程。目前,针对视频理解的架构探索主要分为三个方向。

    首先,基于帧的特征编码方法通过循环网络(如 GRU 和 LSTM)进行时间依赖性建模,但这种分割的时空建模方式难以捕获联合时空信息。其次,三维卷积核的使用在卷积神经网络中实现了对空间和时间相关性的同步考虑。

    随着语言和图像领域的 Transformer 模型取得巨大成功,视频 Transformer 模型也在视频理解领域取得了显著进展,展现出超越 RNNs 和 3D-CNNs 的能力。视频 Transformer 通过将视频封装在一系列 token 中,并利用注意力机制实现全局上下文交互和数据依赖的动态计算,从而在统一的方式下处理视频中的时间或时空信息。

    然而,由于视频 Transformer 在处理长视频时的计算效率有限,出现了一些变体模型,它们在速度和性能之间取得了平衡。最近,状态空间模型(SSMs)在自然语言处理(NLP)领域展现了其优势。现代 SSMs 在长序列建模中表现出强大的表征能力,同时保持线性时间复杂度。这是因为它们的选择机制消除了存储完整上下文的需要。特别是 Mamba 模型,将时变参数纳入 SSM,并提出了一种硬件感知算法,以实现高效的训练和推理。Mamba 的出色扩展性能表明,它有望成为 Transformer 的一个有前景的替代方案。

    同时,Mamba 的高性能和效率使其非常适合视频理解任务。尽管已有一些初步尝试探索 Mamba 在图像 / 视频建模中的应用,但其在视频理解中的有效性尚不明确。针对 Mamba 在视频理解中的潜力进行全面研究的缺失,限制了对其在多样化视频相关任务中能力的进一步探索。

    针对以上问题,研究团队对 Mamba 在视频理解领域的潜力进行了探索。他们的研究目标是评估 Mamba 是否可以成为该领域的 Transformer 的一个可行替代方案。为此,他们首先要解决的问题是如何看待 Mamba 在理解视频方面中的不同角色。基于此,他们进一步研究了 Mamba 在哪些任务中表现得更出色。

    论文将 Mamba 在视频建模中的作用分为以下四类:1) 时序模型,2) 时序模块,3) 多模态交互网络,4) 时空模型。针对每种角色,研究团队都在不同的视频理解任务上研究了其视频建模能力。为了公平地让 Manba 与 Transformer 一较高下,研究团队根据标准或改进的 Transformer 架构精心选择了用于对比的模型。在此基础上,他们得到了一个包含 14 个模型 / 模块的 Video Mamba Suite,适用于 12 个视频理解任务。研究团队希望 Video Mamba Suite 能成为未来探索基于 SSM 的视频理解模型的基础型资源。

    四种角色

    Mamba 作为视频时序模型

    任务和数据:研究团队对 Mamba 在五个视频时间任务上的性能进行了评估:时间动作定位(HACS Segment),时间动作分割(GTEA),密集视频字幕(ActivityNet,YouCook),视频段落字幕(ActivityNet,YouCook)和动作预测(Epic-Kitchen-100)。在12个视频理解任务中,Mamba先打败了Transformer
    基准线和挑战者:研究团队选择了基于 Transformer 的模型作为各项任务的基线。具体来说,这些基线模型包括 ActionFormer,ASFormer,Testra 和 PDVC。为了构建 Mamba 的挑战者,他们将基线模型中的 Transformer 模块替换为基于 Mamba 的模块,包括如上图三种模块,原始的 Mamba (a),ViM (b),以及研究团队原创设计的 DBM (c) 模块。值得注意的是,在涉及因果推断的动作预测任务中,论文中将基线模型与原始的 Mamba 模块进行了性能比较。

    结果和分析:论文中展示了不同模型在四项任务上的比较结果。总体而言,尽管一些基于 Transformer 的模型已经加入了注意力变体来提升性能。下表展示了 Mamba 系列相比现有 Transformer 系列方法,展示出了更加卓越的性能。

    在12个视频理解任务中,Mamba先打败了Transformer

    在12个视频理解任务中,Mamba先打败了Transformer

    在12个视频理解任务中,Mamba先打败了Transformer

    Mamba 用于多模态交互

    研究团队不仅关注了单模态任务,还评估了 Mamba 在跨模态交互任务中的性能。论文中采用视频时间定位(VTG)任务评估了 Mamba 的表现。所涉及的数据集包括 QvHighlight 和 Charade-STA。

    任务和数据:研究团队对 Mamba 在五个视频时间任务上的性能进行了评估:时间动作定位(HACS Segment),时间动作分割(GTEA),密集视频字幕(ActivityNet,YouCook),视频段落字幕(ActivityNet,YouCook)和动作预测(Epic-Kitchen-100)。

    基准线和挑战者:研究团队使用 UniVTG 来构建基于 Mamba 的 VTG 模型。UniVTG 采用 Transformer 作为多模态交互网络。给定视频特征和文本特征,他们首先为每个模态添加可学习的位置嵌入和模态类型嵌入,以保留位置和模态信息。然后,将文本和视频标记连接起来,形成一个联合输入,进一步输入到多模态 Transformer 编码器中。最后,提取文本增强的视频特征,并将其送入预测头。为了创建跨模态的 Mamba 竞争者,研究团队选择了堆叠双向 Mamba 块,形成一个多模态的 Mamda 编码器,以替代 Transformer 基线。

    结果和分析:该论文通过 QvHighlight 测试了多个模型的性能。Mamba 的平均 mAP 为 44.74,与 Transformer 相比有显著提升。在 Charade-STA 上,基于 Mamba 的方法展示出了和 Transformer 类似的竞争力。这表明 Mamba 具有有效整合多种模态的潜力。

    在12个视频理解任务中,Mamba先打败了Transformer

    考虑到 Mamba 是基于线性扫描的模型,而 Transformer 基于全局标记交互,研究团队直观地认为文本在标记序列中的位置可能会影响多模态聚合的效果。为了调查这一点,他们在表格中包括了不同的文本 - 视觉融合方法,并在图中展示了四种不同的标记排列方式。结论是,当文本条件与视觉特征的左侧融合时,可以获得最佳结果。QvHighlight 对此融合的影响较小,而 Charade-STA 对文本的位置特别敏感,这可能归因于数据集的特性。

    在12个视频理解任务中,Mamba先打败了Transformer

    Mamba 作为视频时序适配器

    在评估 Mamba 在时序后建模方面的性能之外,研究团队还考察了其作为视频时间适配器的有效性。通过在以自我为中心的数据上执行视频文本对比学习来预训练双塔模型,该数据包含 400 万个带有细粒度叙述的视频片段。

    任务和数据:研究团队对 Mamba 在五个视频时间任务上的性能进行了评估,其中包括:时序动作定位(HACS Segment),时序动作分割(GTEA),密集视频字幕(ActivityNet,YouCook),视频段落字幕(ActivityNet,YouCook)和动作预测(Epic-Kitchen-100)。

    基准线和挑战者:TimeSformer 采用了分开的时空注意力块来分别建模视频中的空间和时间关系。为此,研究团队引入了双向 Mamba 块作为时序适配器,以取代原始的时序自注意力,改善分开的时空交互。为了公平比较,TimeSformer 中的空间注意力层保持不变。在这里,研究团队使用了 ViM 块作为时序模块,并将结果模型称为 TimeMamba。

    值得注意的是,标准 ViM 块比自注意力块有更多的参数(略多于在12个视频理解任务中,Mamba先打败了Transformer),其中 C 是特征维度。因此,论文中将 ViM 块的扩展比率 E 设置为 1,将其参数量减少到在12个视频理解任务中,Mamba先打败了Transformer,以进行公平比较。除了 TimeSformer 使用的普通残差连接形式,研究团队还探索了 Frozen 风格适配方式。以下是 5 种适配器结构:

    在12个视频理解任务中,Mamba先打败了Transformer

    结果和分析

    1.零样本多实例检索。研究团队首先在表中评估了具有分开时空交互操作的不同模型,发现文中复现的 Frozen 风格残差连接与 LaViLa 的一致。当比较原始和 Frozen 风格时,不难观察到 Frozen 风格始终产生更好的结果。此外,在相同的适配方法下,基于 ViM 的时间模块始终优于基于注意力的时间模块。

    值得注意的是,论文中使用的 ViM 时间块与时间自注意力块相比参数更少,突出了 Mamba 选择性扫描的较好的参数利用率和信息提取能力。

    此外,研究团队进一步验证了时空 ViM 块。时空 ViM 块用整个视频序列上的联合时空建模取代了时序 ViM 块。令人惊讶的是,尽管引入了全局建模,但时空 ViM 块实际上导致了性能下降。为此,研究团队推测基于扫描的时空可能会破坏预训练空间注意力块产生空间特征分布。以下是实验结果:

    在12个视频理解任务中,Mamba先打败了Transformer

    2.微调多实例检索和动作识别。研究团队继续在 Epic-Kitchens-100 数据集上使用 16 帧微调预训练模型进行多实例检索和动作识别。可以从实验结果中国呢观察到 TimeMamba 在动词识别的上下文中显著优于 TimeSformer,超出了 2.8 个百分点,这说明 TimeMamba 能够在细粒度时序方面有效地建模。

    在12个视频理解任务中,Mamba先打败了Transformer

    3.零样本长视频问答。研究团队在 EgoSchema 数据集上进一步评估了模型的长视频问答性能。以下是实验结果:

    在12个视频理解任务中,Mamba先打败了Transformer

    无论是 TimeSformer 还是 TimeMamba,在 Ego4D 上预训练后,都超过了大规模预训练模型(例如 InternVideo)的性能。此外,研究团队从视频开始以固定的 FPS 不断增加了测试帧的数量,以探索 ViM 块长视频时间建模能力的影响。尽管两个模型都是用 4 帧预训练的,但随着帧数的增加,TimeMamba 和 TimeSformer 的性能稳步提高。同时,当使用 8192 帧时,可以观察到显著的改进。当输入帧超过 32 时,TimeMamba 通常比 TimeSformer 从更多的帧数中受益,表明时间 ViM 块在时序自注意力方面具有优越性。

    Mamba 用于时空建模

    任务和数据:此外,论文中还评估了 Mamba 在空间 - 时间建模方面的能力,具体在 Epic-Kitchens-100 数据集上评估了模型在零样本多实例检索方面的性能。

    基线和竞争者:ViViT 和 TimeSformer 研究了将具有空间注意力的 ViT 转化为具有空间 - 时间联合注意力的模型。基于此,研究团队进一步扩展了 ViM 模型的空间选择性扫描,以包含时空选择性扫描。命名这个扩展后的模型为 ViViM。研究团队使用在 ImageNet-1K 上预训练的 ViM 模型进行初始化。ViM 模型包含了一个 cls token,该 token 被插入到拍平的 token 序列的中间。

    下图中展示了将 ViM 模型转换为 ViViM的方法。对于给定的包含 M 帧的输入,在每帧对应的 token 序列的中间插入 cls token。此外,研究团队添加了时间位置嵌入,对每个帧初始化为零。然后将展平的视频序列输入到 ViViM 模型中。模型的输出是通过计算每帧的 cls token 的平均值来得到的。

    在12个视频理解任务中,Mamba先打败了Transformer

    结果和分析:论文中进一步研究了 ViViM 在零样本多实例检索方面的结果,实验结果如下表所示:

    在12个视频理解任务中,Mamba先打败了Transformer

    结果展示了不同时空模型在零样本多实例检索上的性能。当比较 ViT 和 ViViM 时,两者都是在 ImageNet-1K 上预训练的,可以观察到 ViViM 的性能超过了 ViT。有趣的是,尽管在 ImageNet-1K 上 ViT-S 和 ViM-S 之间的性能差距很小(79.8 vs 80.5),但 ViViM-S 在零样本多实例检索上显示出显著的改进(+2.1 mAP@Avg),这表明 ViViM 在建模长序列方面非常有效,从而提高了性能。

    结论

    这篇论文通过全面评估 Mamba 视频理解领域的表现,展示了 Mamba 可以作为传统 Transformers 的可行替代方案的潜力。通过包含 12 个视频理解任务的 14 个模型 / 模块组成的 Video Mamba Suite,研究团队展示了 Mamba 高效处理复杂时空动态的能力。Mamba 不仅性能超群,还能够更好地实现效率 - 性能之间的平衡。这些发现不仅强调了 Mamba 适用于视频分析任务,而且还为其在计算机视觉领域的应用开辟了新的途径。未来的工作可以进一步探索 Mamba 的适应性,并将其效用扩展到更复杂的多模态视频理解挑战中。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效
    Llama3训练每3小时崩一次?豆包大模型、港大团队为脆皮万卡训练提效

    伴随大模型迭代速度越来越快,训练集群规模越来越大,高频率的软硬件故障已经成为阻碍训练效率进一步提高的痛点,检查点(Checkpoint)系统在训练过程中负责状态的存储和恢复,已经成为克服训练故障、保障训练进度和提高训练效率的关键。近日,字节跳动豆包大模型团队与香港大学联合提出了ByteCheckpoint。这是一个PyTorch原生,兼容多个训练框架,支持Checkpoint的高效读写和自动重新切分的大模型Checkpointing系统,相比现有方法有显著性能提升和易用性优势。本文介绍了大模型训练提效中C

    TPAMI 2024 | ProCo: 无限contrastive pairs的长尾对比学习
    TPAMI 2024 | ProCo: 无限contrastive pairs的长尾对比学习

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com本论文第一作者杜超群是清华大学自动化系2020级直博生。导师为黄高副教授。此前于清华大学物理系获理学学士学位。研究兴趣为不同数据分布上的模型泛化和鲁棒性研究,如长尾学习,半监督学习,迁移

    亚马逊云创新「神经稀疏检索」:仅需要文本匹配就能实现语义搜索
    亚马逊云创新「神经稀疏检索」:仅需要文本匹配就能实现语义搜索

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com本文作者是来自OpenSearch中国研发团队的机器学习负责人杨扬博士以及机器学习工程师耿志超和管聪。OpenSearch是一个由亚马逊云科技发起的纯开源搜索和实时分析引擎项目。目前软件

    将图像自动文本化,图像描述质量更高、更准确了
    将图像自动文本化,图像描述质量更高、更准确了

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com皮仁杰:香港科技大学博士三年级学生,师从张潼教授和周晓方教授。于2024年获得苹果奖学金。目前主要研究方向是多模态大语言模型和数据为中心的AI。张鉴殊:武汉大学本科三年级学生,目前在张潼

    告别逐一标注,一个提示实现批量图片分割,高效又准确
    告别逐一标注,一个提示实现批量图片分割,高效又准确

    仅需一个任务描述,即可一键分割所有图片!SegmentationAnythingModel(SAM)的提出在图像分割领域引起了巨大的关注,其卓越的泛化性能引发了广泛的兴趣。然而,尽管如此,SAM仍面临一个无法回避的问题:为了使SAM能够准确地分割出目标物体的位置,每张图片都需要手动提供一个独特的视觉提示。如下图所示,即使点击的是同一物体(图(b)-(d)),微小位置变化都会导致分割结果的显著差异。这是因为视觉提示语义信息的缺乏,即使提供了想要分割的目标物体上,仍然可能引发歧义。框提示和涂鸦提示(图(e)(

    CVPR 2024 | 分割一切模型SAM泛化能力差?域适应策略给解决了
    CVPR 2024 | 分割一切模型SAM泛化能力差?域适应策略给解决了

    第一个针对「SegmentAnything」大模型的域适应策略来了!相关论文已被CVPR2024接收。引言大语言模型(LLMs)的成功激发了计算机视觉领域探索分割基础模型的兴趣。这些基础分割模型通常通过PromptEngineer来进行zero/few图像分割。其中,SegmentAnythingModel(SAM)是最先进的图像分割基础模型。图SAM在多个下游任务上表现不佳但是最近的研究表明,SAM在多种下游任务中并非具有很强的鲁棒性与泛化性,例如在医学图像、伪装物体、添加干扰的自然图像等领域表现较差。

    ECCV 2024 | 提升GPT-4V、Gemini检测任务性能,你需要这种提示范式
    ECCV 2024 | 提升GPT-4V、Gemini检测任务性能,你需要这种提示范式

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com本文作者来自浙江大学、上海人工智能实验室、香港中文大学、悉尼大学和牛津大学。作者列表:吴逸璇,王逸舟,唐诗翔,吴文灏,贺通,WanliOuyang,PhilipTorr,JianWu。其

    贾佳亚团队联手剑桥清华等共推评测新范式 一秒侦破大模型“高分低能”
    贾佳亚团队联手剑桥清华等共推评测新范式 一秒侦破大模型“高分低能”

    颠覆过往大模型评测标准,最新、最全、最权威的测评数据集MR-Ben来了!这是继今年4月发布堪称GPT-4+DALL-E-3的王炸产品超强视觉语言模型Mini-Gemini后,港中文贾佳亚团队再次提出的极具代表性的作品。在MR-Ben的“监督”下,大模型不仅要像学生那样会答题,还要像老师那样会阅卷,真实的推理能力无所遁形。MR-Ben细致地评测了不少国内外一线的开源和闭源模型,如GPT4-Turbo、Cluade3.5-Sonnet、Mistral-Large、Zhipu-GLM4、

    ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存
    ICML 2024高分论文 | 零阶优化器微调大模型,大幅降低内存

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com本文共同第一作者简介:张逸骅:密歇根州立大学计算机系博士三年级学生,师从SijiaLiu教授,主要研究方向是大模型的安全、隐私和效率问题。李平治:本科毕业于中国科学技术大学,将于2024

    哈工大提出创新迭代推理框架 DPE-MNER :充分发挥多模态表示潜力
    哈工大提出创新迭代推理框架 DPE-MNER :充分发挥多模态表示潜力

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com该文章的作者团队来自于哈工大社会计算与信息检索研究中心,作者团队构成:郑子豪、张梓涵、王泽鑫、付瑞吉、刘铭、王仲远、秦兵。多模态表示多模态命名实体识别,作为构建多模态知识图谱的一项基础而

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。