当前位置:

首页 > 业界资讯 > 基于Transformer的高效单阶段短时RGB-T单目标跟踪方法

基于Transformer的高效单阶段短时RGB-T单目标跟踪方法

引言如图1所示,现有的三阶段RGB-T单目标跟踪网络通常采用两个独立的特征提取分支,分别负责提取两个模态的特征。然而,相互独立的特征提取分支会导致两个模态在特征提取阶段存在缺乏有效的信息交互。因此,一旦网络完成离线训练,其只能从每个模态图像中提取固定的特征,无法根据实际的模态状态动态调整,以提取更具针对性的动态特征。这一局限性约束了网络对多样的目标双模态外观,以及模态外观之间动态对应关系的适应能力。如图2所示,这种特征提取方式并不适合RGB-T单目标跟踪的实际应用场景,特别是在复杂环境下,因为被跟踪目标的

本文目录

    引言

    如图1所示,现有的三阶段RGB-T单目标跟踪网络通常采用两个独立的特征提取分支,分别负责提取两个模态的特征。然而,相互独立的特征提取分支会导致两个模态在特征提取阶段存在缺乏有效的信息交互。因此,一旦网络完成离线训练,其只能从每个模态图像中提取固定的特征,无法根据实际的模态状态动态调整,以提取更具针对性的动态特征。这一局限性约束了网络对多样的目标双模态外观,以及模态外观之间动态对应关系的适应能力。如图2所示,这种特征提取方式并不适合RGB-T单目标跟踪的实际应用场景,特别是在复杂环境下,因为被跟踪目标的任意性会导致的目标双模态外观多样,并且两个模态之间的动态关系也会随着跟踪环境的变化而变化。三阶段融合跟踪无法很好地适应这种情况,从而导致其有明显的速度瓶颈。

    除了基于Transformer的RGB-T单目标跟踪网络都是采用直接相加或级联的方式,将两个模态搜索区域的特征组合在一起,输入预测头,用于输出最终的预测结果。然而,当前RGB-T单目标跟踪数据集提供的视频图像并不是完全对齐的,而且也不是每个模态搜索区域都可以提供有效信息,例如黑夜和热交叉跟踪场景下,RGB模态搜索区域和红外外搜索区域将无法提供有效的目标外观信息,存在大量的背景噪音。因此,直接通过按元素相加或级联的方式融合特征,没有考虑到不同搜索区域融合特征的问题。 为了解决这个问题,本文提出了一种新的方法,称为融合特征选择模块(FFSM)。FFSM模块主要用于选择具有有效信息的目标外观的搜索区域特征。具体来说,FFSM模块首先通过注意力机制学习每个搜索区域特征的权重。然后,根据这些权重对搜索区域特征进行加权求和,得到最终的融合特征。这种机制可以有效地过滤掉无效的背景噪音,并提取出具有较高重要性的目标外观信息,从而改善了RGB-T单目标跟踪性能。 为了验证FFSM模块的有效性,我们在大量的背景噪音存在的情况下进行了实验。实验结果表明,与直接按元素相加或级联的方式相比,使用FFSM模块的RGB-T单目标跟踪网络在目标跟踪中取得了更好的性能。在黑夜和热交叉跟踪场景下,FFSM模块能够准确地选择有效的目标外观信息,提高了目标跟踪的准确性和鲁棒性。 总之,FFSM模块的引入有效地解决了直接融合特征的问题,提高了RGB-T单目标跟踪网络的性能。该方法可以广泛应用于大量背景噪音存在

    基于Transformer的高效单阶段短时RGB-T单目标跟踪方法
    图 1
    基于Transformer的高效单阶段短时RGB-T单目标跟踪方法
    图 2

    本文介绍了一种基于Transformer的高效单阶段RGB-T单目标跟踪网络USTrack。其核心是通过联合特征提取、融合和关联建模方法,将三阶段融合跟踪方法的三个功能部分直接统一到一个ViT主干网络中同时执行,从而实现在模态交互下直接提取目标模板和搜索区域的融合特征,并构建两个融合特征之间的关联建模,从而大大提升了跟踪速度和精度。此外,USTrack还设计了一个基于模态可靠性的特征选择机制,该机制通过直接抑制无效模态的产生,可以减少无效模态的干扰,从而减少噪声信息对最终跟踪结果的影响。最终,USTrack创造了当前RGB-T单目标跟踪中最快的速度84.2FPS,并通过两个模态图像中目标的微小位置偏差以及减轻无效模态信息对跟踪结果的影响,大大减少了噪声信息对最终预测结果的影响。

    本文的贡献如下:

    当前三阶段融合跟踪网络在模态特征提取阶段存在缺乏模态交互的问题。本章提出联合特征提取 & 融合 & 关联建模方法。该方法可以在模态的交互下直接提取目标模板和搜索区域的融合特征,并同时执行两个融合特征之间的关联建模操作。首次为短时RGB-T单目标跟踪网络的设计提供了一种高效且简洁的单阶段融合跟踪范式。

    不改变原文意思,调整句子结构,“%EF%BC%882%EF%BC%89首次提出基于模态可靠性的特征选择机制,该机制可以根据实际跟踪环境来评估不同模态图像的可靠性,并根据可靠性来丢弃无效模态生成的融合特征,减少噪音信息对最终预测结果的影响,从而进一步提高跟踪性能。”

    本文介绍了在三个主流 RGB-T 单目标跟踪基准数据集上的大量实验,表明本文的方法在实现了新的 SoTA 性能的同时,也创造了高达 84.2FPS 的最快跟踪速度。特别是在 VTUAV 短时跟踪器数据集和长时跟踪数据集上,USTrack 在 MPR/MSR 指标上比现有性能最好的方法提高了 11.1%/11.7% 和 11.3%/9.7%。

    方法

    正如图 3 所示,USTrack 的总体架构由三部分组成:双嵌入层、ViT 主干网和基于模态可靠性的特征选择机制。双嵌入层由两个独立的嵌入层组成。这是考虑到注意力机制是基于相似度去获取全局信息的,并不同模态数据的内在性能,可能会导致两个模态对同一模式有不同的特征表示形式,如果直接通过注意力对模态信息进行融合,这种异质性可能会限制网络对模态状态共享信息的建模能力,从而影响后续的特征融合过程。因此,USTrack 使用两个可学习的嵌入层将不同模态对应的输入映射到一个有利于融合的空间,在一定程度上对两个模态进行模式对齐,降低模态内在性对特征融合的影响。然后,将双嵌入层的所有输出联合作为 ViT 主干网的输入,通过注意力层直接通 过注意力对模态信息进行融合,特征融合以及目标模板融合,统一 RGB-T 跟踪的三个功能阶段,为 RGB-T 跟踪提供一个高效的单阶段跟踪范式。

    基于模式可靠性的特征选择机制是一个预测头和两个可靠性评估模块。它允许两个预测头输出不同的结果,并根据模式可靠性的得分,帮助网络选择更适合当前跟踪场景的模式所对应的搜索区域。特征选择机制可用于最终的预测,从而减少无效模式产生的噪声信息对最终预测结果的影响。

    基于Transformer的高效单阶段短时RGB-T单目标跟踪方法
    图 3

    实验结果

    USTrack选择GTOT、RGB234以及VTUAV数据集作为测试基准,测试结果如图4所示。我们还以VTUAV为基准,对USTrack在不同挑战场景下的性能进行分析。如图5所示,本文筛选了性能提升最为明显的6个挑战属性。分别为:形变(DEF)、尺度变化(SV)、完全遮挡(FO)、部分遮挡(PO)、热交叉(TC)以及极端光照(EI)。具体来说,形变(DEF)和尺度变化(SV)挑战属性可以有效地展示了目标在跟踪过程中不同外观的差异。完全遮挡(FO)、部分遮挡(PO)、热交叉(TC)和极端光照(EI)挑战属性可以导致相应模态状态的外观发生变化或消失,有效地展示了目标在不同挑战场景中的动态关系。USTrack 在具有这些挑战属性的跟踪场景下取得了最显著的性能提升,可以评估联合特征提取 & 融合 & 关联建模方法可有效缓解三阶段融合跟踪范式中模态特征在提取阶段交互不足的问题,能够更好地适应目标在跟踪过程中不同外观和模态之间的动态关系。

    基于Transformer的高效单阶段短时RGB-T单目标跟踪方法
    图 4
    基于Transformer的高效单阶段短时RGB-T单目标跟踪方法
    图 5

    如图 6和所示,为了验证基于模态可靠性的特征选择机制的有效性,我们在 RGBT234 基准数据集上,展开了带有特征选择机制的双预测头结构与几种常见预测头结构的对比实验,并给出了模态可靠性与实际跟踪场景良好对应关系的可视化的结果。

    基于Transformer的高效单阶段短时RGB-T单目标跟踪方法
    图 6
    基于Transformer的高效单阶段短时RGB-T单目标跟踪方法
    图 7

    总结

    本章提出了一个基于 Transformer 的高效单阶段短时 RGB-T 单目标跟踪网USTrack。USTrack 的核心是提出联合特征提取 & 融合 & 关联建模方法,以解决传统三阶段融合跟踪网络在特征提取阶段缺乏模态交互的问题。从而增强跟踪网络了对多样的目标双模态外观和模态外观之间动态对应关系的适应能力。在此基础上,进一步提出了基于模态可靠性的特征选择机制。该机制通过直接摒弃无效模态产生的融合特征,来减少了噪声信息对最终预测结果的影响,从而获得更好的跟踪性能。USTrack 在三个主流数据集上实现了 SoTA 性能,并以 84.2 FPS 的速度创造了最快 RGB-T 跟踪推理速度的新记录。值得注意的是,在目前规模最大的 RGB-T 单目标跟踪基准数据集 VTUAV 上,该方法比现有 SoTA 方法在评估指标 MPR/MSR 上分别增加了 11.1%/11.7% 和 11.3%/9.7%,取得了较大的性能突破,为该基准数据集增添了一个新的功能强大的基线方法。

    作者信息

    1. 夏坚强

    军事科学院国防科技创新研究院硕士研究生。研究兴趣包括视觉图像处理、目标检测、单目标跟踪等。第一作者发表CCF A类会议一篇,获2022年“华为杯”第四届中国研究生人工智能创新大赛华为专项一等奖。

    2. 赵健

    赵健,中国电信人工智能研究院多媒体认知学习实验室(EVOL Lab)负责人、青年科学家,西北工业大学光电与智能研究院研究员,博士毕业于新加坡国立大学,研究兴趣包括多媒体分析、临地安防、具身智能。

    围绕无约束视觉感知理解共发表CCF-A类论文32篇,以第一/通讯作者在T-PAMI、CVPR等国际权威期刊和会议上发表论文31篇,含一作T-PAMI×2(IF: 24.314)、IJCV×3(IF: 13.369),第一发明人授权国家发明专利5项。相关技术成果在百度、蚂蚁金服、奇虎360等6个科技行业领军企业得到应用,产生了显著效益。曾入选中国科协及北京市科协“青年人才托举工程”,主持国自然青年科学基金等项目6项。曾获吴文俊人工智能优秀青年奖(2023)、吴文俊人工智能自然科学奖一等奖(2/5,2022)、新加坡模式识别与机器智能协会(PREMIA)Lee Hwee Kuan奖、ACM Multimedia唯一最佳学生论文奖(一作,1/208,CCF-A类会议,2018),7次在国际重要科技赛事中夺冠。

    担任北京图象图形学学会理事,国际知名期刊《Artificial Intelligence Advances》、《IET Computer Vision》编委,《Pattern Recognition Letters》、《Electronics》特刊客座编辑,VALSE资深领域主席,ACM Multimedia 2021分论坛主席,CICAI 2022/2023领域主席,CCBR 2024论坛主席,中国人工智能学会/中国图象图形学学会高级会员,“挑战杯”大学生科技作品竞赛评委,中国人工智能大赛专家委委员等。

    主页:https://zhaoj9014.github.io

    论文截图

    基于Transformer的高效单阶段短时RGB-T单目标跟踪方法

    论文链接

    https://arxiv.org/abs/2308.13764

    代码链接

    https://github.com/xiajianqiang

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 理论
    相关文章 更多
    OPPO 即将行业首发 5.5G 技术 理论可实现 10 倍连接速率提升
    OPPO 即将行业首发 5.5G 技术 理论可实现 10 倍连接速率提升

    3月28日,OPPOFind系列产品负责人周意保在微博发文,表示OPPO已经进入了5.5G时代。OPPOFindX7系列周意保在微博上传了一张截图,图中的手机锁屏界面右上方状态栏信号一栏显示为5GA,也就是人们更加熟悉的5.5G。此外,周意保也发文称:"和大家一起进入5.5G新移动网络时代!"宣布了5.5G新移动网络时代的到来。OPPOFind系列产品负责人周意保微博有博主表示,OPPOFindX7系列即将行业首发支持5G-A(5.5G),OTA固件已经准备好了。5G-A理论上可以实现10倍提升的连接速率

    涵盖文本、定位和分割任务,智源、港中文联合提出首个多功能3D医学多模态大模型
    涵盖文本、定位和分割任务,智源、港中文联合提出首个多功能3D医学多模态大模型

    作者|香港中文大学白帆编辑|ScienceAI近日,香港中文大学和智源联合提出的M3D系列工作,包括M3D-Data,M3D-LaMed和M3D-Bench,从数据集、模型和测评全方面推动3D医学图像分析的发展。(1)M3D-Data是目前最大的3D医学图像数据集,包括M3D-Cap(120K3D图文对),M3D-VQA(510K问答对),M3D-Seg(150K3DMask),M3D-RefSeg(3K推理分割)共四个子数据集。(2)M3D-LaMed是目前最多功能的3D医学多模态大模型,能够解决文本(

    自动识别最佳分子,降低合成成本,MIT开发分子设计决策算法框架
    自动识别最佳分子,降低合成成本,MIT开发分子设计决策算法框架

    编辑|紫罗AI在简化药物发现方面的应用正在爆炸式增长。从数十亿种候选分子中筛选出可能具有开发新药所需特性的分子。需要考虑的变量太多了,从材料价格到出错的风险,即使科学家使用AI,权衡合成最佳候选分子的成本也不是一件容易的事。在此,MIT研究人员开发了一个定量决策算法框架SPARROW,来自动识别最佳分子候选物,从而最大限度地降低合成成本,同时最大限度地提高候选物具有所需特性的可能性。该算法还确定了合成这些分子所需的材料和实验步骤。SPARROW考虑了一次合成一批分子的成本,因为多个候选分子通常可以从一些相

    Llama分子嵌入优于GPT,LLM能理解分子吗?这一局Meta赢了OpenAI
    Llama分子嵌入优于GPT,LLM能理解分子吗?这一局Meta赢了OpenAI

    编辑|萝卜皮OpenAI的GPT和MetaAI的Llama等大型语言模型(LLM)因其在化学信息学领域的潜力而日益受到认可,特别是在理解简化分子输入行输入系统(SMILES)方面。这些LLM还能够将SMILES字符串解码为矢量表示。加拿大温莎大学(UniversityofWindsor)的研究人员比较了GPT和Llama与SMILES上的预训练模型在下游任务中嵌入SMILES字符串的性能,重点关注两个关键应用:分子特性预测和药物-药物相互作用预测。该研究以「Canlargelanguagemodelsun

    大脑如何处理语言?普林斯顿团队对Transformer模型进行分析
    大脑如何处理语言?普林斯顿团队对Transformer模型进行分析

    编辑|萝卜皮在处理语言时,大脑会部署专门的计算来从复杂的语言结构中构建含义。基于Transformer架构的人工神经网络是自然语言处理的重要工具。普林斯顿大学的研究人员探讨了Transformer模型和人类大脑在语言处理中的功能特殊化问题。Transformer通过结构化电路计算整合单词间的上下文信息。不过,当前的研究主要集中于这些电路生成的内部表征(「嵌入」)。研究人员直接分析电路计算:他们将这些计算解构为功能专门的「transformations」,将跨词语的上下文信息整合在一起。利用参与者聆听自然故

    AI 可能是我们未能与外星文明取得联系的「大过滤器」
    AI 可能是我们未能与外星文明取得联系的「大过滤器」

    编辑|X人工智能(AI)在过去几年中以惊人的速度发展。一些科学家现在着眼于超级人工智能(ArtificialSuperintelligence,ASI)的发展,这是一种不仅超越人类智能,而且不受人类学习速度限制的AI。超级人工智能的发展可能会带来巨大的影响和挑战。一方面,它可能为我们带来前所未有的技术进步和创新,解决各种复杂的问题。另一方面,由于其超越人类智慧的能力,我们也需要谨慎对待和管理它的发展,以避免可能的风险和危害。因此但如果这个里程碑不仅仅是一项了不起的成就呢?如果它也代表了所有文明发展的一个巨

    高效且准确,郑州大学团队开发新AI工具识别药物-靶标相互作用
    高效且准确,郑州大学团队开发新AI工具识别药物-靶标相互作用

    编辑|枯叶蝶准确识别药物-靶标相互作用(DTI)是药物发现和药物重新定位过程中的关键步骤之一。目前,许多基于计算的模型已被提出,用于预测DTI,并取得了一些显著的进步。然而,这些方法很少关注如何以适当的方式融合与药物和靶标相关的多视角相似性网络。此外,如何充分结合已知的相互作用关系来准确表示药物和靶标尚未得到很好的研究。因此,提高DTI预测模型的准确性仍然是必要的。在最新的研究中,郑州大学、电子科技大学团队提出了一种新方法MIDTI。该方法采用多视图相似性网络融合策略和深度交互式注意机制来预测药物-靶标相

    清华AIR等提出ESM-AA,首个从氨基酸到原子尺度的蛋白质语言模型
    清华AIR等提出ESM-AA,首个从氨基酸到原子尺度的蛋白质语言模型

    来自清华大学AIR、北京大学、南京大学的研究团队提出了ESM-AA模型。该模型在蛋白质语言建模领域取得了重要进展,提供了一套整合多尺度信息的统一建模方案。它是首个能同时处理氨基酸信息和原子信息的蛋白质预训练语言模型。模型的出色性能展示了多尺度统一建模在克服现有局限和解锁新能力方面的巨大潜力。作为基座模型,ESM-AA获得了多位学者的关注与广泛讨论(截图见下方),被认为有潜力基于ESM-AA开发出可与AlphaFold3、RoseTTAFoldAll-Atom相竞争的模型,为研究不同生物结构间的相互作用开辟

    取代昂贵量子方法,南科大AI方法实现蛋白质-药物系统多尺度量子「精炼」
    取代昂贵量子方法,南科大AI方法实现蛋白质-药物系统多尺度量子「精炼」

    编辑|萝卜皮生物大分子结构对于药物开发和生物催化至关重要。量子力学(QM)方法进行晶体细化,在提高结构质量至纠正生物大分子的结构方面显露出前景。量子细化(Quantumrefinement,QR)方法采用可靠的量子力学(QM)方法进行晶体精化,以显示出前景。然而,巨大的计算成本和复杂的量子力学/分子力学(QM/MM)设置限制了QR的应用。在南方科技大学的研究团队将稳健的机器学习势(MachineLearningPotentials,MLP)融入多尺度ONIOM(QM:MM)方案中,来描述核心部分(例如药物

    Bengio等人新作:注意力可被视为RNN,新模型媲美Transformer,但超级省内存
    Bengio等人新作:注意力可被视为RNN,新模型媲美Transformer,但超级省内存

    序列建模的进展具有极大的影响力,因为它们在广泛的应用中发挥着重要作用,包括强化学习(例如,机器人和自动驾驶)、时间序列分类(例如,金融欺诈检测和医学诊断)等。在过去的几年里,Transformer的出现标志着序列建模中的一个重大突破,这主要得益于Transformer提供了一种能够利用GPU并行处理的高性能架构。然而,Transformer在推理时计算开销很大,主要在于内存和计算需求呈二次扩展,从而限制了其在低资源环境中的应用(例如,移动和嵌入式设备)。尽管可以采用KV缓存等技术提高推理效率,但Trans

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。