当前位置:

首页 > 业界资讯 > 南科大黑科技:一键消除视频人物,特效师的救星来了!

南科大黑科技:一键消除视频人物,特效师的救星来了!

来自南方科技大学的这款视频分割模型,可以追踪视频中的任意事物。不仅会“看”,还会“剪”,从视频中去掉个人,对它来说也是轻轻松松的事。而操作上,你唯一需要做的就是点几下鼠标。这位特效艺术家看到消息后仿佛找到了救星,直言这一产品将改变CGI行业的游戏规则。这款模型叫做TAM(TrackAnythingModel),是不是和Meta的图像分割模型SAM名字很像?的确,TAM就是将SAM扩展到了视频领域,点亮了动态物体追踪的技能树。视频分割模型其实不是新技术了,但传统的分割模型并没有减轻人类的工作。这些模型使用的

来自南方科技大学的这款视频分割模型,可以追踪视频中的任意事物。

不仅会“看”,还会“剪”,从视频中去掉个人,对它来说也是轻轻松松的事。

而操作上,你唯一需要做的就是点几下鼠标。

南科大黑科技:一键消除视频人物,特效师的救星来了!

这位特效艺术家看到消息后仿佛找到了救星,直言这一产品将改变CGI行业的游戏规则。

南科大黑科技:一键消除视频人物,特效师的救星来了!

这款模型叫做TAM(Track Anything Model),是不是和Meta的图像分割模型SAM名字很像?

的确,TAM就是将SAM扩展到了视频领域,点亮了动态物体追踪的技能树。

南科大黑科技:一键消除视频人物,特效师的救星来了!

视频分割模型其实不是新技术了,但传统的分割模型并没有减轻人类的工作。

这些模型使用的训练数据全部需要人工标注,甚至在使用时还需要先用特定物体的遮罩参数进行初始化。

SAM的出现为解决这一问题提供了前提——至少初始化数据不再需要人工获取。

当然,TAM也并不是逐帧使用SAM再叠加,还需要构建对应的时空关系。

团队将SAM与名为XMem的记忆模块进行了集成。

只需要在第一帧中用SAM生成初始参数,XMem便可以指导接下来的追踪过程。

追踪的目标还可以是很多个,比如下面的清明上河图:

南科大黑科技:一键消除视频人物,特效师的救星来了!

甚至场景发生改变,也不影响TAM的表现:

南科大黑科技:一键消除视频人物,特效师的救星来了!

我们体验了一番发现,TAM采用了交互式用户界面,操作上十分简单友好。

南科大黑科技:一键消除视频人物,特效师的救星来了!

硬实力方面,TAM的追踪效果的确也不错:

南科大黑科技:一键消除视频人物,特效师的救星来了!

但是,消除功能在一些细节上的精确度还有待提高。

南科大黑科技:一键消除视频人物,特效师的救星来了!

从SAM到TAM

前文已经提到,TAM是在SAM的基础之上结合记忆能力建立时空关联实现的。

具体而言,第一步是借助SAM的静态图像分割能力对模型进行初始化。

只需一次点击,SAM就能生成目标物体的初始化遮罩参数,代替了传统分割模型中的复杂初始化过程。

有了初始参数,团队就可以将它交给XMem,进行半人工干预训练,大大减少了人类工作量。

南科大黑科技:一键消除视频人物,特效师的救星来了!

在这一过程中,会有一些人工预测结果被用于和XMem的输出进行比较。

实际过程中,随着时间的增长,得到准确的分割结果对XMem变得越来越困难。

当结果与预期差距过大时,将进入再分割环节,这一步还是由SAM完成。

经过SAM的再优化,大部分输出结果已比较准确,但还有一部分需要人工再调整。

TAM的训练过程大致就是这样,而开头提到的物体消除的技能是TAM与E2FGVI结合形成的。

E2FGVI本身也是一个视频元素消除工具,在TAM精准分割的加持下,其工作更加有的放矢。

为了测试TAM,团队使用了DAVIS-16和DAVIS-17数据集对其进行了评估。

南科大黑科技:一键消除视频人物,特效师的救星来了!

直观感受还是很不错的,从数据上看也的确如此。

TAM虽然无需手工设置遮罩参数,但其J(区域相似度)和F(边界准确度)两项指标已十分接近手工模型。

甚至在DAVIS-2017数据集上的表现还略胜于其中的STM。

其他初始化方式中,SiamMask的表现根本无法和TAM相提并论;

另一种名为MiVOS方法虽然表现好于TAM,但毕竟已经进化了8轮……

南科大黑科技:一键消除视频人物,特效师的救星来了!

团队简介

TAM来自南方科技大学视觉智能与感知(VIP)实验室。

该实验室研究方向包括文本-图像-声音多模型学习、多模型感知、强化学习和视觉缺陷检测等。

目前团队已发表论文30余篇,获得专利5项。

团队领导人是南方科技大学郑锋副教授,博士毕业于英国谢菲尔德大学,先后供职于中科院深研院、腾讯优图等机构,于2018年进入南科大,2021年晋升为副教授。

论文地址:
https://arxiv.org/abs/2304.11968
GitHub页面:
https://github.com/gaomingqi/Track-Anything
参考链接:
https://twitter.com/bilawalsidhu/status/1650710123399233536?s=20

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯 视频
相关文章 更多
一年集聚61家脑机前沿企业,上海脑智天地培育不伤大脑的原创“黑科技”
一年集聚61家脑机前沿企业,上海脑智天地培育不伤大脑的原创“黑科技”

上海闵行区一年内集聚61家脑机接口企业,其中云帆未来研发出柔性电极新材料,厚度仅为传统塑料电极的千分之一,实现不伤脑、高密度信号采集,成功构建起“研发—临床—应用”产业闭环,引领脑机接口技术创新。

OPPO Find X9s Pro 体验小巧身材 大有可为
OPPO Find X9s Pro 体验小巧身材 大有可为

OPPO Find X9s Pro 的上手体验,着实让人眼前一亮。别看它机身小巧,功能配置却一个不落,称得上“面面俱到”。对于偏爱小屏手感的用户来说,这简直是一大福音——下面就来好好看看它的表现。

AI 黑科技拉满!dynabook Portégé X30L-P 企业级商务笔记本详解
AI 黑科技拉满!dynabook Portégé X30L-P 企业级商务笔记本详解

dynabookPortégéX30L-P定位高频出差、移动办公与涉密场景,融合轻、强、智、稳特性。AI算力落地于线上会议续航优化、本地生成式AI助手、隔空手势操控及AI防窥侦测。配备全规格高速接口、长续航快充及三重安全防护,成为新一代AI移动商务笔记本标杆。

捷报!光高少年凭科创 “黑科技” 斩获国际发明展金奖
捷报!光高少年凭科创 “黑科技” 斩获国际发明展金奖

深圳光明区高级中学学生团队凭借《基于超声波RFID多元传感技术锂电池检测仪》荣获马来西亚第37届国际发明、创新、技术展览会暨世界青年发明展金奖。该作品融合超声波与RFID多元传感技术,精准识别隐蔽锂电池,阻断入户充电火灾隐患。

80余项黑科技扎堆首秀,这场数字盛会直接把未来生活搬上了舞台
80余项黑科技扎堆首秀,这场数字盛会直接把未来生活搬上了舞台

2026全球数字经济大会集中展示80余项前沿技术,涵盖机器人、大模型、智慧医疗等领域。具身智能产业链加速成型,仿生灵巧手、机器人自我装配产线亮相;大模型转向实际执行,跨境贸易智能体发布;医疗AI可自动生成颅脑CT完整报告,并通过执业医师考试。

国货“黑科技”成京东养车618黑马 玲珑轮胎成交额同比增长8倍
国货“黑科技”成京东养车618黑马 玲珑轮胎成交额同比增长8倍

国货轮胎在京东养车618期间成交额同比增长430%,玲珑轮胎作为“新国货计划”代表,成交额增长8倍。政府补贴覆盖汽车后市场后,参与补贴的国货轮胎销量增长200%,玲珑轮胎日均销量增幅达500%。以玲珑为代表的国产轮胎凭借性价比和线上服务,推动轮胎消费迈向“质价平权”新阶段。

极限制造:揭秘电机“心脏”里的“蝉翼黑科技”
极限制造:揭秘电机“心脏”里的“蝉翼黑科技”

宝钢量产0.1毫米蝉翼级无取向硅钢,用于人形机器人、低空飞行器及新能源汽车电机。全球每4辆新能源车中1辆采用该硅钢。极限制造体系实现高磁感、低铁损,突破实验室到产业化瓶颈。中国高端硅钢已居第一梯队,未来需聚焦迭代、成本及更薄规格研发。

解码未来产业丨改变未来的黑科技——量子科技
解码未来产业丨改变未来的黑科技——量子科技

量子科技被列为“十五五”规划六大未来产业之首,正从实验室走向产业应用,涵盖量子计算、量子通信和精密测量等领域,带来算力革命、安全屏障与感知升级,但面临技术成熟、生态构建和人才培养等挑战。

【2026打卡中国】满满黑科技!“机器人+”见证山东智造硬核实力
【2026打卡中国】满满黑科技!“机器人+”见证山东智造硬核实力

2026年7月13日,山东济宁举办“机器人+”创新发展大会,发布《2026“机器人+”应用场景分析报告》,展示智能制造、医疗康养等十大赛道场景,中外博主现场体验前沿装备,供需对接专区推动产业链深度融合。

洗衣机活氧是什么技术?是智商税吗?拆解高端洗护黑科技
洗衣机活氧是什么技术?是智商税吗?拆解高端洗护黑科技

活氧洗衣机通过电解空气中氧气生成活性氧因子,深入纤维缝隙高效除菌除螨、祛除异味并分解洗衣液残留。该技术切实改善洗护品质,并非智商税,选购需结合预算与需求理性判断。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。