当前位置:

首页 > 业界资讯 > 南科大黑科技:一键消除视频人物,特效师的救星来了!

南科大黑科技:一键消除视频人物,特效师的救星来了!

来自南方科技大学的这款视频分割模型,可以追踪视频中的任意事物。不仅会“看”,还会“剪”,从视频中去掉个人,对它来说也是轻轻松松的事。而操作上,你唯一需要做的就是点几下鼠标。这位特效艺术家看到消息后仿佛找到了救星,直言这一产品将改变CGI行业的游戏规则。这款模型叫做TAM(TrackAnythingModel),是不是和Meta的图像分割模型SAM名字很像?的确,TAM就是将SAM扩展到了视频领域,点亮了动态物体追踪的技能树。视频分割模型其实不是新技术了,但传统的分割模型并没有减轻人类的工作。这些模型使用的

本文目录

    来自南方科技大学的这款视频分割模型,可以追踪视频中的任意事物。

    不仅会“看”,还会“剪”,从视频中去掉个人,对它来说也是轻轻松松的事。

    而操作上,你唯一需要做的就是点几下鼠标。

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    这位特效艺术家看到消息后仿佛找到了救星,直言这一产品将改变CGI行业的游戏规则。

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    这款模型叫做TAM(Track Anything Model),是不是和Meta的图像分割模型SAM名字很像?

    的确,TAM就是将SAM扩展到了视频领域,点亮了动态物体追踪的技能树。

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    视频分割模型其实不是新技术了,但传统的分割模型并没有减轻人类的工作。

    这些模型使用的训练数据全部需要人工标注,甚至在使用时还需要先用特定物体的遮罩参数进行初始化。

    SAM的出现为解决这一问题提供了前提——至少初始化数据不再需要人工获取。

    当然,TAM也并不是逐帧使用SAM再叠加,还需要构建对应的时空关系。

    团队将SAM与名为XMem的记忆模块进行了集成。

    只需要在第一帧中用SAM生成初始参数,XMem便可以指导接下来的追踪过程。

    追踪的目标还可以是很多个,比如下面的清明上河图:

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    甚至场景发生改变,也不影响TAM的表现:

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    我们体验了一番发现,TAM采用了交互式用户界面,操作上十分简单友好。

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    硬实力方面,TAM的追踪效果的确也不错:

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    但是,消除功能在一些细节上的精确度还有待提高。

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    从SAM到TAM

    前文已经提到,TAM是在SAM的基础之上结合记忆能力建立时空关联实现的。

    具体而言,第一步是借助SAM的静态图像分割能力对模型进行初始化。

    只需一次点击,SAM就能生成目标物体的初始化遮罩参数,代替了传统分割模型中的复杂初始化过程。

    有了初始参数,团队就可以将它交给XMem,进行半人工干预训练,大大减少了人类工作量。

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    在这一过程中,会有一些人工预测结果被用于和XMem的输出进行比较。

    实际过程中,随着时间的增长,得到准确的分割结果对XMem变得越来越困难。

    当结果与预期差距过大时,将进入再分割环节,这一步还是由SAM完成。

    经过SAM的再优化,大部分输出结果已比较准确,但还有一部分需要人工再调整。

    TAM的训练过程大致就是这样,而开头提到的物体消除的技能是TAM与E2FGVI结合形成的。

    E2FGVI本身也是一个视频元素消除工具,在TAM精准分割的加持下,其工作更加有的放矢。

    为了测试TAM,团队使用了DAVIS-16和DAVIS-17数据集对其进行了评估。

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    直观感受还是很不错的,从数据上看也的确如此。

    TAM虽然无需手工设置遮罩参数,但其J(区域相似度)和F(边界准确度)两项指标已十分接近手工模型。

    甚至在DAVIS-2017数据集上的表现还略胜于其中的STM。

    其他初始化方式中,SiamMask的表现根本无法和TAM相提并论;

    另一种名为MiVOS方法虽然表现好于TAM,但毕竟已经进化了8轮……

    南科大黑科技:一键消除视频人物,特效师的救星来了!

    团队简介

    TAM来自南方科技大学视觉智能与感知(VIP)实验室。

    该实验室研究方向包括文本-图像-声音多模型学习、多模型感知、强化学习和视觉缺陷检测等。

    目前团队已发表论文30余篇,获得专利5项。

    团队领导人是南方科技大学郑锋副教授,博士毕业于英国谢菲尔德大学,先后供职于中科院深研院、腾讯优图等机构,于2018年进入南科大,2021年晋升为副教授。

    论文地址:
    https://arxiv.org/abs/2304.11968
    GitHub页面:
    https://github.com/gaomingqi/Track-Anything
    参考链接:
    https://twitter.com/bilawalsidhu/status/1650710123399233536?s=20

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 视频
    相关文章 更多
    如何加快iPad的使用速度
    如何加快iPad的使用速度

    如何加快iPad的使用速度寻找更快、更智能地完成工作的方法几乎是每个人的首要任务。iPad是每个人的首选小工具,从忙碌的专业人士到创意人士和学生,它提供的远不止眼前所见。幸运的是,ByteReview有一个很棒的视频,其中包含各种巧妙的技巧和窍门,可以提升您的iPad游戏。准备好让你的iPad更努力地工作了,这样你就不必这样做了吗?让我们深入了解将您的平板电脑变成生产力机器的天才技巧。解锁ApplePencil的魔力ApplePencil不仅仅是一支手写笔;对于iPad用户来说,这是一根效率的魔杖。

    一年集聚61家脑机前沿企业,上海脑智天地培育不伤大脑的原创“黑科技”
    一年集聚61家脑机前沿企业,上海脑智天地培育不伤大脑的原创“黑科技”

    上海闵行区一年内集聚61家脑机接口企业,其中云帆未来研发出柔性电极新材料,厚度仅为传统塑料电极的千分之一,实现不伤脑、高密度信号采集,成功构建起“研发—临床—应用”产业闭环,引领脑机接口技术创新。

    OPPO Find X9s Pro 体验小巧身材 大有可为
    OPPO Find X9s Pro 体验小巧身材 大有可为

    OPPO Find X9s Pro 的上手体验,着实让人眼前一亮。别看它机身小巧,功能配置却一个不落,称得上“面面俱到”。对于偏爱小屏手感的用户来说,这简直是一大福音——下面就来好好看看它的表现。

    AI 黑科技拉满!dynabook Portégé X30L-P 企业级商务笔记本详解
    AI 黑科技拉满!dynabook Portégé X30L-P 企业级商务笔记本详解

    dynabookPortégéX30L-P定位高频出差、移动办公与涉密场景,融合轻、强、智、稳特性。AI算力落地于线上会议续航优化、本地生成式AI助手、隔空手势操控及AI防窥侦测。配备全规格高速接口、长续航快充及三重安全防护,成为新一代AI移动商务笔记本标杆。

    捷报!光高少年凭科创 “黑科技” 斩获国际发明展金奖
    捷报!光高少年凭科创 “黑科技” 斩获国际发明展金奖

    深圳光明区高级中学学生团队凭借《基于超声波RFID多元传感技术锂电池检测仪》荣获马来西亚第37届国际发明、创新、技术展览会暨世界青年发明展金奖。该作品融合超声波与RFID多元传感技术,精准识别隐蔽锂电池,阻断入户充电火灾隐患。

    80余项黑科技扎堆首秀,这场数字盛会直接把未来生活搬上了舞台
    80余项黑科技扎堆首秀,这场数字盛会直接把未来生活搬上了舞台

    2026全球数字经济大会集中展示80余项前沿技术,涵盖机器人、大模型、智慧医疗等领域。具身智能产业链加速成型,仿生灵巧手、机器人自我装配产线亮相;大模型转向实际执行,跨境贸易智能体发布;医疗AI可自动生成颅脑CT完整报告,并通过执业医师考试。

    国货“黑科技”成京东养车618黑马 玲珑轮胎成交额同比增长8倍
    国货“黑科技”成京东养车618黑马 玲珑轮胎成交额同比增长8倍

    国货轮胎在京东养车618期间成交额同比增长430%,玲珑轮胎作为“新国货计划”代表,成交额增长8倍。政府补贴覆盖汽车后市场后,参与补贴的国货轮胎销量增长200%,玲珑轮胎日均销量增幅达500%。以玲珑为代表的国产轮胎凭借性价比和线上服务,推动轮胎消费迈向“质价平权”新阶段。

    极限制造:揭秘电机“心脏”里的“蝉翼黑科技”
    极限制造:揭秘电机“心脏”里的“蝉翼黑科技”

    宝钢量产0.1毫米蝉翼级无取向硅钢,用于人形机器人、低空飞行器及新能源汽车电机。全球每4辆新能源车中1辆采用该硅钢。极限制造体系实现高磁感、低铁损,突破实验室到产业化瓶颈。中国高端硅钢已居第一梯队,未来需聚焦迭代、成本及更薄规格研发。

    解码未来产业丨改变未来的黑科技——量子科技
    解码未来产业丨改变未来的黑科技——量子科技

    量子科技被列为“十五五”规划六大未来产业之首,正从实验室走向产业应用,涵盖量子计算、量子通信和精密测量等领域,带来算力革命、安全屏障与感知升级,但面临技术成熟、生态构建和人才培养等挑战。

    【2026打卡中国】满满黑科技!“机器人+”见证山东智造硬核实力
    【2026打卡中国】满满黑科技!“机器人+”见证山东智造硬核实力

    2026年7月13日,山东济宁举办“机器人+”创新发展大会,发布《2026“机器人+”应用场景分析报告》,展示智能制造、医疗康养等十大赛道场景,中外博主现场体验前沿装备,供需对接专区推动产业链深度融合。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。