当前位置:

首页 > 硬件相关 > 中科大与上海AI实验室联手:AI视频实现多镜头切换防眩晕能力

中科大与上海AI实验室联手:AI视频实现多镜头切换防眩晕能力

这项由中国科学技术大学与上海人工智能实验室、浙江大学联合开展的研究,以预印本形式发布于2026年5月,论文编号为arXiv:2605.23903。你有没有想过,导演在拍电影时,有时候会对同一个场景从不同角度重拍好几次?比如,先从正面拍一个人走路,再换到侧面、俯视、甚至绕着他转一圈——“多机位拍摄”。

本文目录


    这项由中国科学技术大学与上海人工智能实验室、浙江大学联合开展的研究,以预印本形式发布于2026年5月,论文编号为arXiv:2605.23903。

    你有没有想过,导演在拍电影时,有时候会对同一个场景从不同角度重拍好几次?比如,先从正面拍一个人走路,再换到侧面、俯视、甚至绕着他转一圈——“多机位拍摄”。但在真实拍摄中,这需要多台摄像机同时开机,或者让演员一遍遍重复表演,耗时又耗力。

    那么,有没有办法让AI帮忙完成这件事——你只给它一段普通视频,告诉它“我想看从左边45度拍的效果”,它就能自动生成那个从来不曾存在过的新视角视频?这正是近年视频生成领域一个非常热门的研究方向,专业上叫做“相机控制的视频重渲染”。

    然而,现有的AI模型在这件事上,有一个让人头疼的毛病:它们在实验室里表现不错,一旦遇到真实世界的视频,就开始“晕镜头”——生成出来的新视角要么比例失真,要么镜头轨迹根本不对,像是一个不听话的摄影助手,你让它向左移两步,它却乱走一通。

    那问题怎么解决?研究团队提出了一套名为“Geo-Align”的新框架,核心思路是用强化学习(Reinforcement Learning,简单来说就是一种“试错学习”的AI训练方式)来纠正模型的“方向感”,让AI生成的新视角视频能真正符合你指定的摄像机运动路径,同时保持画面的美观与自然。

    一、问题的根源:AI摄影助手为何总是走错路

    要理解Geo-Align解决了什么问题,先得搞清楚现有方法为何会出错。

    以往的AI视频重渲染方法大致分两种思路。第一种叫“显式几何变换”,类似于先用尺子量好房间的布局,再告诉搬家工人该怎么移动家具。具体来说,模型会先估计视频里每个像素的深度(也就是它距离摄像机有多远),然后把画面“翻折”到新的视角,最后用另一个AI模型填补翻折后出现的空洞。TrajectoryCrafter和CogNVS是这类方法的代表。这种做法的问题在于,翻折过程中难免出现“缝隙”和“拉伸变形”,尤其是镜头移动幅度较大时,画面会像一块橡皮泥被扯歪一样,充满了人工痕迹。

    第二种思路叫“隐式条件方法”,代表是ReCamMaster和ReDirector。这类方法不再手动“翻折”画面,而是直接把目标摄像机的运动参数输入给AI模型,让模型自己学会“如果摄像机这样动,画面应该长什么样”。听起来更聪明,但问题随之而来——模型是用合成数据训练的,也就是用游戏引擎或虚拟软件制作的假视频。而真实世界里的视频和虚拟环境差别很大,就像一个厨师只在模拟厨房练过手,真正上灶却不知道怎么控制火候。

    这里还有第二个深层问题,叫做“尺度模糊”。摄像机的运动,其实有两个分量:旋转(左转右转)和平移(向前后左右移动)。对于旋转,AI还比较容易学;但对于平移,必须知道真实的物理尺度——移动了多少厘米,才有意义。偏偏现有的真实世界视频数据,几乎都没有可靠的物理尺度标注。于是AI学出来的模型,移动“一步”到底是1厘米还是1米,完全不确定,导致生成视频的镜头运动经常要么蜷缩不动,要么猛地一飞冲天。

    Geo-Align就是专门为解决这两个痛点而设计的——数据稀缺和尺度模糊。

    二、灵感来源:从“背死书”到“考场上练真题”

    传统的监督学习(Supervised Fine-Tuning,简称SFT)训练方式,相当于让AI“背标准答案”。你把一段视频和对应的目标视角视频都给它看,告诉它“输入这个,输出那个”,它就记住这个映射关系。但这种方式有个天然弱点:如果考试题目和练习题稍有不同,它就不知道怎么办。更何况,“正确答案”——也就是同一场景、同一时刻的多机位真实视频——在现实中极其罕见,根本没有那么多“标准教材”可以背。

    强化学习换了一种思路,更像是“在真实场景里反复练习,根据结果好坏来调整行为”。你不需要提前准备标准答案,只需要有一种方法能判断AI的输出“好不好”。如果生成的视频符合指定的镜头运动,就给奖励;如果偏差很大,就惩罚。AI通过不断尝试和反馈,逐渐学会正确的行为。

    这种思路的关键优势是:不需要“配对”数据,也就是不需要同一场景的多视角同步视频。你只需要有真实世界的普通视频,再配上一条目标摄像机轨迹,训练就可以进行。这大大扩展了可用的训练数据范围。

    Geo-Align正是把强化学习引入视频重渲染任务的第一个框架,而它的“奖惩机制”,就是整个方法的核心创新。

    三、奖惩机制:用“量尺”而非“感觉”来打分

    打分系统的设计,是Geo-Align最精妙的部分。研究团队没有简单地让一个AI来“感觉”画面好不好,而是引入了一个叫做MapAnything的“度量3D重建工具”来充当严格的考官。

    MapAnything是一种能从视频帧中直接推算出摄像机真实运动轨迹的工具,而且它给出的数值是有真实物理单位的——旋转用角度表示,平移用米表示。这就像给AI配了一把真正的卷尺,而不是让它靠目测估计距离。

    具体来说,AI每次生成一段新视角视频后,MapAnything就会分析这段视频,提取出AI实际“走”的摄像机路径,然后和目标路径做比较。比较分两个维度:旋转偏差(摄像机转向是否准确,用角度误差衡量)和平移偏差(摄像机移动距离和方向是否准确,用米为单位的距离误差衡量)。偏差越大,扣分越多;偏差越小,奖励越高。

    这里有一个特别聪明的设计细节。研究团队发现,AI模型在生成视频时,开头几帧通常表现得很好,因为它直接参考了输入视频。但越到后面,误差积累越大,镜头轨迹越容易“漂移”。就像一个人走路,最初几步还沿着正确方向,但走久了就偏离了。于是研究团队给每一帧的误差设置了不同的“权重”——越是后期的帧,权重越高。这样,AI被迫把更多精力放在保持长期轨迹的准确性上,而不是只顾好开头几帧。

    除了几何精度,研究团队还担心一件事:如果AI只顾追求轨迹准确,万一它学会了生成画面模糊、颜色失真但轨迹精准的视频,那不就是“走火入魔”了吗?为了防止这种情况,他们还引入了两个视觉质量评分工具:VideoAlign(负责评估视频整体动态效果和运动自然度)和HPSv3(负责评估单帧画面的美观程度和细节质量)。这三类奖励信号共同作用,确保AI在学会“走对路”的同时,也保持“拍出好画面”的能力。

    四、数据策略:用“现实视频+游戏轨迹”拼出完整训练集

    有了奖惩机制,还需要解决训练数据的问题。毕竟强化学习需要反复“出题考试”,题目本身也需要精心设计。

    研究团队采用了一种巧妙的“混搭”策略。训练时,输入的条件视频来自真实世界——他们使用了一个叫做CityWalk(即Sekai数据集)的城市漫步视频数据集,里面有大量普通人拍摄的街头行走视频,涵盖室内外、动静结合的各种真实场景。这些视频没有经过任何特殊处理,就是日常生活中随手拍的那种。为了给这些视频配上摄像机轨迹信息,研究团队用MapAnything工具自动推算出每段视频对应的摄像机路径——这个过程完全自动化,不需要人工标注。

    目标摄像机轨迹则来自另一个完全不同的来源:OmniWorld游戏数据集。这是一个从游戏引擎中提取的数据集,里面有各种各样丰富多彩的摄像机运动模式——推进、拉远、旋转、绕行等等。但游戏里的轨迹有一个致命缺陷:它们没有真实的物理尺度。游戏里的“一步”可能等于现实中的一厘米,也可能等于一公里。如果直接用这些轨迹作为训练目标,AI根本无法学会现实意义上的“适度移动”。

    为了解决这个尺度问题,研究团队设计了一套“截断高斯采样”的缩放机制。简单来说,就是先算出每段游戏轨迹里摄像机运动最快的瞬间(最大帧间旋转速度和最大帧间平移速度),然后从一个概率分布中随机抽取一个“目标速度上限”——这个上限被设定在接近正常人行走速度或稳定持机运动的合理范围内,再计算一个缩放比例,把整段游戏轨迹等比例缩放到合理的物理尺度。这就像把一张比例尺不对的地图缩放到正确比例——方向不变,但距离变得有现实意义了。通过这种方式,游戏里夸张的、不现实的摄像机运动,被转换成了真实世界中合理的镜头轨迹,既丰富了训练数据的多样性,又保证了物理合理性。

    五、训练机制:如何让AI在“尝试-反馈”中稳步进步

    有了数据和奖惩机制,具体的训练过程是怎么运作的?研究团队采用了一种叫做GRPO(Group Relative Policy Optimization,“群体相对策略优化”)的强化学习算法,这个算法最近因为被用在大语言模型DeepSeek-R1的训练中而广为人知。

    GRPO的工作方式是这样的:对于每一段输入视频和目标轨迹,让AI同时生成一批(比如12个)不同的视频版本,然后分别给这些版本打分,找出这批里表现最好的和最差的,以相对排名来指导模型改进——表现好的路径要强化,表现差的要抑制。这比传统方法更节省计算资源,因为它不需要另外训练一个专门负责“评估”的模型。

    由于视频生成本身很慢(生成一段81帧的视频需要相当的计算时间),研究团队还采用了一种叫做“滑动窗口采样”的加速技巧:不是每次都从头到尾处理整段视频,而是把注意力集中在当前训练最需要优化的时间窗口内,大幅加快了收敛速度。

    多维度奖励信号的汇总也需要特别处理。直接把旋转误差、平移误差、视觉质量分等不同量纲的数字加在一起,就像把苹果和橙子混在一起比较大小,毫无意义。研究团队的做法是先对每个维度的奖励进行“标准化”——把每个维度的分数转换成“这批样本里相对位置”的表达方式,再加权求和。这样不同维度的信号就可以公平地参与最终的评判。

    此外,研究团队还故意去掉了一个通常会加入强化学习训练的“约束”,即KL散度惩罚项。这个约束本来是防止模型偏离原始训练状态太远的“保险绳”。去掉它,是为了让模型在面对那些训练时从未见过的、新颖复杂的摄像机轨迹时,有更大的探索空间,更敢于尝试新的生成策略。

    整个训练过程在64块NVIDIA A800显卡上运行,总共进行140轮迭代,大约耗时130小时。为了保留预训练模型的视觉生成能力,训练时只更新模型中的“自注意力层”(可以理解为模型内部负责“左顾右盼、综合判断”的部分),其余参数全部冻结不动。

    六、实验结果:数字说话,全面超越基线

    研究团队在DA VIS数据集(一个常用的视频对象分割基准数据集,包含各种室内外真实视频)上进行了评测,共使用50段视频,每段视频配上10种不同的目标摄像机轨迹,总共生成500个测试案例。

    评测指标涵盖了多个维度。相机精度方面,用TransErr(平移误差)和RotErr(旋转误差)来衡量生成视频的轨迹和目标轨迹有多接近。几何一致性方面,用MEt3R(多视角几何一致性分数)和Dyn-MEt3R(动态场景几何一致性分数)评估生成视频和输入视频在三维结构上是否吻合。视觉质量方面,用VBench工具包评估主体一致性、背景稳定性、美学质量、成像质量、时序流畅度和运动平滑度。

    与所有对比方法相比,Geo-Align在几乎所有指标上都取得了最好或接近最好的成绩。与其直接的前身模型ReDirector相比:平移误差从0.0149降至0.0129,改善约13%;旋转误差从1.4635降至1.3645,改善约7%;动态场景几何一致性从0.8497提升至0.8573;视觉质量的多项指标也全面提升。

    在不同镜头运动速度下的对比测试中,表现同样稳健。当目标轨迹的速度倍率提高到1.5倍和2.0倍(也就是镜头运动更快、更大幅度)时,ReDirector的各项指标均有明显下降,而Geo-Align的下降幅度更小,说明它对复杂、大范围的镜头运动有更强的适应能力。

    从直观的视频画面来看,在大幅度摄像机运动时,ReCamMaster和ReDirector经常出现主体消失、背景模糊糊的情况,就像老照片遇到了潮湿,图像发虚;而Geo-Align生成的视频,前景主体和背景细节都保持得更加完整清晰,几何关系也更加正确合理。

    七、消融实验:每个设计都是必要的

    为了验证各个设计选择的必要性,研究团队还做了“消融实验”——也就是把某个设计去掉,看看效果会变差多少。

    当只使用视觉美观奖励(去掉几何奖励)时,旋转误差反而比原始基线模型变得更差(从1.4635升至1.6082),说明单纯追求画面好看,可能反而会让模型忽视轨迹准确性,走偏方向。而加入几何奖励之后,不仅相机精度大幅提升,视觉质量也跟着改善了——两个目标相互促进,而非相互矛盾。这说明几何约束不是“牺牲美观换来的精准”,而是帮助模型建立了更正确的三维理解,从而连带提升了画面的自然度。

    八、局限与未来:好厨师也有拿不准的菜

    任何技术都有边界,Geo-Align也不例外。研究团队坦诚地指出,模型在以下几种情况下仍然容易出错:摄像机旋转幅度极大(比如360度转圈)、平移距离极远(比如镜头快速飞跑)、或者拍摄对象是紧贴摄像机的超大前景物体(比如特写镜头贴着脸)。此外,当视频里有大量运动物体(比如人群涌动、车流穿梭)时,AI生成的视频会出现闪烁或物体忽隐忽现的问题,就像一张照片里的人在鬼闪。

    另一个现实问题是训练耗时。强化学习需要在每个训练批次里让AI生成多段完整视频,而视频生成本身就很慢,两者叠加在一起,训练成本相当高昂。如何在不降低效果的前提下加速这个过程,是研究团队明确指出的下一步方向。

    说到底,Geo-Align做的事情,是给AI装上了一双有物理感知的眼睛,让它不再依赖死记硬背的“合成数据答案”,而是通过反复在真实场景里试错、接受精确的几何反馈,真正学会如何控制镜头。这对于影视创作、游戏制作、虚拟现实内容生成等领域都有直接的应用价值——未来你只需要拍一段普通视频,就可以用AI生成任意你想要的摄像机角度版本,而不再需要重新架设摄像机重拍。

    归根结底,这项研究用一句话概括就是:用“让AI自己去练、用真实物理标准打分”的方式,替代了“给AI死记大量配对样本”的老路,成功让AI的“换镜头”能力在真实世界中变得可靠了许多。

    Q&A

    Q1:Geo-Align和普通视频重渲染方法有什么本质区别?

    A:普通方法依赖“标准答案”训练,需要同一场景多角度同步视频,而这类数据极其稀缺。Geo-Align用强化学习替代了这种依赖——它只需要普通视频和目标摄像机轨迹,用MapAnything工具衡量生成结果和目标轨迹的几何误差来打分,让AI在没有配对数据的情况下也能学会准确控制镜头。

    Q2:Geo-Align训练需要的数据从哪来,普通人能复现吗?

    A:训练数据由两部分混合而成:真实世界的CityWalk城市漫步视频(作为输入条件),以及OmniWorld游戏引擎数据集中提取的摄像机轨迹(作为目标轨迹,经过物理尺度缩放处理)。整个训练在64块A800显卡上跑了约130小时,对普通研究者来说硬件门槛较高,但数据获取方式是公开的。

    Q3:Geo-Align生成视频时会出现哪些失败情况?

    A:模型在极速旋转、大范围快速平移、或大型物体近距离特写时容易失效,生成画面可能出现比例错误或内容崩坏。当视频中有大量运动物体(如人群、车流)时,生成结果也容易出现闪烁或物体忽隐忽现的问题。这些边界情况是当前版本的主要局限。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 AI视频
    相关文章 更多
    立刻MV有官方网页版吗?在线入口与客户端区别
    立刻MV有官方网页版吗?在线入口与客户端区别

    立刻MV确实提供官方网页版Web Studio,无需安装即可在浏览器中完成从歌曲生成、字幕编辑到分镜调整的全流程。本文指导用户如何识别官方入口,解析网页版与手机端在创作深度上的区别,并提供避免无效消耗的操作建议。

    runway自动生成视频怎么做新手入门操作教程
    runway自动生成视频怎么做新手入门操作教程

    通过界面导览方式,解析Runway Gen-2的工作区布局,说明文本提示词输入、运动控制及视频生成的基本步骤,适合初学者快速上手。

    一夜收获3000颗星,AI视频的“龙虾时刻”降临了?
    一夜收获3000颗星,AI视频的“龙虾时刻”降临了?

    OpenMontage是一款免费开源的AI视频生成工具,提供从脚本、分镜到剪辑、配音的完整制片流程,可自动选择模型降低成本。其爆火预示视频生成行业竞争将从模型参数转向成片质量与用户体验,中低端专业制作面临冲击。

    香港大学联合多所顶尖机构,为AI视频世界模型装上了
    香港大学联合多所顶尖机构,为AI视频世界模型装上了"记忆大脑"

    香港大学联合复旦、浙大和快手科技提出MemLearner,让AI视频模型自主学习记忆提取,解决长视频生成中的场景不一致问题。通过查询令牌机制,模型自适应地从历史帧中提取有用信息。在复杂场景测试中,像素相似度PSNR达21.23,优于规则方法CaM的19.85。

    AI视频降本的三种做法,只有一种不牺牲画质
    AI视频降本的三种做法,只有一种不牺牲画质

    随着 AI 视频进入生产阶段,生产成本开始成为越来越多团队绕不开的问题。旗舰模型不断提升画质上限,更轻量的模型不断推出。很多人曾以为,“视频生成成本”这道题,会随着算力效率提升和模型能力演进被自然解开。但真正把 AI 视频推进到规模化生产的团队很快发现:生成门槛在降低,账单却并没有随之变薄。因此围绕

    为什么AI视频,需要“懂生成”的画质增强
    为什么AI视频,需要“懂生成”的画质增强

    AI 视频生成已经足够惊艳。一段提示词,就能生成一段精彩的视频。过去需要拍摄、建模、后期一起才能完成的画面,现在可以由模型快速生成出来。不过真正进入生产之后,我们会发现生成只是第一步。一条 AI 视频要从生成走到发布,往往还需要一系列画质增强和调优。尤其是低分辨率生成的视频,通常还要把画质增强到更高

    从“会生成”到“会创作”,AI视频竞争加速进入下一阶段丨新经济观察
    从“会生成”到“会创作”,AI视频竞争加速进入下一阶段丨新经济观察

    封面新闻记者 付文超随着AI视频生成技术快速发展,“一句话生成视频”“降低创作门槛”等能力正在不断普及。但在真正进入短片、短剧制作后,一个镜头如何构图、人物如何站位、镜头如何运动、连续剧情如何保持一致,这些原本属于导演和制作团队的工作,在AI时代仍然是难题。8月3日,美图旗下RoboNeo新版本上线

    Runway移动端与Web端并行,AI视频创作走向多端协同
    Runway移动端与Web端并行,AI视频创作走向多端协同

    Runway推出移动端与Web端并行方案,AI视频创作实现多端协同。移动端快速捕捉灵感并生成雏形,桌面端负责精细编辑与定稿,API支持规模化生产,形成从创意到发布的连续流水线,覆盖创意捕捉、雏形生成、精细编辑、规模化生产与发布全流程。

    Runway Academy和官方文档完善,降低AI视频创作与API接入门槛
    Runway Academy和官方文档完善,降低AI视频创作与API接入门槛

    Runway通过Academy、帮助中心和API文档搭建从入门到集成的完整路径,降低AI视频创作与API接入门槛。创作者教程指导稳定生成结果,开发者文档详解异步任务、接口调用等环节,覆盖普通创作者、专业团队和开发者三个层次。

    Runway Gen-4.5推进高质量AI视频生成,创意生产进入模型精细化阶段
    Runway Gen-4.5推进高质量AI视频生成,创意生产进入模型精细化阶段

    RunwayGen-4.5成为主推视频生成模型,侧重输出质量与稳定性,支持快速视觉探索和创意版本生成。企业可通过API接入自动化流程,但需配套版权、审核等管理机制,仍需人工把控方向。该模型在快速迭代中表现突出,人工审核不可或缺。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。