当前位置:

首页 > 业界资讯 > 有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

什么,你还不知道NeRF?作为今年计算机视觉领域最火的AI技术,NeRF可谓是应用广泛,前景一片大好。B站上的小伙伴可算是把这项技术玩出了新花样。抛砖引玉那么,究竟NeRF是什么?NeRF(NeuralRadianceFields)是最早在2020年ECCV会议上的最佳论文中提出的概念,其将隐式表达推上了一个新的高度,仅用2D的posedimages作为监督,即可表示复杂的三维场景。一石激起千层浪,自此之后NeRF迅速发展起来被应用到多个技术方向,如「新视点合成、三维重建」等。NeRF其

本文目录

    什么,你还不知道NeRF? 

    作为今年计算机视觉领域最火的AI技术,NeRF可谓是应用广泛,前景一片大好。 

    B站上的小伙伴可算是把这项技术玩出了新花样。 

    有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

    抛砖引玉

    那么,究竟NeRF是什么? 

    NeRF(Neural Radiance Fields)是最早在2020年ECCV会议上的最佳论文中提出的概念,其将隐式表达推上了一个新的高度,仅用2D的posed images作为监督,即可表示复杂的三维场景。 

    一石激起千层浪,自此之后NeRF迅速发展起来被应用到多个技术方向,如「新视点合成、三维重建」等。 

    NeRF其输入稀疏的多角度带pose的图像训练得到一个神经辐射场模型,根据这个模型可以渲染出任意视角下的清晰的照片,如下图所示。也可以简要概括为用一个MLP去隐式地学习一个三维场景。 

    有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

    网友自然而然地也会将NeRF与同样大受追捧的Deepfake做个比较。 

    最近MetaPhysics发布的一篇文章就盘点了NeRF的进化史、面临的挑战和优势,并预测NeRF最终将取代Deepfake。 

    大部分有关deepfake技术引人注目的话题,是指自17年deepfakes进入大众视野后开始流行的两个开源软件包:DeepFaceLab (DFL) 和FaceSwap。 

    有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

    尽管这两个软件包都拥有广泛的用户群和活跃的开发者社区,但这两个项目与GitHub代码都没有明显的偏离。 

    当然,DFL和FaceSwap的开发人员并没有闲着:现在可以使用更大的输入图像来训练deepfake模型,尽管这需要更昂贵的GPU。 

    有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

    但其实在过去的三年里,媒体鼓吹的deepfake图像质量提升主要还是得归功于终端用户。 

    他们在数据收集方面积累了「省时而难得」的经验,以及训练模型的最佳方法(有时单次实验就需要几周时间),并且学会如何利用和扩展原始2017代码的最外层限制。 

    VFX和ML研究社区中的一些人正试图通过扩展架构来突破流行的deepfake包的「硬限制」,以便机器学习模型可以在高达1024×1024的图像上进行训练。 

    有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

    其像素是DeepFaceLab或FaceSwap当前实际范围的两倍,更接近于电影和电视制作中有用的分辨率。 

    接下来让我们一起了解一下NeRF吧~ 

    揭开面纱 

    NeRF(Neural Radiance Fields),它出现于2020年,是一种通过在神经网络内拼接多个视点照片实现重建物体和环境的方法。 

    它通过使用稀疏的输入视图集优化底层连续的体积场景函数,实现了综合复杂场景视图的最好结果。 

    该算法还使用全连接深度网络表示一个场景,其输入是单个连续的5D坐标(空间位置(x, y, z)和观看方向(θ, φ)),其输出是该空间位置的体积密度和相关的发射幅亮度。 

    通过沿着相机光线查询5D坐标来合成视图,并使用经典的体绘制技术(volume rendering)将输出的颜色和密度投影到图像中。 

    实现过程: 

    有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

    首先将一个连续的场景表示为一个5D向量值函数,其输入是一个3D位置和2D观看方向,对应的输出是一个发射颜色c和体积密度σ。 

    在实践中,采用3D笛卡尔单位向量d表示方向。利用用MLP网络近似这个连续的5D场景表示,并优化其权重。 

    此外,通过限制网络来预测体积密度σ作为位置x的函数,同时还允许RGB颜色c作为位置和观看方向的函数进行预测,从而鼓励表示多视图一致。 

    为了实现这一点,MLP首先处理输入的具有8个全连接层的3D坐标x(使用ReLU激活和每层256个通道),并输出σ和256维特征向量。 

    这个特征向量随后与相机射线的观看方向连接,并传递给一个额外的全连接层,输出与视图相关的RGB颜色。 

    此外,NeRF还引入了两个改进来实现高分辨率复杂场景的表示。第一个是位置编码,以帮助MLP表示高频函数,第二个是分层抽样过程,使其能够有效地对高频表示进行抽样。 

    众所周知,Transformer架构中的位置编码可以提供序列中标记的离散位置,作为整个架构的输入。而NeRF使用位置编码是将连续的输入坐标映射到更高的维度空间,使MLP更容易逼近更高频率的函数。 

    有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

    从图中可以观察到,去除位置编码会大大降低模型表示高频几何和纹理的能力,最终导致外观过度平滑。 

    由于沿着每条相机射线在N个查询点密集评估神经辐射场网络的渲染策略十分低效,所以NeRF最后采用了一种分层表示,通过按最终渲染的预期效果比例分配样本来提高渲染效率。 

    简而言之,NeRF不再只使用一个网络来表示场景,而是同时优化两个网络,一个「粗粒度」网络和一个「细粒度」网络。 

    未来可期 

    NeRF解决了过去的不足,即使用MLP将对象和场景表示为连续函数。相比于过往的方法,NeRF可以产生更好的渲染效果。 

    但是,NeRF同样也面临许多技术瓶颈,比如NeRF的加速器会牺牲其他相对有用的功能(比如灵活性),以实现低延迟、更多交互环境以及较少训练时间的目的。 

    所以,NeRF虽是一个关键性的突破,但是想要达到完美的效果,还是需要一定的时间。 

    技术在进步,未来依旧可期!​

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 AI技术
    相关文章 更多
    AI技术如何促进亚太合作?49国青年学者齐聚深圳展开对话
    AI技术如何促进亚太合作?49国青年学者齐聚深圳展开对话

    2026年“APEC深圳,与AI同行”国际青年活动在深圳举行,49国300余名青年学者共议人工智能赋能亚太繁荣,并发布《AI时代青年深圳宣言》,号召青年携手推动AI向善、共创未来。

    机构:AI技术快速发展 算力租赁行业景气度旺盛
    机构:AI技术快速发展 算力租赁行业景气度旺盛

    AI技术快速发展推动算力需求膨胀,算力租赁行业景气度旺盛。供需矛盾加剧推高算力成本,国内外市场已开启涨价行情。模型收费上调改善企业现金流,反哺上游采购需求,算力租赁厂商有望量价齐升。国产算力持续发力,AI基础设施需求保持高增长,产业链核心厂商值得关注。

    沪上高校战队集结!AI技术赋能阅读焕新老字号
    沪上高校战队集结!AI技术赋能阅读焕新老字号

    2026上海书展AI短片“黑客松”启动,19支高校战队围绕“了不起的老字号”主题,用AI技术探索老品牌焕新。入围队伍将在8月书展现场24小时内完成短片创作,推动优质出版内容向短视频形态转化,让城市文脉与品牌故事以影像方式传播,丰富书展文化内涵。

    阿里云邓惠良:AI技术彻底改变了传统企业出海的游戏规则
    阿里云邓惠良:AI技术彻底改变了传统企业出海的游戏规则

    AI技术重塑企业出海逻辑,降低中小企业全球化门槛;云基础设施与AI协同不可或缺,本地运营、供应链及数字基建是成功关键。中国本土高强度竞争淬炼的数字化运营能力,成为出海核心优势。

    黄仁勋:杰出的人才总会找到出色的答案,中国注定会产出卓越的AI技术
    黄仁勋:杰出的人才总会找到出色的答案,中国注定会产出卓越的AI技术

    黄仁勋(英伟达CEO)认为,杰出人才总能找到出色答案,中国凭借人才与创新必然产出卓越AI技术,建议全球继续向中国学习并深化合作,共同推动技术进步。

    因AI技术提速漏洞修复流程,甲骨文宣布加快安全补丁发布节奏
    因AI技术提速漏洞修复流程,甲骨文宣布加快安全补丁发布节奏

    甲骨文利用前沿AI技术加速漏洞挖掘与分析,决定在原有季度安全更新外新增月度关键安全补丁。这类补丁体积小、针对性强,旨在快速修复高风险漏洞,帮助企业缩短威胁暴露窗口。首轮关键补丁将于5月28日发布,形成季度与月度相结合的混合更新模式。

    甲骨文借助AI技术提速漏洞修复,安全补丁发布节奏加快
    甲骨文借助AI技术提速漏洞修复,安全补丁发布节奏加快

    甲骨文引入AI技术提升漏洞识别效率,并新增关键安全补丁更新机制。该机制针对高风险漏洞提供小型、快速修复,首批更新将于五月启动。此举标志着安全补丁发布正从固定周期转向风险驱动模式。

    2026危机公关新挑战:“硬刚”“沉默”失效,AI技术成破局关键?
    2026危机公关新挑战:“硬刚”“沉默”失效,AI技术成破局关键?

    传统危机公关策略在2026年频频失效,主因是信息传播加速、公众验证能力增强及监管趋严。AI技术正成为破局关键,通过实时监测、自动溯源与风险评估,可将响应时间压缩至分钟级,推动企业从被动应对转向主动防御,需融合智能技术与专业策略构建新体系。

    科大讯飞耳背式助听器体验:AI技术加持,让老年人重获清晰“声”活
    科大讯飞耳背式助听器体验:AI技术加持,让老年人重获清晰“声”活

    听力衰退这事儿,几乎成了很多中老年人的“必修课”。耳背带来的困扰不仅仅是听不清那么简单,更会慢慢侵蚀一个人的社交意愿和自信心。最近,一款科大讯飞的耳背式助听器引起了不少讨论,先说说几个核心判断:它在智能化程度和实际佩戴体验上,确实做出了些新意。 那这款产品到底有什么不一样?首先,它的AI自适应场景识

    典典AI法律助手2.0在沪发布,以AI技术创新赋能法治宣传
    典典AI法律助手2.0在沪发布,以AI技术创新赋能法治宣传

    上海刚刚发布了典典AI法律助手2.0版本,这事儿值得聊几句。过去几年,AI在法律领域的落地要么太冷——只做后台工具,要么太热——弄出一些幻觉严重的“法律机器人”。这次的产品打出的旗号是“AI+律师双保险”,听上去像是在尝试一条中间路线:既不过度神话AI,也不完全回避真人律师的价值。 在底层技术上,典

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。