当前位置:

首页 > 有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

什么,你还不知道NeRF?作为今年计算机视觉领域最火的AI技术,NeRF可谓是应用广泛,前景一片大好。B站上的小伙伴可算是把这项技术玩出了新花样。抛砖引玉那么,究竟NeRF是什么?NeRF(NeuralRadianceFields)是最早在2020年ECCV会议上的最佳论文中提出的概念,其将隐式表达推上了一个新的高度,仅用2D的posedimages作为监督,即可表示复杂的三维场景。一石激起千层浪,自此之后NeRF迅速发展起来被应用到多个技术方向,如「新视点合成、三维重建」等。NeRF其

什么,你还不知道NeRF? 

作为今年计算机视觉领域最火的AI技术,NeRF可谓是应用广泛,前景一片大好。 

B站上的小伙伴可算是把这项技术玩出了新花样。 

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

抛砖引玉

那么,究竟NeRF是什么? 

NeRF(Neural Radiance Fields)是最早在2020年ECCV会议上的最佳论文中提出的概念,其将隐式表达推上了一个新的高度,仅用2D的posed images作为监督,即可表示复杂的三维场景。 

一石激起千层浪,自此之后NeRF迅速发展起来被应用到多个技术方向,如「新视点合成、三维重建」等。 

NeRF其输入稀疏的多角度带pose的图像训练得到一个神经辐射场模型,根据这个模型可以渲染出任意视角下的清晰的照片,如下图所示。也可以简要概括为用一个MLP去隐式地学习一个三维场景。 

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

网友自然而然地也会将NeRF与同样大受追捧的Deepfake做个比较。 

最近MetaPhysics发布的一篇文章就盘点了NeRF的进化史、面临的挑战和优势,并预测NeRF最终将取代Deepfake。 

大部分有关deepfake技术引人注目的话题,是指自17年deepfakes进入大众视野后开始流行的两个开源软件包:DeepFaceLab (DFL) 和FaceSwap。 

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

尽管这两个软件包都拥有广泛的用户群和活跃的开发者社区,但这两个项目与GitHub代码都没有明显的偏离。 

当然,DFL和FaceSwap的开发人员并没有闲着:现在可以使用更大的输入图像来训练deepfake模型,尽管这需要更昂贵的GPU。 

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

但其实在过去的三年里,媒体鼓吹的deepfake图像质量提升主要还是得归功于终端用户。 

他们在数据收集方面积累了「省时而难得」的经验,以及训练模型的最佳方法(有时单次实验就需要几周时间),并且学会如何利用和扩展原始2017代码的最外层限制。 

VFX和ML研究社区中的一些人正试图通过扩展架构来突破流行的deepfake包的「硬限制」,以便机器学习模型可以在高达1024×1024的图像上进行训练。 

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

其像素是DeepFaceLab或FaceSwap当前实际范围的两倍,更接近于电影和电视制作中有用的分辨率。 

接下来让我们一起了解一下NeRF吧~ 

揭开面纱 

NeRF(Neural Radiance Fields),它出现于2020年,是一种通过在神经网络内拼接多个视点照片实现重建物体和环境的方法。 

它通过使用稀疏的输入视图集优化底层连续的体积场景函数,实现了综合复杂场景视图的最好结果。 

该算法还使用全连接深度网络表示一个场景,其输入是单个连续的5D坐标(空间位置(x, y, z)和观看方向(θ, φ)),其输出是该空间位置的体积密度和相关的发射幅亮度。 

通过沿着相机光线查询5D坐标来合成视图,并使用经典的体绘制技术(volume rendering)将输出的颜色和密度投影到图像中。 

实现过程: 

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

首先将一个连续的场景表示为一个5D向量值函数,其输入是一个3D位置和2D观看方向,对应的输出是一个发射颜色c和体积密度σ。 

在实践中,采用3D笛卡尔单位向量d表示方向。利用用MLP网络近似这个连续的5D场景表示,并优化其权重。 

此外,通过限制网络来预测体积密度σ作为位置x的函数,同时还允许RGB颜色c作为位置和观看方向的函数进行预测,从而鼓励表示多视图一致。 

为了实现这一点,MLP首先处理输入的具有8个全连接层的3D坐标x(使用ReLU激活和每层256个通道),并输出σ和256维特征向量。 

这个特征向量随后与相机射线的观看方向连接,并传递给一个额外的全连接层,输出与视图相关的RGB颜色。 

此外,NeRF还引入了两个改进来实现高分辨率复杂场景的表示。第一个是位置编码,以帮助MLP表示高频函数,第二个是分层抽样过程,使其能够有效地对高频表示进行抽样。 

众所周知,Transformer架构中的位置编码可以提供序列中标记的离散位置,作为整个架构的输入。而NeRF使用位置编码是将连续的输入坐标映射到更高的维度空间,使MLP更容易逼近更高频率的函数。 

有望取代Deepfake?揭秘今年最火的NeRF技术有多牛

从图中可以观察到,去除位置编码会大大降低模型表示高频几何和纹理的能力,最终导致外观过度平滑。 

由于沿着每条相机射线在N个查询点密集评估神经辐射场网络的渲染策略十分低效,所以NeRF最后采用了一种分层表示,通过按最终渲染的预期效果比例分配样本来提高渲染效率。 

简而言之,NeRF不再只使用一个网络来表示场景,而是同时优化两个网络,一个「粗粒度」网络和一个「细粒度」网络。 

未来可期 

NeRF解决了过去的不足,即使用MLP将对象和场景表示为连续函数。相比于过往的方法,NeRF可以产生更好的渲染效果。 

但是,NeRF同样也面临许多技术瓶颈,比如NeRF的加速器会牺牲其他相对有用的功能(比如灵活性),以实现低延迟、更多交互环境以及较少训练时间的目的。 

所以,NeRF虽是一个关键性的突破,但是想要达到完美的效果,还是需要一定的时间。 

技术在进步,未来依旧可期!​

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
AI技术
相关文章 更多
AI技术如何促进亚太合作?49国青年学者齐聚深圳展开对话
AI技术如何促进亚太合作?49国青年学者齐聚深圳展开对话

2026年“APEC深圳,与AI同行”国际青年活动在深圳举行,49国300余名青年学者共议人工智能赋能亚太繁荣,并发布《AI时代青年深圳宣言》,号召青年携手推动AI向善、共创未来。

机构:AI技术快速发展 算力租赁行业景气度旺盛
机构:AI技术快速发展 算力租赁行业景气度旺盛

AI技术快速发展推动算力需求膨胀,算力租赁行业景气度旺盛。供需矛盾加剧推高算力成本,国内外市场已开启涨价行情。模型收费上调改善企业现金流,反哺上游采购需求,算力租赁厂商有望量价齐升。国产算力持续发力,AI基础设施需求保持高增长,产业链核心厂商值得关注。

沪上高校战队集结!AI技术赋能阅读焕新老字号
沪上高校战队集结!AI技术赋能阅读焕新老字号

2026上海书展AI短片“黑客松”启动,19支高校战队围绕“了不起的老字号”主题,用AI技术探索老品牌焕新。入围队伍将在8月书展现场24小时内完成短片创作,推动优质出版内容向短视频形态转化,让城市文脉与品牌故事以影像方式传播,丰富书展文化内涵。

阿里云邓惠良:AI技术彻底改变了传统企业出海的游戏规则
阿里云邓惠良:AI技术彻底改变了传统企业出海的游戏规则

AI技术重塑企业出海逻辑,降低中小企业全球化门槛;云基础设施与AI协同不可或缺,本地运营、供应链及数字基建是成功关键。中国本土高强度竞争淬炼的数字化运营能力,成为出海核心优势。

黄仁勋:杰出的人才总会找到出色的答案,中国注定会产出卓越的AI技术
黄仁勋:杰出的人才总会找到出色的答案,中国注定会产出卓越的AI技术

黄仁勋(英伟达CEO)认为,杰出人才总能找到出色答案,中国凭借人才与创新必然产出卓越AI技术,建议全球继续向中国学习并深化合作,共同推动技术进步。

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络,确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用,物联网生态系统实现了去中心化、安全、互操作性和自治,充分释放了物联网的潜力。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。