当前位置:

首页 > 业界资讯 > 谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

3ds max(3dmax)
3ds max(3dmax)

Autodesk 3ds Max 是一款专业的三维建模、动画与渲染软件,广泛应用于建筑可视化、游戏开发、影视动画、广告设计和产品展示等领域。

立即下载
Windows 2026-10-13
设计美化 3DMAX 3DMAX教程 3ds Max

最近,网上一段来自谷歌的AI夜景拍摄视频被刷爆了!视频中的这个技术叫RawNeRF,顾名思义就是NeRF的一个全新变体。NeRF是一种全连接神经网络,使用2D图像的信息作为训练数据,还原出3D场景。RawNeRF比起之前的NeRF,有了多处改进。不仅能完美降噪,还能改变相机视角,调整焦点、曝光和色调映射。谷歌的这篇论文于2021年11月发表,并被CVPR2022收录。项目地址:https://bmild.github.io/rawnerf/黑夜中的RawNeRF在此之前,NeRF是使用色调映射的低动态范

本文目录

    最近,网上一段来自谷歌的AI夜景拍摄视频被刷爆了!

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    视频中的这个技术叫RawNeRF,顾名思义就是NeRF的一个全新变体。

    NeRF是一种全连接神经网络,使用2D图像的信息作为训练数据,还原出3D场景。

    RawNeRF比起之前的NeRF,有了多处改进。不仅能完美降噪,还能改变相机视角,调整焦点、曝光和色调映射。谷歌的这篇论文于2021年11月发表,并被CVPR 2022收录。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    项目地址:https://bmild.github.io/rawnerf/

    黑夜中的RawNeRF

    在此之前,NeRF是使用色调映射的低动态范围LDR图像作为输入。

    而谷歌的RawNeRF改为直接在线性原始图像上进行训练,可以保留场景的完整动态范围。

    在合成视图领域,处理黑暗的照片一直是一个难题。

    因为在这种情况下,图像中的细节极少。而且这些图像让我们很难把新视图拼接到一起。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    还好,我们有一个新的方案——使用原始传感器(RAW sensor data)的数据。

    就是像这样的一张图,这样,我们就有了更多的细节。

    不过,仍然存在一个问题:噪点也多了。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    所以我们必须做个选择:是更少的细节和更少的噪点,还是选择更多的细节和更多的噪点。

    好消息是:我们可以使用图像降噪技术。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    可以看到,降噪之后的图像效果不错,但要合成视图,这种质量还是不够。

    不过图像降噪技术给我们提供了一个思路:既然可以给单个图像去噪,那也可以给一组图像去噪。

    让我们来看看RawNeRF的效果。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    而且,它还有更多令人惊喜的功能:对基础数据进行色调映射,从深色图像中提取更多细节。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    比如改变图像的焦点,营造出很棒的景深效果。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    更厉害的是,这个还是实时的。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    此外,图像的曝光也会随着焦点的变化而产生相应的变化!

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    接下来,就让我们看看RawNeRF的五个经典的应用场景吧。

    五大经典场景

    1. 图像清晰度

    看这张图像,你能看到路牌上的信息吗?

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    可以看到,经过RawNeRF处理后,路牌上的信息就清晰多了。

    在下面这个动图里,我们可以清晰地看到原始的NeRF技术和RawNeRF在图像合成上的区别。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    其实,所谓的NeRF也并不是多古老的技术,时间才刚刚过了2年而已……

    看得出来,RawNeRF在高光的处理上,表现得还是非常出色的,我们甚至能看到右下角车牌周围的高光变化。

    2. 镜面高光

    镜面高光属于非常难捕捉的对象,因为在移动相机时,它们会发生很大的变化,而且照片之间的相对距离也比较远。这些因素对于学习算法来说,都是巨大的挑战。
    在下面这张图中可以看到,RawNeRF所生成的镜面高光可以说是相当还原了。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    3. 薄的结构

    即使在光线充足的情景中,以前的技术对于栅栏的显示效果也并不好。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    而RawNeRF即使处理有一堆栅栏的夜间照片,也妥妥hold得住。

    即使在栅栏与车牌重合的地方,效果依然很好。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    4. 镜面反光

    路面上的反光,是一种更有挑战性的镜面高光。可以看到,RawNeRF也处理得非常自然,非常真实。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    5. 改变焦点,调整曝光

    在这个场景中,让我们试试改变视角,不断变换焦点,同时调整曝光。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    在以前,要完成这些工作,我们需要从25到200张照片的集合。

    而现在,我们只需要几秒钟,就可以完成拍摄了。

    当然,RawNeRF现在并不完美,我们可以看到,左边的RawNeRF图像和右边的真实照片,还是有一些差异。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    不过,从一组充满噪点的原始图像达到现在这样的效果,RAWnerf已经取得相当大的进步了。要知道,两年前的技术还完全做不到这样。

    RAW的好处

    简单回顾一下,NeRF训练管线所接收的是经过相机处理的LDR图像,之后的场景重建和视图渲染,基于的都是LDR色彩空间。因此,NeRF的输出实际上已经是经过了后期处理的,想要大幅修改和编辑是不可能了。

    相比而言,RawNeRF是直接在线性原始HDR输入数据上训练的。由此产生的渲染结果可以像任何原始照片一样进行编辑,如改变焦点和曝光等等。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    由此带来的好处主要有两点:HDR视图合成和降噪处理。

    在亮度变化极大的场景中,固定的快门速度不足以捕捉到全部动态范围。RawNeRF模型则可以同时对短曝光和长曝光进行优化处理,从而恢复完整的动态范围。

    例如(b)中的这种大光比场景,就需要更复杂的局部色调映射算法(例如HDR+后期处理),才能同时保留暗部的细节和室外的高光。

    此外,RawNeRF还可以使用线性颜色渲染具有正确饱和的「虚化」亮点的合成失焦效果。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    在图像噪点的处理上,作者进一步地将RawNeRF在完全未经处理的HDR线性原始图像上进行了训练,使其变成了一个能处理几十甚至几百张输入图像的「降噪器」。

    这种鲁棒性也就意味着,RawNeRF可以出色地完成在黑暗中重建场景的任务。

    例如在(a)这个只有一根蜡烛照明的夜景中,RawNeRF可以从嘈杂的原始数据中提取出本来会被后期处理破坏的细节(b,c)。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    作者介绍

    论文的第一作者Ben Mildenhall是谷歌研究院的一名研究科学家,从事计算机视觉和图形方面的问题。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    他在2015年于斯坦福大学取得计算机科学和数学学士学位,并在2020年于加州大学伯克利分校取得计算机科学博士学位。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    刚刚结束的CVPR 2022,可以说是Ben的高光时刻了。

    7篇录用论文中有5篇拿下Oral,并且还有一篇获得了最佳学生论文的荣誉提名。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    网友评论

    视频一出,立马惊艳了众网友。大家一起脑洞大开。

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    谷歌逆天「夜视」拍照突然火了!完美降噪还能合成3D视角

    看这技术进步的速度,要不了多久,夜间拍照再也不用愁了~

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 谷歌 3D
    相关文章 更多
    谷歌浏览器网页快捷方式怎么创建?Chrome发送到桌面【指南】_果粉控
    谷歌浏览器网页快捷方式怎么创建?Chrome发送到桌面【指南】_果粉控

    通过Chrome内置功能创建网页快捷方式 想要把常用网站变成桌面一键直达的入口?Chrome浏览器内置的快捷方式创建功能就能轻松实现。无论是生成独立应用窗口,还是传统桌面图标,下面这四种方法总有一款适合你。 一、通过地址栏创建桌面快捷方式 这个方法最实用——它能生成一个独立的桌面图标,双击后直接以应

    Chrome官方网页版入口
    Chrome官方网页版入口

    Chrome官方网页版入口:全方位解析谷歌浏览器的核心体验 很多朋友都在问,Chrome官方网页版的入口到底在哪里?答案其实很明确:https://www.google.com/chrome/。这个地址就是通往谷歌浏览器官网在线版的唯一官方大门。接下来,我们不妨深入看看,这个看似简单的页面背后,究竟

    苹果15plus怎么传照片到电脑 苹果15plus传照片到电脑方法
    苹果15plus怎么传照片到电脑 苹果15plus传照片到电脑方法

    手机早已成为中青年人的标配,不同年龄段对手机的需求其实差别不小。iPhone 15 Plus 作为当前热度颇高的机型,功能与服务覆盖得相当全面,能满足各类用户的需求。不过,有个实用问题很多人都会遇到——怎么把照片传到电脑上?今天就把两种主流方法掰开揉碎讲清楚,看完你就知道该怎么操作了。 方法一:数据

    谷歌亲儿子优先升级!安卓17正式版推送:21款设备首发尝鲜
    谷歌亲儿子优先升级!安卓17正式版推送:21款设备首发尝鲜

    谷歌正式推送安卓17系统,首批覆盖Pixel6至10系列共21款机型。新功能包括长按应用气泡菜单、应用内存限制机制、精确/大致定位权限选择,以及遗失设备追踪的FindHub功能,进一步优化隐私与设备管理体验。

    小米 MIUI不再支持自行安装谷歌GMS服务
    小米 MIUI不再支持自行安装谷歌GMS服务

    这几天,一些MIUI用户发现手机装不上谷歌GMS(谷歌移动服务)了。这事儿怎么说呢?小米社区里,多位认证为解答组的人员给出了统一回复:国内版MIUI出于合规原因,没有预置Google服务框架的机型,以后不再支持用户自己安装GMS服务。解答组还贴心地补了一句——如果真要用,可以去酷安搜相关教程。 受影

    等了7年!Edge终于支持谷歌账号登录同步数据
    等了7年!Edge终于支持谷歌账号登录同步数据

    微软Edge浏览器计划于2026年7月直接支持谷歌账号登录,用户无需微软账号即可跨设备同步浏览器数据。此举为偏好Edge但不想使用微软账号的用户提供原生单点登录体验,无需再走间接路径。

    小米MIXFold3如何安装谷歌 小米MIXFold3安装谷歌方法
    小米MIXFold3如何安装谷歌 小米MIXFold3安装谷歌方法

    小米MIXFold3未预装谷歌服务,需手动安装:先下载谷歌服务框架并开启未知来源,再安装GooglePlay商店并登录账号。但设备不支持完整GMS,部分应用可能有兼容性问题。

    安卓手机忘记解锁密码怎么办?3招教你打开手机
    安卓手机忘记解锁密码怎么办?3招教你打开手机

    安卓手机忘记密码时,可通过三种方式解锁:一、开启USB调试后,用ADB命令删除密码文件;二、连续错误输入五次,利用绑定的谷歌账号重置;三、使用刷机软件清除锁屏密码。

    提升流畅度:谷歌安卓17给App内存占用套上“紧箍咒”
    提升流畅度:谷歌安卓17给App内存占用套上“紧箍咒”

    安卓17引入四项重要安全改进:包括主动终止内存异常应用、新增本地网络权限防止设备扫描、强制动态加载库只读防止恶意注入、默认启用证书透明度防止伪造证书,全面提升系统安全。

    接连两位大咖出走,谷歌到底出了什么BUG?
    接连两位大咖出走,谷歌到底出了什么BUG?

    不到一周内,谷歌两位核心人物诺姆·沙泽尔与约翰·江珀相继离职。谷歌在AIAgent领域明显落后,产品线混乱,Antigravity2.0表现差强人意。尽管评测分数领先,但任务交付能力不足,组织架构的割裂是根本原因。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。

    即将离开本站
    您即将前往第三方网站,请确认是否继续?