当前位置:

首页 > 业界资讯 > 材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

在计算图形学领域,材质外观刻画了真实物体与光线之间的复杂物理交互,通常可表达为随空间位置变化的双向反射分布函数(Spatially-VaryingBidirectionalReflectanceDistributionFunction,缩写为SVBRDF)。它是视觉计算中不可或缺的组成部分,在文化遗产、电子商务、电子游戏和视觉特效等领域中有着广泛的应用。在过去的二十年里,特别是深度学习流行后,学术界与工业界对高精度、多样化数字材质外观的需求不断增加。但由于技术上的挑战,采集大型数据库仍然十分困难,目前公开

本文目录
    在计算图形学领域,材质外观刻画了真实物体与光线之间的复杂物理交互,通常可表达为随空间位置变化的双向反射分布函数(Spatially-Varying Bidirectional Reflectance Distribution Function,缩写为 SVBRDF)。它是视觉计算中不可或缺的组成部分,在文化遗产、电子商务、电子游戏和视觉特效等领域中有着广泛的应用。

    在过去的二十年里,特别是深度学习流行后,学术界与工业界对高精度、多样化数字材质外观的需求不断增加。但由于技术上的挑战,采集大型数据库仍然十分困难,目前公开可用的材质外观实拍数据库的数量非常有限。

    为此,浙江大学计算机辅助设计与图形系统全国重点实验室和杭州相芯科技有限公司的研究团队联合提出了一种新型集成系统,用于鲁棒、高质量和高效地采集平面各向异性材质外观。利用该系统,研究团队构建了 OpenSVBRDF 公开材质数据库。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                   图 1:OpenSVBRDF 数据库中的部分材质样例展示。每一行同属一个材质类别。

    这是第一个大规模 6 维 SVBRDF 的实测数据库,共有 1,000 个高质量平面样本,空间分辨率为 1,024×1,024,等效为超过 10 亿个实测 BRDF,涵盖了包括木材、织物和金属在内的 9 种类别。

    数据库主页:https://opensvbrdf.github.io/

    目前,数据库对非商业应用完全免费。只需要提交基本信息在网站上申请账号,通过审核后,即可直接下载包括 GGX 纹理贴图在内的相关数据和代码。相关研究论文《OpenSVBRDF: A Database of Measured Spatially-Varying Reflectance》已被计算机图形学顶级国际会议 ACM SIGGRAPH ASIA 2023 (Journal Track) 长文接收。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

    论文主页:https://svbrdf.github.io/

    技术挑战

    直接采样方法在不同的光照和观察角度的组合下对物理材质进行密集测量 [Lawrence et al. 2006]。这么做虽然能够获得高质量且鲁棒的采集结果,但其效率很低,需要高昂的时间和存储成本。还有一种选择是基于先验知识的重建方法,可以从稀疏的采样数据中重建材质。这样虽然提高了效率,但当先验条件不满足时,其质量不尽人意 [Nam et al. 2018]。此外,当前SOTA光路复用技术,虽然达到了较高的采集效率和重建质量,但在处理如拉丝金属和抛光木皮等高度复杂材质时,算法还不够鲁棒 [Kang et al. 2018]。
    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia
    图 2:现有材质采集研究的代表工作。从左到右分别是 [Lawrence et al. 2006],[Nam et al. 2018] 以及 [Kang et al. 2018]。其中 [Kang et al. 2018] 为该团队在 2018 年发表于 ACM SIGGRAPH 的早期工作。

    硬件

    为高效扫描材质外观,研究团队搭建了一个接近半立方体的近场光照多路复用设备,其尺寸约为 70cm×70cm×40cm。样本被放置在一块透明的亚克力板上,可以通过抽屉滑轨快速滑入 / 滑出,来实现高吞吐率。该设备由 2 台机器视觉相机和 16,384 个高亮度 LED 组成,两台相机分别从大约 90 度(主视角)和 45 度(次视角)的角度拍摄样本,LED 分布在设备的 6 个面上。自主研发的高性能控制电路负责对每个 LED 进行独立亮度控制,并在硬件层面实现了光源投射和相机曝光的高精度同步。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                    图 3:采集设备外观及两个视角下的照片。

    采集重建

    本系统创新性地结合了当前基于网络预测和基于微调两大类流行方法的优点,既能通过可微分光照图案优化来增加物理采集效率,又能通过微调来进一步提升最终结果质量,从而首次实现了对于平面 SVBRDF 的高鲁棒性、高质量以及高效率的采集重建。

    具体来说,为了重建物理样本,研究者首先通过在均匀照明下匹配密集 SIFT 特征来建立两个相机视角之间的高精度对应关系。对于物理采集,首先将光照图案作为自编码器的一部分进行优化,实现高效采集。该自编码器自动学习如何基于两个视角的测量值来重建复杂外观,并将结果表示为中间神经表达。随后,根据主视角相机在 63 个等效线性光源下拍摄的照片,通过绘制图像误差对神经表达进行微调,以提高最终结果的质量和鲁棒性。图 3 展示了整个系统的处理流程。更多详细信息请参阅原文论文。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                   图 4:整个系统的采集重建流程。

    结果

    研究人员共采集重建了 9 个类别,共计 1,000 个样本的外观,为了方便基于物理的标准绘制管线(PBR)直接使用,该研究还将神经表达拟合到了业界标准的各向异性 GGX BRDF 模型参数。图 5 展示了材质重建结果的分项参数 / 属性。每个样本存储了 193 张原始 HDR 照片(总大小 15GB)、中间神经表达(290MB),以及 6 张贴图,包括表示 GGX 参数的纹理贴图和透明度贴图(总大小 55MB)。神经表达和纹理贴图的空间分辨率均为 1,024×1,024。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                      图 5:材质重建结果分项属性(包括神经表达、漫反射率、高光反射率、粗糙度等)。

    为了证明重建结果的正确性,研究人员将主视角下的照片(下图第一行)和神经表达绘制结果(下图第二行)进行了比较。定量误差(以 SSIM/PSNR 表达)标注在绘制图片的底部。由下图结果可见,本系统实现了高质量材质重建(SSIM>=0.97, PSNR>=34db)。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                     图 6:实拍照片和神经表达绘制结果在主视角下的对比。

    为了进一步证明重建结果的视角域泛化性,研究人员将点光源照射下、两个视角所拍摄的照片和使用 GGX 拟合参数绘制的结果进行了比较,验证了重建结果的跨视角正确性。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                    图 7:实拍照片和各向异性 GGX 拟合参数绘制结果在两个视角下的对比。

    研究人员还展示了该数据库在材质生成、材质分类以及材质重建三方面的应用。具体细节请参考原始论文。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                         图 8:利用 OpenSVBRDF 训练 MaterialGAN 来实现材质生成与插值。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                        图 9:利用 OpenSVBRDF 训练主动光照以提升材质分类精度。

    材质界的ImageNet,大规模6维材质实拍数据库OpenSVBRDF发布|SIGGRAPH Asia

                                      图 10:利用 OpenSVBRDF 来提高基于单点采样(左)和光路多路复用(右)的 BRDF 重建质量。

    展望

    研究人员将努力扩展现有数据库,增加展现多样性外观的材质样本。未来,他们还计划建立同时包含材质外观和几何形状的大规模高精度实测物体数据库。此外,研究人员将基于 OpenSVBRDF 设计在材质估计、分类和生成等方向上的公开 Benchmark,通过客观定量的标准测试,为推动相关研究的未来发展提供坚实的数据保障。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了

    前瞻研判:未来十年,县域特色化经济的竞争,不再是资源的竞争,而是市场信任的竞争。谁能为消费者提供最确定的价值承诺,谁就能赢得市场。 2026年全国两会刚刚落幕,“十五五”规划进入开局之年。今年的政府工作报告中,“扎实推进乡村全面振兴”被摆在突出位置,明确提出要“壮大县域富民产业,做好土特产文章”。这

    南昌光电产业集群将重磅亮相ISLE 2026
    南昌光电产业集群将重磅亮相ISLE 2026

    2026 ISLE展前瞻:南昌光电产业集群即将重磅亮相 明年三月,深圳国际会展中心将迎来一场行业盛事。2026年3月5日至7日,ISLE国际智慧显示及系统集成展将在这里拉开帷幕。而这一次,聚光灯将格外聚焦于一个区域——南昌光电产业集群。他们将以“光耀南昌,智链全球”为主题,携一支实力雄厚的“集团军”

    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”
    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”

    天龙三号海上试车成功:看中国商业航天如何将“安全”铸为核心竞争力 9月15日,山东海阳东方航天港,巨大的轰鸣声撕裂长空,炽热的白色蒸汽升腾而起。北京天兵科技自主研制的天龙三号大型液体运载火箭,在这里的海上平台成功完成了一级动力系统试车。 这次试车可不简单——它是世界首次海上动力系统试车试验。结果让人

    通用技术集团发布四大战略行动计划,形成全维发展布局
    通用技术集团发布四大战略行动计划,形成全维发展布局

    3月18日,通用技术集团机床产业生态合作伙伴大会在北京国家会议中心举行 春日的北京,一场关乎中国工业未来的盛会拉开帷幕。通用技术集团机床产业生态合作伙伴大会在国家会议中心举行,近500位产业链上下游的企业代表与行业专家齐聚一堂。会上,通用技术集团总工程师、机床公司董事长周舟发布了集团机床产业的未来发

    华为鸿蒙电脑亮相,重构产业新格局
    华为鸿蒙电脑亮相,重构产业新格局

    华为鸿蒙电脑技术与生态沟通会隆重举行,首款鸿蒙电脑惊艳登场,这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步,为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功,而是华为经过五年精心策划的结果。在此期间,华为汇聚了超过10000名顶尖工程师,与20多家专业研究所紧密合作,投入大量的精力与资源进行技术研发,最终积累了超过2700项核心专利,彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核,从操作系统底层开始重构,旨在为用户提供全面升级的办公体验

    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT
    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心2021级直博生,导师为赵妍妍教授和秦兵教授。主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在ACL、AAAI、IJCAI、CO

    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM
    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM

    用来运行Llama3405B优势明显。最近,Meta开源了最新的405B模型(Llama3.1405B),把开源模型的性能拉到了新高度。由于模型参数量很大,很多开发者都关心一个问题:怎么提高模型的推理速度?时隔才两天,LMSYSOrg团队就出手了,推出了全新的SGLangRuntimev0.2。这是一个用于LLM和VLM的通用服务引擎。在运行Llama3.1405B时,它的吞吐量和延迟表现都优于vLLM和TensorRT-LLM。在某些情况下(运行Llama系列模型),它的吞吐量甚至能达到TensorRT

    人类模仿AI新赛道,AI:论疯癫,你是我爹
    人类模仿AI新赛道,AI:论疯癫,你是我爹

    机器之能报道编辑:杨文AI被人类带坏!这个世界,太癫了……最近,社交媒体上冒出来一堆搞怪视频,打着AI的旗号,真人cosAI,甚至抖音还专门出了个热门话题——人类模仿AI大赛。(视频来自抖音博主「关妮乱石」)视频链接:https://mp.weixin.qq.com/s/1DVc8skecSsO0a9QcklZlw套路都一个样儿:左边一张旧照片,右边打着「AI修复」的字幕,实际由真人演绎着脑干缺失的狗血「剧情」。-1-AI:第一次被人冒充,没想到比我还抽

    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath
    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath

    获胜的AI数学奥林匹克模型出炉!几天前,随着榜单的公布,大家对全球首届AI数学奥林匹克竞赛(AIMO)进步奖的讨论量居高不下。这次比赛共有5个团队胜出,获得第一名的是Numina的团队,CMU_MATH位列第二,afterexams暂居第三,codeinter、Conor#2团队分别拿到第四、第五的成绩。图源:https://www.kaggle.com/c/ai-mathematical-olympiad-prize/leaderboard这一成绩,曾让陶哲轩感到惊讶。当时官方只公布了获奖名单,并未透漏

    2024年WAIC·云帆奖启航:擎启AGI时代,集结超越边界的探索者
    2024年WAIC·云帆奖启航:擎启AGI时代,集结超越边界的探索者

    2024年WAIC・云帆奖面向全球征选AI青年技术人才,欢迎点击「此链接」报名或提名。人工智能的研究范式和产业格局正在经历深刻而积极的转变。过去一年,大模型引发了一股席卷全球的智能浪潮,这不仅推动了AI技术在更广泛领域的应用,也激发了人类对人工智能深层次潜力的追寻和探索。在这场技术革新的洪流中,通用人工智能(AGI)正逐渐从幻想走进现实。我们正处于一个新征程的起点,这个阶段将以人类对通用智能的不懈追求为特征。迎接即将到来的新时代,让我们将目光投向那些充满激情、勇于探索的青年创新者。他们凭借卓越的智慧和无畏

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。