当前位置:

首页 > 业界资讯 > Meta用头显+控制器+AI算法,改善全身动捕追踪解决方案

Meta用头显+控制器+AI算法,改善全身动捕追踪解决方案

(映维网Nweon2023年07月03日)尽管内向外追踪的性能已经足以在头显、控制器和双手追踪方面取代外向内追踪,但由于视场覆盖问题,全身动捕一直以来都是依靠外向内的追踪设置来实现。不仅只是这样,随着头显形状参数的不断小型化轻薄化,摄像头的视场覆盖问题将会变得越发困难。不过,社区依然在积极探索利用AI等手段来提供下半身的姿态估计。实际上,如果你有留意映维网的专享,诸如Meta,卡内基·梅隆大学,苏黎世联邦理工学院等已经发布了各种论文研究。现在,韩国首尔大学和Meta的研究人员日前又发布了一项相关研究。利用

本文目录

    (映维网Nweon 2023年07月03日)尽管内向外追踪的性能已经足以在头显、控制器和双手追踪方面取代外向内追踪,但由于视场覆盖问题,全身动捕一直以来都是依靠外向内的追踪设置来实现。不仅只是这样,随着头显形状参数的不断小型化轻薄化,摄像头的视场覆盖问题将会变得越发困难。

    不过,社区依然在积极探索利用AI等手段来提供下半身的姿态估计。实际上,如果你有留意映维网的专享,诸如Meta,卡内基·梅隆大学,苏黎世联邦理工学院等已经发布了各种论文研究。

    现在,韩国首尔大学和Meta的研究人员日前又发布了一项相关研究。利用头显+控制器的组合,以及算法技巧,团队提供了一种名为QuestEnvSim的解决方案。

    Meta用头显+控制器+AI算法,改善全身动捕追踪解决方案

    为了实现真正的临场感,用户的Avatar必须准确地复刻肢体动作和肢体语言,并实现与环境的自然交互。基于标记的追踪方案繁琐和昂贵。

    首尔大学和Meta团队的目标是创建一个只依赖于消费者VR设备的姿态和环境信息作为输入的追踪方案,例如头显+控制器。

    从稀疏传感器合成全身运动具有挑战性,因为诸多不同的姿态都可能符合给定的传感器输入,从而造成不准确的估计,尤其是下半身。另外,生成合理的对象交互运动需要特别注意。例如,当用户与他们的环境交互时(坐在沙发上或靠在桌子),这引入了复杂的物理约束。而且下半身并不总是完全受到平衡的约束,所以存在更多的模糊性。例如,当坐在沙发时,诸多不同的姿态都可能符合给定的传感器输入,所以造成不准确的估计。

    在名为《QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors》的论文中,团队开发了一种将头显和控制器姿态以及环境的表示作为输入,并生成与传感器输入及其周围环境相匹配的全身运动的运动追踪算法。

    具体地说,团队使用物理模拟的Avatar,并通过深度强化学习学习控制策略来产生扭矩以驱动Avatar,目标是尽可能接近地追踪用户的头显和控制器姿态。

    当然,社区已经提出了多种类似于所述方法的基于物理Avatar的运动追踪系统。但研究人员认为,对于特定方法,除了脚-地板接触之外,它们尚未证明其他环境交互。至于其他方法,它们采用人工力来处理复杂的接触动力学,而这会产生不自然的运动。

    首尔大学和Meta不是使用人工力量,他们的控制策略训练成积极地使用环境来产生适当的外部力量来驱动模拟Avatar,而其中的策略是从包括环境交互的动捕数据中学习。所以,系统产生的动作在物理上是准确的,在环境中更可信。例如,如果头戴式显示器靠近椅子,这可能意味着用户已经坐了下来,而不是仅仅处于蹲伏的状态。

    研究人员首先证明了稀疏上半身输入。如果与物理模拟和环境观察相结合,其可以在高度受限的环境中产生真实的全身运动,无需使用任何人工力。

    为了展示系统的能力,研究人员展示了各种各样的例子,比如坐在椅子、沙发和盒子、踏过盒子、摇椅子和转动办公椅等等。其中,所有的动作都是由真实用户输入产生,不使用任何后处理,例如逆运动学、接触解析和平滑等。

    当然,如果你留意上面的视频,你依然会发现由于摄像头视场覆盖问题,以及诸多不同的姿态都可能符合给定的传感器输入,所以QuestEnvSim依然无法准确估计微妙的下半身姿态,尤其是视频后半段,你会多次发现下半身的姿态估计不完全准确,

    相关论文:QuestEnvSim: Environment-Aware Simulated Motion Tracking from Sparse Sensors

    不过,研究人员相信这是稀疏传感器与场景交互的运动追踪所取得的最高质量结果之一。接下来,团队将继续努力,并不断优化解决方案。

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    八位堂街机摇杆 V3 新增紫色版:三模连接,到手 439 元
    八位堂街机摇杆 V3 新增紫色版:三模连接,到手 439 元

    八位堂推出街机摇杆V3紫色版,复古造型更个性。支持蓝牙、2.4G、有线三模连接,兼容多平台,内置宏定义与按键连发,字符标识随模式动态变化,到手价439元。

    修复Xbox同步按钮故障
    修复Xbox同步按钮故障

    Xbox主机和特定Xbox无线控制器配备了同步按钮,用于在控制器和主机之间建立无线连接。如果Xbox的同步按钮失灵,将无法成功将控制器与主机连接。在这里,我们将介绍如何解决这一问题。修复Xbox同步按钮不工作的问题如果Xbox同步按钮不起作用,请使用以下修复程序。初步修复更新Xbox游戏机和控制器的固件重启Xbox主机和路由器使用USB数据线重置您的Xbox主机将您的控制器或主机送去维修让我们详细查看所有这些修复。1]初步修复在尝试本文中提供的修复之前,我们建议您尝试一些初步修复。首先,在您的PC或其他X

    PHP MVC 架构的学习之路:初学者到大师
    PHP MVC 架构的学习之路:初学者到大师

    初学者指南:mvc架构的基本概念很简单。模型负责管理应用程序的数据和业务逻辑。视图处理数据的呈现,而控制器协调模型和视图之间的交互。以下是使用CodeIgniter框架的简单示例://模型classUser_modelextendsCI_Model{functionget_users(){return$this->db->get("users")->result();}}//视图echoview("users",["users"=>$users]);//控制器classUserCo

     三星将为微软 MR 头显提供显示屏 设备有望更轻便显示更清晰
    三星将为微软 MR 头显提供显示屏 设备有望更轻便显示更清晰

    近日,三星显示(SamsungDisplay)与微软公司签署了一项重要合作协议。根据协议,三星显示将为微软开发和供应数十万台适用于混合现实(MR)头显设备的OLEDoS面板,而微软正开发一款面向游戏和电影等多媒体内容的MR设备,这款设备预计将在OLEDoS规格确定后推出,主要服务于商用领域,预计最早于2026年交付。OLEDoS(OLEDonSilicon)技术OLEDoS是一种新型显示屏技术,将OLED沉积在硅基板上,相较于传统的玻璃基板,具有更薄、像素更高的特点。OLEDoS显示屏与普通显示屏相比,每

    解决win10以太网控制器感叹号无法连接网络问题
    解决win10以太网控制器感叹号无法连接网络问题

    很多网友在使用win10系统的过程中会发现,以太网控制器会出现感叹号的情况,这说明协处理器和以太网控制器驱动未正确安装,更新下驱动就可以了,可以在设备管理器中进行更新,接下来小编教你怎么操作。win10以太网控制器感叹号无法上网:1、首先右击桌面的“此电脑”,然后打开属性。2、然后去点击“设备管理器”,打开“控制器窗口”。3、之后去点击“网络适配器”,找到以下程序,右击“属性”。4、最后去选择“更新驱动程序”,下载安装最新版本,重启电脑即可。

    将智能手表作为VR头显控制器,谷歌“脑洞大开”
    将智能手表作为VR头显控制器,谷歌“脑洞大开”

    元宇宙这一概念的冷却让VR遭受池鱼之殃,使得其在全球范围内的退潮已然成为了不争的事实,但对于科技巨头而言,虚拟现实背后的广阔市场依旧不容有失,例如Meta就还在继续推出新品Quest3,谷歌也在默默积累着相关专利。日前谷歌方面一份关于VR的专利被曝光,其中显示未来PixelWatch智能手表将有望作为谷歌VR设备的控制器来使用。该专利揭示,使用VR头戴设备时,如果检测到用户在PixelWatch上进行触摸操作,则头戴设备将接收手势数据并将其存储到“手势库”中,以解释用户的行为,并将相关动作转换为头戴设备内

    Windows 11 上正确校准 Xbox One 控制器的方法
    Windows 11 上正确校准 Xbox One 控制器的方法

    由于Windows已成为首选的游戏平台,因此确定其面向游戏的功能就显得尤为重要。其中之一是能够在Windows11上校准XboxOne控制器。借助内置的手动校准,您可以摆脱漂移、随机移动或性能问题,并有效地对齐X、Y和Z轴。如果可用选项不起作用,您可以随时使用第三方XboxOne控制器校准工具。让我们来了解一下!如何在Windows11上校准我的Xbox控制器?在继续操作之前,请确保将控制器连接到电脑并更新XboxOne控制器的驱动程序。当您使用它时,还要安装任何可用的固件更新。1.使用Windows内置

    3个简单步骤:如何远程匹配 Xbox 控制器和配件
    3个简单步骤:如何远程匹配 Xbox 控制器和配件

    如何远程配对Xbox控制器和配件单击Xbox主页仪表板中的“Xbox配件”面板。该面板将带您进入您的Xbox控制器,该控制器将显示一个名为“连接设备”的新选项。点击它。在这里,您将在一个新面板上,该面板可让您轻松配对Xbox控制器和配件。您可以选择任何首选选项,然后可以从此菜单中配对设备。请注意,此功能尚未在实时Xbox服务器上提供,但它很快就会出现在Xbox仪表板上。

    首款头显高达2.5万,苹果“闯关”元宇宙
    首款头显高达2.5万,苹果“闯关”元宇宙

    文|另镜晨曦编辑|陈彦旭北京时间6月6日凌晨2点,在苹果全球开发者大会上,CEO库克宣布推出其首款MR(混合现实)头显设备VisionPro。预计将于2024年年初在美国市场率先发售,售价3499美元。可以说VisionPro是苹果这几年最重磅的产品,作为全球第一台MR头戴式设备,包含了5000多项发明专利技术。索尼、苹果、Meta三大科技巨头密集在2023年发布XR产品,而苹果的VisionPro更多表现出了全新的革命性。此外,英伟达为游戏推出云端Avatar开发引擎ACE,为传媒领域内容生产提供更多可

    工业机器人三大核心零部件之一!控制器概念龙头5天4板,受益上市公司梳理
    工业机器人三大核心零部件之一!控制器概念龙头5天4板,受益上市公司梳理

    财联社6月22日讯(编辑旭日)机器人概念股反复活跃,掌握机器人驱控系统、伺服控制器驱动器等关键核心技术的新时达周三收盘再度涨停,录得5天4板。此外,在机器人关键部件(控制系统、伺服驱动等)具有完全自主创新能力的华中数控连续两个交易日涨超7%,拉长时间看,年初迄今股价累计最大涨幅达160%。国海证券李航6月16日研报中表示,控制器是工业机器人三大核心零部件之一,是根据指令以及传感信息控制机器人完成一定的动作或作业任务的装置,直接决定机器人性能。资料显示,控制系统相当于机器人的大脑,负责向机器发布和传递指令动

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。