当前位置:

首页 > 硬件相关 > 单目机器人也能抓起透明物体了

单目机器人也能抓起透明物体了

机器人精准抓取透明物体难题攻克!仅需单张图像,单目视觉即可实现!这项突破性成果由地瓜机器人和中科院自动化所等单位合作完成,其核心是名为MODEST的新型算法框架。该框架是一个多任务模型,能够同时进行透明物体的深度估计和语义分割。MODEST作为通用抓取模型的前端模块,无需额外传感器,即可高效、灵活地实现透明物体的抓取。相比其他双目或多视图方法,其效果更佳。这项技术可广泛应用于智能制造、实验室自动化和智慧家居等领域,显著提升机器人操作透明物体的能力,并降低设备成本。MODEST已入选ICRA20

本文目录

    机器人精准抓取透明物体难题攻克!仅需单张图像,单目视觉即可实现!

    这项突破性成果由地瓜机器人和中科院自动化所等单位合作完成,其核心是名为MODEST的新型算法框架。该框架是一个多任务模型,能够同时进行透明物体的深度估计和语义分割。

     透明物体也能被机器人抓起来了,单目的那种

    MODEST作为通用抓取模型的前端模块,无需额外传感器,即可高效、灵活地实现透明物体的抓取。相比其他双目或多视图方法,其效果更佳。

     透明物体也能被机器人抓起来了,单目的那种

    这项技术可广泛应用于智能制造、实验室自动化和智慧家居等领域,显著提升机器人操作透明物体的能力,并降低设备成本。MODEST已入选ICRA 2025(IEEE机器人与自动化国际会议)。

    挑战与突破

    透明物体抓取的难点在于获取其准确的深度信息。传统方法依赖深度传感器或多视角重建,成本高且效率低。透明物体的折射和反射特性,以及在图像中缺乏清晰纹理等问题,都增加了感知难度。

    MODEST框架创新性地解决了这些问题,它通过结合语义和几何信息的多任务框架,准确获取透明物体的深度信息,并结合点云抓取网络实现抓取。

     透明物体也能被机器人抓起来了,单目的那种

    算法详解

    MODEST模型以单目RGB图像为输入,输出透明物体的分割结果和场景深度预测。其核心由编码、重组、语义几何融合和迭代解码四个模块构成。

     透明物体也能被机器人抓起来了,单目的那种

    基于注意力机制的语义几何融合模块,充分利用语义分割和深度估计任务间的互补信息,提升了整体性能。 此外,受人眼视觉启发,MODEST采用由粗到细的特征更新策略,进一步提高了预测精度。

     透明物体也能被机器人抓起来了,单目的那种

    实验结果

    在Syn-TODD和ClearPose两个公开数据集上的实验表明,MODEST在深度估计和语义分割方面均显著优于其他先进方法,即使在人眼难以判断的场景下也能产生清晰的预测结果。

     透明物体也能被机器人抓起来了,单目的那种  透明物体也能被机器人抓起来了,单目的那种  透明物体也能被机器人抓起来了,单目的那种  透明物体也能被机器人抓起来了,单目的那种

    真实机器人平台的抓取实验也验证了MODEST的鲁棒性和泛化性。

    其他成果及资源

    除了MODEST,地瓜机器人研发的DOSOD开放词汇目标检测算法也入选ICRA 2025。 感兴趣的读者可访问以下链接了解更多信息:

    MODEST文章地址:https://arxiv.org/pdf/2502.14616 MODEST代码地址:https://github.com/D-Robotics-AI-Lab/MODEST DOSOD文章地址:https://arxiv.org/abs/2412.14680 DOSOD代码地址:https://github.com/D-Robotics-AI-Lab/DOSOD?tab=readme-ov-file

     透明物体也能被机器人抓起来了,单目的那种

    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    硬件相关 自动化 机器人 传感器
    相关文章 更多
    AI Agent、Genie 4与机器人有什么区别?从任务输入到场景演示
    AI Agent、Genie 4与机器人有什么区别?从任务输入到场景演示

    认识AI Agent、Genie 4与机器人的区别:任务输入不等于完成结果,世界模拟不等于现实执行,装载机动作展示也不能替代完整工程验收。

    photoshop批处理改尺寸怎么弄的详细操作教程
    photoshop批处理改尺寸怎么弄的详细操作教程

    学习如何使用Photoshop的图像处理器和动作批处理功能快速统一修改大量图片的尺寸。本教程提供详细的操作步骤,包括动作录制、参数设置及批量执行流程,帮助用户高效完成图片 resizing 任务。

    全球首条百万片级体全息光波导自动化产线在天津投产
    全球首条百万片级体全息光波导自动化产线在天津投产

    全球首条百万片级体全息光波导自动化产线在天津投产,年产能100万片,突破消费级AR核心显示技术规模化量产瓶颈。产线采用独家全息光刻设备及工艺平台,拥有完整知识产权,产品已应用于AR眼镜和车载AR-HUD等领域。

    贾跃亭的FF机器人亮相CBS、引爆街头:借势世界杯“轻巧破圈”
    贾跃亭的FF机器人亮相CBS、引爆街头:借势世界杯“轻巧破圈”

    法拉第未来EAI机器人亮相洛杉矶世界杯庆典,被CBS报道,实现零广告费破圈。目前推出三大系列机器人,截至5月累计交付137台,年度目标上调至1500台。近期获7000万美元融资,将发布机器人教育生态战略,加速物理AI领域布局。

    寻影 Meet Flip 会议摄像头发布:一体化翻折设计、搭索尼 1/2 英寸传感器,599 元
    寻影 Meet Flip 会议摄像头发布:一体化翻折设计、搭索尼 1/2 英寸传感器,599 元

    寻影推出MeetFlip4KAI会议摄像头:一体化翻折设计搭配金属转轴,搭载索尼1/2英寸传感器,支持4K@30fps与相位对焦。具备AI构图、挥手控制变焦、双麦克风四种收音模式及美颜功能,首发价599元。

    启元机器人加速线下布局:亚洲首店落子深圳,上海全球首店同步筹备
    启元机器人加速线下布局:亚洲首店落子深圳,上海全球首店同步筹备

    启元机器人加速线下布局,亚洲首店已在深圳卓悦中心设围挡,上海全球首店同步筹备,西安等地也在推进中。作为上纬新材在消费级具身智能领域的核心载体,其聚焦个人机器人赛道,研发投入同比增长超500%。

    【城事】001,世界会客厅首位机器人员工上岗
    【城事】001,世界会客厅首位机器人员工上岗

    6月16日,世界会客厅迎来首位智能导览员——编号001的人形机器人正式上岗。它身高约1.7米,通体银白,可提供多语种讲解、智能引导与互动问答,致力于提升智慧化参观体验。同日,世界会客厅举办了年度品牌日暨首秀5周年纪念活动。

    300名截肢患者,正在变成机器人的触觉训练师
    300名截肢患者,正在变成机器人的触觉训练师

    约300名截肢患者日常使用仿生手产生的触觉与运动数据,被PSYONIC用于机器人灵巧手训练,通过“真实到真实”迁移绕过仿真环节,将人类操控经验直接迁移至机器人。已与ABB、NVIDIA合作探索汽车制造等工业场景,但数据规模与可靠性仍需验证。

    香港中文大学、上交大联合研究团队让机器人
    香港中文大学、上交大联合研究团队让机器人"看"懂人类双手动作

    ACE-Ego-0框架将人类双手视频与机器人数据统一到头部摄像头坐标系,通过形态条件化和可靠性加权损失处理结构差异与噪声。在超6000小时数据上预训练,于仿真和真实双臂机器人测试中刷新多项基准,平均成功率72.8%,真实任务达78.3%。

    新型量子传感器可探测引力波和暗物质
    新型量子传感器可探测引力波和暗物质

    一种新型量子传感器通过两个不同位置的原子干涉仪共用同一束激光测量,有效抵消激光噪声,成功提取微弱信号。实验表明该装置能排除噪声干扰,捕捉模拟的早期引力波和超轻暗物质信号,为研究超大质量黑洞形成和暗物质本质开辟新途径。

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。