利用Vision Pro在实时模式下训练机器狗！MIT博士生的开源项目备受关注
VisionPro又现火爆新玩法，这回还和具身智能联动了~就像这样，MIT小哥利用VisionPro的手部追踪功能，成功实现了对机器狗的实时控制。不仅开门这样的动作能精准get：也几乎没什么延时。Demo一出，不仅网友们大赞鹅妹子嘤，各路具身智能研究人员也嗨了。比如这位准清华叉院博士生：还有人大胆预测：这就是我们与下一代机器互动的方式。项目如何实现，作者小哥朴英孝（YounghyoPark）已经在GitHub上开源。相关App可以直接在VisionPro的AppStore上下载。用VisionPro训练机
Vision Pro又现火爆新玩法，这回还和具身智能联动了~
就像这样，MIT小哥利用Vision Pro的手部追踪功能，成功实现了对机器狗的实时控制。
不仅开门这样的动作能精准get：
也几乎没什么延时。
Demo一出，不仅网友们大赞鹅妹子嘤，各路具身智能研究人员也嗨了。
比如这位准清华叉院博士生：
还有人大胆预测：这就是我们与下一代机器互动的方式。
项目如何实现，作者小哥朴英孝（Younghyo Park）已经在GitHub上开源。相关App可以直接在Vision Pro的App Store上下载。
用Vision Pro训练机器狗
具体来看看作者小哥开发的App——Tracking Steamer。
顾名思义，这个应用程序旨在利用Vision Pro追踪人类动作，并将这些动作数据实时传输到同一WiFi下的其他机器人设备上。
动作追踪的部分，主要依靠苹果的ARKit库来实现。
其中头部追踪调用的是queryDeviceAnchor。用户可以通过长按数字表冠来重置头部框架到当前位置。
手腕和手指追踪则通过HandTrackingProvider实现。它能够追踪左右手腕相对于地面框架的位置和方向，以及每只手25个手指关节相对于手腕框架的姿态。
网络通信方面，这个App使用gRPC作为网络通信协议来流式传输数据。这使得数据能被更多设备订阅，包括Linux、Mac和Windows设备。
另外，为了方便数据传输，作者小哥还准备了一个Python API，让开发者能够通过编程方式订阅和接收从Vision Pro流式传输的追踪数据。
API返回的数据是字典形式，包含头部、手腕、手指的SE(3)姿态信息，即三维位置和方向。开发者可以直接在Python中处理这些数据，用于对机器人的进一步分析和控制。
就像不少专业人士所指出的那样，别看机器狗的动作还是由人类控制，事实上，相比于“操控”本身，结合模仿学习算法，人类在这个过程中，更像是机器人的教练。
而Vision Pro通过追踪用户的动作，提供了一种直观、简单的交互方式，使得非专业人员也能够为机器人提供精准的训练数据。
作者本人也在论文中写道：
在不久的将来，人们可能会像日常戴眼镜一样佩戴Vision Pro这样的设备，想象一下我们可以从这个过程中收集多少数据！
这是一个充满前景的数据源，机器人可以从中学习到，人类是如何与现实世界交互的。
最后，提醒一下，如果你想上手试一试这个开源项目，那么除了必备一台Vision Pro之外，还需要准备：
- 苹果开发者账户
- Vision Pro开发者配件（Developer Strap，售价299美元）
- 安装了Xcode的Mac电脑
嗯，看样子还是得先让苹果赚一笔了（doge）。
项目链接：https://github.com/Improbable-AI/VisionProTeleop?tab=readme-ov-file
大晓机器人「晓途」机器狗在上海西岸实现7×24小时常态化巡逻，搭载具身超级大脑模组与云端平台，首创开放环境自主导航，不依赖预建地图，实时感知避障。云端集群调度可一人管控多机，完成异常发现、取证、劝导至执法联动闭环，全天候守护公共空间。
大晓机器人研发的“晓途”系统让机器狗在上海、天津投入7×24小时自主巡逻。搭载A1超级大脑，具备即视即行能力，可自主避障、上下台阶、识别不文明行为并语音劝导。云端平台实现一人控多机，覆盖昼夜盲区，并拓展至安防、工业运维等领域。
无锡公安与企业合作组建“智甲战队”，包含人形机器人、机器狗等设备，用于交通指挥、巡逻等公共安全场景。目前机器人仍需人工遥控，正逐步实现自主能力，通过场景验证推动技术迭代。
本期海报荐读聚焦多个热点话题，以下是具体内容： 超越伦敦之后，上海“剧透”国际航运中心建设未来五年怎么干 曹立媛 设计 机器狗巡逻需多人配合，机器人指挥交通靠背后遥控？“智甲战队”正在断奶…… 曹立媛 设计 上海郊区五个新城：富含创新浓度，跃升产业能级 邵竞 设计 专访谭家华院士：从高价进口到出口管
在大连国际工业博览会上，一款陪伴型机器狗亮相。它能感知牵引绳力度并调整速度跟随主人，具备自主避障和上下楼梯能力。此外，机器狗可驮运物品协助老人购物，也能与儿童互动玩耍和简单交流，旨在模拟真实宠物互动体验。
封面新闻记者 付文超 机器狗巡检，真正的难点在哪里？恐怕不是“装一个摄像头”，也不是“让云台自己稳住”。真正的考验在于：当机器狗在真实场景中行走、转弯、上下坡、跨越障碍、经过碎石路面和狭窄通道时，整套系统是否还能持续输出稳定、清晰、可识别、可复现的巡检数据。 5月25日消息，云深处科技对其四足机器人
“快看！那只机器狗自己翻了个跟头！” 5月22日至24日，广州暨大港澳子弟学校的操场俨然成了一片“未来战场”。来自美国、英国、俄罗斯、波兰、西班牙等国，以及中国香港、澳门地区和大湾区内地城市的66所学校、131支队伍、700多名师生汇聚羊城。他们带来的主角，是形态各异的四足机器人。这里正在进行的，是
四足机器人赛道又添新成员，竞争态势正悄然升温。5月21日，具身智能领域的代表企业云深处，正式发布了其面向行业应用的小型轮足机器人——山猫S10。这款机器狗整机自重控制在20公斤以内（含电池），却拥有超过8公斤的有效负载能力，极限负载更是高达120公斤。其平地极限速度可达8米/秒，目标直指巡检巡逻、侦
机器人又火出圈了。不过这次站在聚光灯下的，不是人形机器人，而是一只四足机器狗。 最近，一段机器狗独自上街的视频在网上刷屏。视频里，这家伙能自己走在城市道路上，红灯停、绿灯行，遇到人群还能主动绕开。相比过去那些离不开遥控器、更多停留在表演阶段的机器狗，它看起来确实更接近一个能独立行动的智能体。 但真正
5月30日，华为推出了全新的AI模型——盘古UltraMoE，该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型，它在整个训练过程中完全基于华为的昇腾AI平台完成，标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如，Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入，显著改善了超大规模模型训练期间出现的梯度异常及
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
