当前位置:

首页 > 业界资讯 > 智能陪练助你快速稳定提升跑步能力

智能陪练助你快速稳定提升跑步能力

这个机器人名叫Cassie,曾经创下百米跑世界纪录。最近,加州大学伯克利分校的研究者给它开发了一种新的深度强化学习算法,让它掌握了急转弯等技能,还能对抗各种干扰。【关注本站视频号,第一时间看到有趣的AI内容】关于双足机器人运动的研究已经进行了几十年,但仍然没有一个能够对各种运动技能进行稳健控制的通用框架。挑战来自于双足机器人欠驱动动态的复杂性以及与每种运动技能相关的不同规划。研究者们希望解决的关键问题在于:如何为高维人体大小的双足机器人开发一种解决方案?如何控制多样化、敏捷和稳健的腿部运动技能,比如行走、

本文目录

    这个机器人名叫Cassie,曾经创下百米跑世界纪录。最近,加州大学伯克利分校的研究者给它开发了一种新的深度强化学习算法,让它掌握了急转弯等技能,还能对抗各种干扰。

    陪跑又快又稳,机器人跑步搭子来了                                                                              【关注本站视频号,第一时间看到有趣的 AI 内容】
    关于双足机器人运动的研究已经进行了几十年,但仍然没有一个能够对各种运动技能进行稳健控制的通用框架。挑战来自于双足机器人欠驱动动态的复杂性以及与每种运动技能相关的不同规划。

    研究者们希望解决的关键问题在于:如何为高维人体大小的双足机器人开发一种解决方案?如何控制多样化、敏捷和稳健的腿部运动技能,比如行走、跑步和跳跃?

    最近的一项研究或许提供了不错的方案。

    在这项工作中,来自伯克利等机构的研究者利用强化学习(RL)为现实世界中的高维非线性双足机器人创建控制器,以应对上述挑战。这些控制器可以利用机器人的本体感觉信息来适应随时间变化的不确定动态,同时能够适应新的环境和设置,利用双足机器人的敏捷性,在突发情况下表现出稳健的行为。此外,本文框架还提供了再现各种双足运动技能的通用配方。
    陪跑又快又稳,机器人跑步搭子来了
    • 论文标题:Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control
    • 论文链接:https://arxiv.org/pdf/2401.16889.pdf

    论文细节

    对于控制器来说,扭矩控制人体大小的双足机器人的高维性和非线性乍似乎是障碍,然而这些特性的优势在于可以通过机器人的高维动力学实现复杂的敏捷操作。

    这一控制器赋予机器人的技能如图 1 所示,包括稳健的站立、行走、奔跑和跳跃。这些技能还可用于执行各种不同的任务,包括以不同速度和高度行走、以不同速度和方向奔跑以及跳向各种目标,同时在实际部署过程中保持稳健性。为此,研究者利用无模型 RL 让机器人通过对系统全阶动态的试错来学习。除了真实世界的实验,还深入分析了使用 RL 进行腿部运动控制的好处,并详细研究了如何有效地构建学习过程以利用这些优势,如适应性和稳健性。
    陪跑又快又稳,机器人跑步搭子来了
    用于通用双足运动控制的 RL 系统如图 2 所示:
    陪跑又快又稳,机器人跑步搭子来了
    第四节首先介绍了在运动控制中利用机器人 I/O 历史记录的重要性,这一节从控制和 RL 两个角度展示了机器人的长期 I/O 历史可以在实时控制过程中实现系统识别和状态估计。

    第五节介绍了研究的核心:一种利用双足机器人长期和短期 I/O 双历史记录的新型控制架构。具体来说,这种控制架构不仅能利用机器人的长期历史记录,还能利用机器人的短期历史记录。

    控制框架如下图:
    陪跑又快又稳,机器人跑步搭子来了
    在这种双历史记录结构中,长期历史记录带来了适应性(在第八节中得到验证),短期历史记录则通过实现更好的实时控制对长期历史记录的利用进行了补充(在第七节中得到验证)。

    第六节介绍了如何将由深度神经网络表示的控制策略通过无模型 RL 进行优化。鉴于研究者旨在开发一种能够利用高动态运动技能完成各种任务的控制器,因此这一节中的训练以多阶段模拟训练为特征。这种训练策略提供了一个结构化的课程,首先是单一任务训练,即机器人专注于一个固定的任务,然后是任务随机化,使机器人接受的训练任务多样化,最后是动态随机化,改变机器人的动态参数。

    策略如下图所示:
    陪跑又快又稳,机器人跑步搭子来了
    这种训练策略能够提供一种多功能控制策略,可以执行多种任务,并实现机器人硬件的零样本迁移。此外,任务随机化还能通过在不同的学习任务中进行泛化来增强所产生策略的稳健性。

    研究表明,这种稳健性可以使机器人对干扰做出顺从的行为,这与动态随机化带来的干扰是「正交」的。这一点将在第九节中得到验证。

    利用这一框架,研究者获得了针对双足机器人 Cassie 的行走、跑步和跳跃技能的多功能策略。第十章评估了这些控制策略在现实世界中的有效性。

    实验

    研究者对机器人进行了广泛的实验,包括在现实世界中行走、跑步和跳跃等多项能力的测试。所用策略在经过模拟训练后都能够有效地控制现实世界中的机器人,而无需进一步调整。

    行走实验

    如图 14a 所示,行走策略展示了对机器人遵循不同指令的有效控制,在整个测试过程中,跟踪误差相当低(跟踪误差由 MAE 的值来评估)。 

    此外,机器人策略在较长时间内始终表现良好,即使在 325 天和 492 天后仍具有保持跟踪可变命令的能力,分别如图 14c 和图 14b 所示。尽管在此期间机器人的动力学发生了显著的累积变化,但图 14a 中的同一控制器继续有效地管理不同的行走任务,并且跟踪误差的退化最小。
    陪跑又快又稳,机器人跑步搭子来了
    如图 15 所示,该研究所用的策略显示出对机器人可靠的控制,使机器人能够准确地跟踪顺时针或逆时针的不同转弯命令。
    陪跑又快又稳,机器人跑步搭子来了
    快速行走实验。除了中等行走速度之外,实验还展示了所用策略控制机器人向前和向后执行快速行走动作的能力,如图 16 所示。机器人可以从静止状态过渡到快速实现向前行走速度,平均速度达到 1.14 m/s(跟踪指令中要求 1.4 m/s),机器人还能按照指令快速返回站立姿态,如图 16a 所示,数据记录在图 16c 中。
    陪跑又快又稳,机器人跑步搭子来了
    在不平坦的地形上(未经训练),机器人也可以在楼梯或下坡上有效地向后行走,如下图所示。
    陪跑又快又稳,机器人跑步搭子来了
    抗扰动。在脉冲扰动的情况下,比如研究者在机器人步行时从各个方向向机器人引入了短时间内的外部扰动。就像图 18a 中记录的那样,在原地行走时向机器人施加相当大的横向扰动力,横向速度峰值为 0.5 m/s。尽管有扰动,机器人仍能迅速从横向偏差中恢复过来。如图 18a 所示,机器人熟练地沿相反的横向方向移动,有效地补偿扰动并恢复其稳定的原地行走步态。
    陪跑又快又稳,机器人跑步搭子来了
    在持续扰动测试期间,人类对机器人底座施加扰动力量,并沿随机方向拖动机器人,同时命令机器人原地行走。如图 19a 所展示的,当机器人正常行走时,持续的横向拖力施加到 Cassie 的底座上。结果显示机器人在不失去平衡的情况下,通过遵循这些外力的方向来表现出对这些外力的顺应性。这也表明了本文提出的基于强化学习的策略在控制双足机器人以实现安全人机交互等潜在应用方面的优势。

    跑步实验

    当机器人使用双足跑步策略,在 2 分 34 秒内实现了 400 米冲刺,在 27.06 秒内实现了 100 米冲刺,跑步倾斜度高达 10° 等等。

    400 米短跑:该研究首先评估了在标准室外跑道上完成 400 米短跑的一般跑步策略,如图 20 所示。在整个测试过程中,机器人被命令以 3.5 m/s 的速速同时响应由操作员发出的不同转弯命令。机器人能够从站立姿态平滑地过渡到跑步步态(图 20a 1)。机器人设法加速到平均估计运行速度 2.15 m/s,达到峰值估计速度 3.54 m/s,如图 20b 所示。该策略使机器人成功地在整个 400 米跑步过程中始终保持所需的速度,同时准确地遵守不同的转弯命令。
    陪跑又快又稳,机器人跑步搭子来了
    在所提出的跑步策略的控制下,Cassie 在 2 分 34 秒内成功完成了 400 米冲刺,随后能够过渡到站立姿态。 

    该研究进一步进行了急转弯测试,其中机器人被给予偏航命令的阶跃变化,从 0 度直接到 90 度,如图 21c 中记录的。机器人可以响应这样的步进命令,并在 2 秒 5 步内完成 90 度急转弯。
    陪跑又快又稳,机器人跑步搭子来了
    100 米短跑:如图 22 所示,通过部署所提出的跑步策略,机器人在大约 28 秒内完成了 100 米短跑,实现了 27.06 秒的最快跑步时间。
    陪跑又快又稳,机器人跑步搭子来了
    跳跃实验

    通过实验证明,研究者发现很难训练机器人在跳跃到高架平台的同时同时转弯,但所提出的跳跃策略实现了机器人多种不同的双足跳跃,包括可以跳跃 1.4 米以及跳到 0.44 米高架平台上。

    跳跃和转弯:如图 25a 所示,使用单次跳跃策略,机器人能够执行各种给定的目标跳跃,例如旋转 60° 时原地跳跃、向后跳跃到后面 0.3 米处着陆等。 
    陪跑又快又稳,机器人跑步搭子来了
    跳跃到高架平台:如图 25b 所示,机器人能够精确跳跃到不同位置的目标上,例如前方 1 米或前方 1.4 米,它还能跳到不同高度的位置,包括跳到 0.44 米高的地方(考虑到机器人本身只有 1.1 米高)。

    了解更多内容,请参考原论文。
    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯
    相关文章 更多
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了
    一年损耗4.6亿吨、1.88万亿打水漂!县域经济,别再“卖特产”了

    前瞻研判:未来十年,县域特色化经济的竞争,不再是资源的竞争,而是市场信任的竞争。谁能为消费者提供最确定的价值承诺,谁就能赢得市场。 2026年全国两会刚刚落幕,“十五五”规划进入开局之年。今年的政府工作报告中,“扎实推进乡村全面振兴”被摆在突出位置,明确提出要“壮大县域富民产业,做好土特产文章”。这

    南昌光电产业集群将重磅亮相ISLE 2026
    南昌光电产业集群将重磅亮相ISLE 2026

    2026 ISLE展前瞻:南昌光电产业集群即将重磅亮相 明年三月,深圳国际会展中心将迎来一场行业盛事。2026年3月5日至7日,ISLE国际智慧显示及系统集成展将在这里拉开帷幕。而这一次,聚光灯将格外聚焦于一个区域——南昌光电产业集群。他们将以“光耀南昌,智链全球”为主题,携一支实力雄厚的“集团军”

    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”
    天龙三号全球首次海上动力系统试车成功,商业航天竞速“大运力”更需安全“压舱石”

    天龙三号海上试车成功:看中国商业航天如何将“安全”铸为核心竞争力 9月15日,山东海阳东方航天港,巨大的轰鸣声撕裂长空,炽热的白色蒸汽升腾而起。北京天兵科技自主研制的天龙三号大型液体运载火箭,在这里的海上平台成功完成了一级动力系统试车。 这次试车可不简单——它是世界首次海上动力系统试车试验。结果让人

    通用技术集团发布四大战略行动计划,形成全维发展布局
    通用技术集团发布四大战略行动计划,形成全维发展布局

    3月18日,通用技术集团机床产业生态合作伙伴大会在北京国家会议中心举行 春日的北京,一场关乎中国工业未来的盛会拉开帷幕。通用技术集团机床产业生态合作伙伴大会在国家会议中心举行,近500位产业链上下游的企业代表与行业专家齐聚一堂。会上,通用技术集团总工程师、机床公司董事长周舟发布了集团机床产业的未来发

    华为鸿蒙电脑亮相,重构产业新格局
    华为鸿蒙电脑亮相,重构产业新格局

    华为鸿蒙电脑技术与生态沟通会隆重举行,首款鸿蒙电脑惊艳登场,这一标志性事件预示着华为在电脑领域迈出了具有深远影响的关键一步,为国产电脑产业带来了全新的革新与发展契机。鸿蒙电脑的推出并非一朝一夕之功,而是华为经过五年精心策划的结果。在此期间,华为汇聚了超过10000名顶尖工程师,与20多家专业研究所紧密合作,投入大量的精力与资源进行技术研发,最终积累了超过2700项核心专利,彰显了其强大的技术实力与创新能力。新推出的HarmonyOS5采用鸿蒙内核,从操作系统底层开始重构,旨在为用户提供全面升级的办公体验

    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT
    ACL 2024 | 提升大模型持续学习性能,哈工大、度小满提出共享注意力框架SAPT

    AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com赵伟翔是哈尔滨工业大学社会计算与信息检索研究中心2021级直博生,导师为赵妍妍教授和秦兵教授。主要研究方向为对话系统、大语言模型对齐等。他曾以第一作者在ACL、AAAI、IJCAI、CO

    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM
    贾扬清点赞:3K star量的SGLang上新,加速Llama 405B推理秒杀vLLM、TensorRT-LLM

    用来运行Llama3405B优势明显。最近,Meta开源了最新的405B模型(Llama3.1405B),把开源模型的性能拉到了新高度。由于模型参数量很大,很多开发者都关心一个问题:怎么提高模型的推理速度?时隔才两天,LMSYSOrg团队就出手了,推出了全新的SGLangRuntimev0.2。这是一个用于LLM和VLM的通用服务引擎。在运行Llama3.1405B时,它的吞吐量和延迟表现都优于vLLM和TensorRT-LLM。在某些情况下(运行Llama系列模型),它的吞吐量甚至能达到TensorRT

    人类模仿AI新赛道,AI:论疯癫,你是我爹
    人类模仿AI新赛道,AI:论疯癫,你是我爹

    机器之能报道编辑:杨文AI被人类带坏!这个世界,太癫了……最近,社交媒体上冒出来一堆搞怪视频,打着AI的旗号,真人cosAI,甚至抖音还专门出了个热门话题——人类模仿AI大赛。(视频来自抖音博主「关妮乱石」)视频链接:https://mp.weixin.qq.com/s/1DVc8skecSsO0a9QcklZlw套路都一个样儿:左边一张旧照片,右边打着「AI修复」的字幕,实际由真人演绎着脑干缺失的狗血「剧情」。-1-AI:第一次被人冒充,没想到比我还抽

    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath
    首届AI奥数竞赛方案公布:4支获奖队伍,竟都选择国产模型DeepSeekMath

    获胜的AI数学奥林匹克模型出炉!几天前,随着榜单的公布,大家对全球首届AI数学奥林匹克竞赛(AIMO)进步奖的讨论量居高不下。这次比赛共有5个团队胜出,获得第一名的是Numina的团队,CMU_MATH位列第二,afterexams暂居第三,codeinter、Conor#2团队分别拿到第四、第五的成绩。图源:https://www.kaggle.com/c/ai-mathematical-olympiad-prize/leaderboard这一成绩,曾让陶哲轩感到惊讶。当时官方只公布了获奖名单,并未透漏

    2024年WAIC·云帆奖启航:擎启AGI时代,集结超越边界的探索者
    2024年WAIC·云帆奖启航:擎启AGI时代,集结超越边界的探索者

    2024年WAIC・云帆奖面向全球征选AI青年技术人才,欢迎点击「此链接」报名或提名。人工智能的研究范式和产业格局正在经历深刻而积极的转变。过去一年,大模型引发了一股席卷全球的智能浪潮,这不仅推动了AI技术在更广泛领域的应用,也激发了人类对人工智能深层次潜力的追寻和探索。在这场技术革新的洪流中,通用人工智能(AGI)正逐渐从幻想走进现实。我们正处于一个新征程的起点,这个阶段将以人类对通用智能的不懈追求为特征。迎接即将到来的新时代,让我们将目光投向那些充满激情、勇于探索的青年创新者。他们凭借卓越的智慧和无畏

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。