GPT4教机器人盘转笔，那叫一个丝滑！
最近，那个启发了数学家陶哲轩的GPT-4，在聊天中又开始教机器人如何转笔了项目叫AgentEureka，是由英伟达、宾州大学、加州理工学院和得克萨斯大学奥斯汀分校联手研发的。他们的研究结合了GPT-4结构的能力和强化学习的优势，让Eureka能设计出精妙的奖励函数。GPT-4的编程能力赋予Eureka强大的奖励函数设计技巧。这意味着，在大部分任务中，Eureka自己设计的奖励方案，甚至比人类专家更出色。这让它能完成一些人类难以完成的任务，包括转笔、打开抽屉，盘核桃，甚至更复杂的任务，如抛接球，操作剪刀等等
最近，那个启发了数学家陶哲轩的GPT-4，在聊天中又开始教机器人如何转笔了
项目叫Agent Eureka，是由英伟达、宾州大学、加州理工学院和得克萨斯大学奥斯汀分校联手研发的。他们的研究结合了 GPT-4 结构的能力和强化学习的优势，让 Eureka 能设计出精妙的奖励函数。
GPT-4 的编程能力赋予 Eureka 强大的奖励函数设计技巧。这意味着，在大部分任务中，Eureka 自己设计的奖励方案，甚至比人类专家更出色。这让它能完成一些人类难以完成的任务，包括转笔、打开抽屉，盘核桃，甚至更复杂的任务，如抛接球，操作剪刀等等。
图片
图片
虽然目前这些都是在模拟环境中完成的，但这已经非常厉害了。
项目已经开源，项目地址和论文地址已经放在文末
简单总结下论文的核心要点。
论文探讨了如何使用大型语言模型（LLM）来设计并优化机器学习中的奖励函数。这是一个重要的课题，因为设计好的奖励函数可以大大提高机器学习模型的性能，但是设计这样的函数是非常困难的。
研究人员提出了一种名为EUREKA的新算法。EUREKA采用LLM来生成和改进奖励函数。在测试中，EUREKA在29种不同的强化学习环境中达到了人类级别的性能，并在83%的任务中超越了人类专家设计的奖励函数
EUREKA成功解决了一些以前无法通过人工设计奖励函数解决的复杂操作任务，例如模拟「Shadow Hand」手部快速转笔的操作
此外，EUREKA 提供了一种全新的方法，能够根据人类的反馈来生成更加有效、更符合人类期望的奖励函数
EUREKA 的工作方式包括三个主要步骤：
将环境作为上下文：EUREKA 使用环境的源代码作为上下文，以生成可执行的奖励函数
2. 进化搜索：EUREKA 通过进化搜索的方式，不断提出和改进奖励函数
3. 奖励反思：EUREKA 根据策略训练的统计数据生成奖励质量的文本总结，从而自动和有针对性地改进奖励函数。 3. 奖励反思：EUREKA 根据策略训练的统计数据生成奖励质量的文本总结，以便自动且有针对性地改进奖励函数
这项研究可能会对强化学习和奖励函数设计领域产生深远影响，因为它提供了一种新的、有效的方法来自动生成和改进奖励函数，而且这种方法的性能在许多情况下超过了人类专家。
认识AI Agent、Genie 4与机器人的区别：任务输入不等于完成结果，世界模拟不等于现实执行，装载机动作展示也不能替代完整工程验收。
法拉第未来EAI机器人亮相洛杉矶世界杯庆典，被CBS报道，实现零广告费破圈。目前推出三大系列机器人，截至5月累计交付137台，年度目标上调至1500台。近期获7000万美元融资，将发布机器人教育生态战略，加速物理AI领域布局。
启元机器人加速线下布局，亚洲首店已在深圳卓悦中心设围挡，上海全球首店同步筹备，西安等地也在推进中。作为上纬新材在消费级具身智能领域的核心载体，其聚焦个人机器人赛道，研发投入同比增长超500%。
6月16日，世界会客厅迎来首位智能导览员——编号001的人形机器人正式上岗。它身高约1.7米，通体银白，可提供多语种讲解、智能引导与互动问答，致力于提升智慧化参观体验。同日，世界会客厅举办了年度品牌日暨首秀5周年纪念活动。
约300名截肢患者日常使用仿生手产生的触觉与运动数据，被PSYONIC用于机器人灵巧手训练，通过“真实到真实”迁移绕过仿真环节，将人类操控经验直接迁移至机器人。已与ABB、NVIDIA合作探索汽车制造等工业场景，但数据规模与可靠性仍需验证。
ACE-Ego-0框架将人类双手视频与机器人数据统一到头部摄像头坐标系，通过形态条件化和可靠性加权损失处理结构差异与噪声。在超6000小时数据上预训练，于仿真和真实双臂机器人测试中刷新多项基准，平均成功率72.8%，真实任务达78.3%。
暑期科技研学聚焦北京、上海、深圳、杭州，项目涵盖京东智能物流、小米汽车工厂、火箭制造、3D打印、机器人、无人机、航天及大飞机总装等，让孩子深入体验智能制造，实现沉浸式职业启蒙。
顺丰同城上线机器人末端运力，与肯德基“车速取”合作，实现即停即取。机器人独立承担门店与路边取餐点间短途接驳，替代店员跑腿，推动无人物流从室内走向室外场景，拓宽服务半径。
天津机器人产业加速爆发，水下助推器、高速分拣并联机器人及人形取货机器人等应用场景涌现。智能机器人已列重点产业链，前4个月规上企业产值同比增长12.8%，产业生态逐步构建。
国家医保局发布指南，为3D打印、手术机器人、远程手术等辅助操作统一价格立项，按技术精度分类定价，鼓励用于高难度手术。机械臂耗材费用纳入定价，降低患者支出；首次设立远程手术辅助操作费；要求医疗数据及设备日志本地存储并实时上传，否则核减价格。
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
