当前位置:

首页 > 业界资讯 > LimSim++:自动驾驶中的多模态大模型新篇章

LimSim++:自动驾驶中的多模态大模型新篇章

论文名称:LimSim++:AClosed-LoopPlatformforDeployingMultimodalLLMsinAutonomousDriving项目主页:https://pjlab-adg.github.io/limsim_plus/仿真器简介随着多模态大语言模型((M)LLM)在人工智能领域掀起研究热潮,其在自动驾驶技术中的应用逐渐成为关注的焦点。这些模型通过强大的广义理解和逻辑推理能力,为构建安全可靠的自动驾驶系统提供了有力支持。虽然已有闭环仿真平台如HighwayEnv、CARLA和N

论文名称:LimSim++: A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving

项目主页:https://pjlab-adg.github.io/limsim_plus/

LimSim++:多模态大模型在自动驾驶中的新舞台

仿真器简介

随着多模态大语言模型((M)LLM)在人工智能领域掀起研究热潮,其在自动驾驶技术中的应用逐渐成为关注的焦点。这些模型通过强大的广义理解和逻辑推理能力,为构建安全可靠的自动驾驶系统提供了有力支持。虽然已有闭环仿真平台如HighwayEnv、CARLA和NuPlan等,能够验证LLM在自动驾驶中的表现,但用户通常需要自行适配这些平台,这不仅提高了使用门槛,也限制了LLM能力的深入挖掘。

为了克服这一挑战,上海人工智能实验室的智能交通平台组推出了**LimSim++**,这是一款专为(M)LLM设计的自动驾驶闭环仿真平台。LimSim++的推出,旨在为自动驾驶领域的研究者提供一个更加适宜的环境,以全面探索LLM在自动驾驶技术中的潜力。该平台能够提取并处理来自SUMO和CARLA等仿真环境的场景信息,将其转化为LLM所需的多种输入形式,包括图像信息、场景认知和任务描述。此外,LimSim++还具备运动原语转换功能,能根据LLM的决策快速生成合适的行驶轨迹,实现闭环仿真。更重要的是,LimSim++为LLM创造了一个持续学习的环境,通过评估决策结果并提供反馈,帮助LLM不断优化驾驶策略,提高Driver Agent的驾驶性能。

LimSim++:多模态大模型在自动驾驶中的新舞台

仿真器特点

LimSim++在自动驾驶仿真领域具有显著特点,为(M)LLM驱动的Driver Agent提供了理想的闭环仿真和持续学习环境。

  • LimSim++支持多种驾驶场景的模拟,如十字路口、匝道和环岛等,确保Driver Agent能够在各种复杂路况下接受挑战。这种多样化的场景设置有助于LLM获取更丰富的驾驶经验,提高其在真实环境中的适应能力。
  • LimSim++支持多种模态输入的大语言模型。LimSim++不仅提供基于规则的场景信息生成,同时可以与CARLA联调,能够提供丰富的视觉输入,满足(M)LLM在自动驾驶中的视觉感知需求。
  • LimSim++注重持续学习能力。LimSim++集成了评估、反思和记忆等模块,帮助(M)LLM在仿真过程中不断积累经验,优化决策策略。

创建属于自己的Driver Agent

LimSim++:多模态大模型在自动驾驶中的新舞台

LimSim++为用户提供了丰富的接口,可以满足Driver Agent的定制需求,提高了LimSim++开发的灵活性,并且降低了使用门槛。

  1. Prompt构建
  • LimSim++支持用户自定义prompt,从而改变输入给(M)LLM的文本信息,包括角色设置、任务要求、场景描述等信息。
  • LimSim++提供了基于json格式的场景描述模板,支持用户零代码进行prompt的修改,无需考虑信息提取的具体实现。
  1. 决策评估模块
  • LimSim++提供了对(M)LLM决策结果进行评估的baseline,用户可以通过改变权重参数来调节评价偏好。
  1. 框架的灵活性
  • LimSim++支持用户为(M)LLM添加自定义的工具库,例如感知工具、数值处理工具等等。

快速上手

  • Step 0:安装SUMO(Version≥v1.15.0,  ubuntu)
sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc
  • Step 1:下载LimSim++源码压缩包,解压后切换到正确分支
git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus
  • Step 2:安装依赖 (要求装有conda)
cd LimSimconda env create -f environment.yml
  • Step 3: 运行仿真
  • 单独运行仿真
python ExampleModel.py
  • 使用LLM进行自动驾驶
export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py
  • 使用VLM进行自动驾驶
# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py

更多内容请查看LimSim++的github:https://github.com/PJLab-ADG/LimSim/tree/LimSim_plus,如有其他疑问请在GitHub的Issues中提出或直接邮件联系我们!

欢迎学术界和工业界小伙伴共同开发LimSim++,共建开源生态!

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯
上一篇: 如何利用两个Python函数快速实现计算机视觉应用
下一篇: Photoshop快捷键技巧教程 常用命令一览表及图解
相关文章 更多
腾讯智能体开源升级,关键科技全面开放
腾讯智能体开源升级,关键科技全面开放

不谈智能体,客户都不见你。腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人吴运声在采访中坦言。这意味着,如今提供云服务,若没有智能体相关的硬核能力,已难以打动客户。在2025腾讯全球数字生态大会上,腾讯云给出了自己的回应:正式发布智能体开发平台3.0(ADP3.0),并宣布腾讯优图实验室的关键智能体技术将逐步开源。据悉,该版本历经近三个月集中迭代,累计上线近600项功能,在RAG能力、Workflow流程、多智能体协作、应用评测及插件生态等方面实现全面升级。更值得关注的是,腾讯云透露未来数月将持续开源

“畅享绣”APP上线App Store,iOS用户开启智能刺绣新体验
“畅享绣”APP上线App Store,iOS用户开启智能刺绣新体验

近日,兄弟(中国)商业有限公司宣布其智能刺绣设计应用“畅享绣”已完成iOS系统适配及操作体验优化,现已正式上线AppStore。苹果用户可通过iPhone或iPad设备,便捷地将手绘图案转化为刺绣作品,以科技力量赋能传统工艺,开启全民创意刺绣新纪元。此次iOS版本的发布,意味着“畅享绣”已全面覆盖安卓与苹果两大移动平台,使更多用户能够随时随地享受刺绣的乐趣。该应用程序致力于降低专业门槛,让每一位用户都能成为生活中的艺术创作者。以往,个性化刺绣需要依赖专业软件,操作繁琐。而“畅享绣”只需

美团推出首个语音GUI智能体,端到端语音训练更优
美团推出首个语音GUI智能体,端到端语音训练更优

只需动动嘴,就能操控GUI代理?由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手,直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端(End-to-End)决策的自主GUI智能体,致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音,智能代理的新一轮进化目前,基于大语言模型(LLMs)的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作,显著提升用户效率。然而,这种依赖文本输入的方式在某些场景中存在明显局限

CVPR 2025 具身智能研讨会挑战赛启动
CVPR 2025 具身智能研讨会挑战赛启动

2025年CVPR会议:首届具身智能通用机器人操作研讨会及挑战赛(GRAIL)全球顶级计算机视觉与人工智能会议CVPR将于2025年6月11日至15日在美国田纳西州举行。届时,INRIA、华盛顿大学、MBZUAI等顶尖机构将联合举办首届具身智能通用机器人操作研讨会和挑战赛(GRAIL)。该研讨会旨在攻克机器人操作的通用性难题,推动通用机器人技术发展。研讨会亮点:聚焦挑战:真实世界机器人操作面临诸多挑战,例如处理多样化物体、适应不同场景变化以及执行未知任务。GRAIL研讨会将汇聚计算机视觉、

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

特斯拉Model3神秘摄像头测试,或将推出无人驾驶叫车服务
特斯拉Model3神秘摄像头测试,或将推出无人驾驶叫车服务

特斯拉在美国测试神秘摄像头Model3,或预示无人驾驶叫车服务即将到来。近日,一款配备独特摄像头布局的Model3测试车在美国现身,其摄像头布局与去年10月发布的Cybercab无人驾驶出租车相似,引发业界对特斯拉无人驾驶叫车服务即将推出的猜测。去年,特斯拉在洛杉矶发布了Cybercab无人驾驶出租车项目,并计划在美国推出无人驾驶乘车服务。目前,该服务正逐步在得克萨斯州奥斯汀及其他地区推进,但特斯拉仍在完善其技术平台。特斯拉在自动驾驶技术研发过程中,曾尝试过多种技术路线,包括激光雷达(LiDAR

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络,确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用,物联网生态系统实现了去中心化、安全、互操作性和自治,充分释放了物联网的潜力。

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。