LimSim++：自动驾驶中的多模态大模型新篇章
论文名称：LimSim++:AClosed-LoopPlatformforDeployingMultimodalLLMsinAutonomousDriving项目主页：https://pjlab-adg.github.io/limsim_plus/仿真器简介随着多模态大语言模型（(M)LLM）在人工智能领域掀起研究热潮，其在自动驾驶技术中的应用逐渐成为关注的焦点。这些模型通过强大的广义理解和逻辑推理能力，为构建安全可靠的自动驾驶系统提供了有力支持。虽然已有闭环仿真平台如HighwayEnv、CARLA和N
论文名称：LimSim++: A Closed-Loop Platform for Deploying Multimodal LLMs in Autonomous Driving
项目主页：https://pjlab-adg.github.io/limsim_plus/
仿真器简介
随着多模态大语言模型（(M)LLM）在人工智能领域掀起研究热潮，其在自动驾驶技术中的应用逐渐成为关注的焦点。这些模型通过强大的广义理解和逻辑推理能力，为构建安全可靠的自动驾驶系统提供了有力支持。虽然已有闭环仿真平台如HighwayEnv、CARLA和NuPlan等，能够验证LLM在自动驾驶中的表现，但用户通常需要自行适配这些平台，这不仅提高了使用门槛，也限制了LLM能力的深入挖掘。
为了克服这一挑战，上海人工智能实验室的智能交通平台组推出了**LimSim++**，这是一款专为(M)LLM设计的自动驾驶闭环仿真平台。LimSim++的推出，旨在为自动驾驶领域的研究者提供一个更加适宜的环境，以全面探索LLM在自动驾驶技术中的潜力。该平台能够提取并处理来自SUMO和CARLA等仿真环境的场景信息，将其转化为LLM所需的多种输入形式，包括图像信息、场景认知和任务描述。此外，LimSim++还具备运动原语转换功能，能根据LLM的决策快速生成合适的行驶轨迹，实现闭环仿真。更重要的是，LimSim++为LLM创造了一个持续学习的环境，通过评估决策结果并提供反馈，帮助LLM不断优化驾驶策略，提高Driver Agent的驾驶性能。
仿真器特点
LimSim++在自动驾驶仿真领域具有显著特点，为(M)LLM驱动的Driver Agent提供了理想的闭环仿真和持续学习环境。
- LimSim++支持多种驾驶场景的模拟，如十字路口、匝道和环岛等，确保Driver Agent能够在各种复杂路况下接受挑战。这种多样化的场景设置有助于LLM获取更丰富的驾驶经验，提高其在真实环境中的适应能力。
- LimSim++支持多种模态输入的大语言模型。LimSim++不仅提供基于规则的场景信息生成，同时可以与CARLA联调，能够提供丰富的视觉输入，满足(M)LLM在自动驾驶中的视觉感知需求。
- LimSim++注重持续学习能力。LimSim++集成了评估、反思和记忆等模块，帮助(M)LLM在仿真过程中不断积累经验，优化决策策略。
创建属于自己的Driver Agent
LimSim++为用户提供了丰富的接口，可以满足Driver Agent的定制需求，提高了LimSim++开发的灵活性，并且降低了使用门槛。
- Prompt构建
- LimSim++支持用户自定义prompt，从而改变输入给(M)LLM的文本信息，包括角色设置、任务要求、场景描述等信息。
- LimSim++提供了基于json格式的场景描述模板，支持用户零代码进行prompt的修改，无需考虑信息提取的具体实现。
- 决策评估模块
- LimSim++提供了对(M)LLM决策结果进行评估的baseline，用户可以通过改变权重参数来调节评价偏好。
- 框架的灵活性
- LimSim++支持用户为(M)LLM添加自定义的工具库，例如感知工具、数值处理工具等等。
快速上手
- Step 0:安装SUMO（Version≥v1.15.0, ubuntu）
sudo add-apt-repository ppa:sumo/stablesudo apt-get updatesudo apt-get install sumo sumo-tools sumo-doc
- Step 1：下载LimSim++源码压缩包，解压后切换到正确分支
git clone https://github.com/PJLab-ADG/LimSim.gitgit checkout -b LimSim_plus
- Step 2:安装依赖 (要求装有conda)
cd LimSimconda env create -f environment.yml
- Step 3: 运行仿真
- 单独运行仿真
python ExampleModel.py
- 使用LLM进行自动驾驶
export OPENAI_API_KEY='your openai key'python ExampleLLMAgentCloseLoop.py
- 使用VLM进行自动驾驶
# Terminal 1cd path-to-carla/./CarlaUE4.sh# Termnial 2cd path-to-carla/cd PythonAPI/util/python3 config.py --map Town06# Termnial 2export OPENAI_API_KEY='your openai key'cd path-to-LimSim++/python ExampleVLMAgentCloseLoop.py
更多内容请查看LimSim++的github：https://github.com/PJLab-ADG/LimSim/tree/LimSim_plus，如有其他疑问请在GitHub的Issues中提出或直接邮件联系我们！
欢迎学术界和工业界小伙伴共同开发LimSim++，共建开源生态！
首尔大学突破性研究：完全平坦的可穿戴发电机，体温驱动未来 最近科技圈有个消息挺有意思。3月20日，知名科技媒体Notebook Check报道了首尔大学研究团队的一项新成果——一款完全平坦的可穿戴发电机。这项研究已经正式发表在权威期刊《科学进展》上，可以说是为“无电池”可穿戴设备撕开了一道新口子。
涂鸦智能成为联合国气候解决方案平台首批战略合作伙伴 11月14日传来一个值得关注的消息。在《联合国气候变化框架公约》第三十次缔约方大会期间，中国AI云平台服务商涂鸦智能，正式成为了联合国气候解决方案平台的全球首批战略合作伙伴之一。这意味着，未来各方都能通过这个平台，共享、验证并推广那些经过实践检验的
“我们的代码，终将写入繁星”：追觅科技成立天文BU，构建从地面到太空的生态闭环 “我们的代码，终将写入繁星。”这句来自追觅科技的宣言，不只是一句诗意的口号，更是一份清晰的战略升级路线图。就在9月10日，这家中国科技企业正式宣告成立天文业务单元（BU），由此完成了一次至关重要的战略跃迁。这标志着其“全
不谈智能体，客户都不见你。腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人吴运声在采访中坦言。这意味着，如今提供云服务，若没有智能体相关的硬核能力，已难以打动客户。在2025腾讯全球数字生态大会上，腾讯云给出了自己的回应：正式发布智能体开发平台3.0（ADP3.0），并宣布腾讯优图实验室的关键智能体技术将逐步开源。据悉，该版本历经近三个月集中迭代，累计上线近600项功能，在RAG能力、Workflow流程、多智能体协作、应用评测及插件生态等方面实现全面升级。更值得关注的是，腾讯云透露未来数月将持续开源
7月16日，CNMO得知，豪华智能越野SUV——猛士M817将于7月17日举办技术发布及新车预售活动。据了解，猛士M817全车搭载华为全栈智能解决方案，并将率先配备乾崑智驾ADS4。猛士M817作为东风猛士科技与华为合作的首个项目，猛士M817在华为全栈智能解决方案的支持下，实现了智能化、越野性能和高端定位的三重提升，使车辆具备类似人类的感知能力、思考能力和进化能力，为用户带来更加豪华、强悍、智能的出行体验。乾崑智驾ADS4让猛士M817实现了从车位到车位的
近日，兄弟（中国）商业有限公司宣布其智能刺绣设计应用“畅享绣”已完成iOS系统适配及操作体验优化，现已正式上线AppStore。苹果用户可通过iPhone或iPad设备，便捷地将手绘图案转化为刺绣作品，以科技力量赋能传统工艺，开启全民创意刺绣新纪元。此次iOS版本的发布，意味着“畅享绣”已全面覆盖安卓与苹果两大移动平台，使更多用户能够随时随地享受刺绣的乐趣。该应用程序致力于降低专业门槛，让每一位用户都能成为生活中的艺术创作者。以往，个性化刺绣需要依赖专业软件，操作繁琐。而“畅享绣”只需
只需动动嘴，就能操控GUI代理？由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手，直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端（End-to-End）决策的自主GUI智能体，致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音，智能代理的新一轮进化目前，基于大语言模型（LLMs）的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作，显著提升用户效率。然而，这种依赖文本输入的方式在某些场景中存在明显局限
2025年CVPR会议：首届具身智能通用机器人操作研讨会及挑战赛(GRAIL)全球顶级计算机视觉与人工智能会议CVPR将于2025年6月11日至15日在美国田纳西州举行。届时，INRIA、华盛顿大学、MBZUAI等顶尖机构将联合举办首届具身智能通用机器人操作研讨会和挑战赛(GRAIL)。该研讨会旨在攻克机器人操作的通用性难题，推动通用机器人技术发展。研讨会亮点：聚焦挑战：真实世界机器人操作面临诸多挑战，例如处理多样化物体、适应不同场景变化以及执行未知任务。GRAIL研讨会将汇聚计算机视觉、
特斯拉在美国测试神秘摄像头Model3，或预示无人驾驶叫车服务即将到来。近日，一款配备独特摄像头布局的Model3测试车在美国现身，其摄像头布局与去年10月发布的Cybercab无人驾驶出租车相似，引发业界对特斯拉无人驾驶叫车服务即将推出的猜测。去年，特斯拉在洛杉矶发布了Cybercab无人驾驶出租车项目，并计划在美国推出无人驾驶乘车服务。目前，该服务正逐步在得克萨斯州奥斯汀及其他地区推进，但特斯拉仍在完善其技术平台。特斯拉在自动驾驶技术研发过程中，曾尝试过多种技术路线，包括激光雷达(LiDAR
随着城市化进程的加速，车辆数量急剧增加，人们的停车难题愈发突出。实时智能停车系统的出现给了人们极大的方便，也提高了城市停车的管理效率。本文将从技术层面综述PHP实现实时智能停车系统的关键技术点。一、系统架构实时智能停车系统的架构一般分为前端和后端两个部分。前端主要提供地图显示、车位情况、缴费等功能，采用Html5、Css3和JavaScript等技术实现。后
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
