当前位置:

首页 > 业界资讯 > 在重复和挑战性天气条件下的数据集和驾驶感知

在重复和挑战性天气条件下的数据集和驾驶感知

arXiv论文“Ithaca365:DatasetandDrivingPerceptionunderRepeatedandChallengingWeatherConditions“,22年8月1日上传,Cornell和OhioState两个大学的工作。近年来,由于采用大规模数据集,自动驾驶汽车的感知能力有所提高,这些数据集通常在特定位置和良好的天气条件下收集。然而,为了达到高安全要求,这些感知系统必须在各种天气条件下鲁棒运行,包括雪和雨的情况。本文提出了一个实现鲁棒自主驾驶的数据集,

本文目录

    arXiv论文“Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions“,22年8月1日上传,Cornell和Ohio State两个大学的工作。

    在重复和挑战性天气条件下的数据集和驾驶感知

    近年来,由于采用大规模数据集,自动驾驶汽车的感知能力有所提高,这些数据集通常在特定位置和良好的天气条件下收集。然而,为了达到高安全要求,这些感知系统必须在各种天气条件下鲁棒运行,包括雪和雨的情况。

    本文提出了一个实现鲁棒自主驾驶的数据集,采用一个新数据收集过程,即在不同场景(城市、公路、农村、校园)、天气(雪、雨、太阳)、时间(白天/晚上)和交通条件(行人、自行车手和汽车)下,沿着15公里的路线重复记录数据。

    该数据集包括来自摄像机和激光雷达传感器的图像和点云,以及高精度GPS/INS,建立跨路线的对应关系。该数据集包括道路和目标标注,具有非模态(amodal)掩码捕捉的局部遮挡和3-D边框。

    重复路径为目标发现、连续学习和异常检测开辟了新的研究方向。

    Ithaca365链接:A new dataset to enable robust autonomous driving via a novel data collection process

    如图是数据采集的传感器配置:

    在重复和挑战性天气条件下的数据集和驾驶感知

    如图a显示了路线图,其中包含在多个位置捕获的图像。驾驶被安排在一天中的不同时间采集数据,包括晚上。在道路清理之前和之后,记录大雪情况。

    在重复和挑战性天气条件下的数据集和驾驶感知

    数据集的一个关键特色是,在不同的条件下可以观察到相同的位置;图b中显示了一个示例。

    在重复和挑战性天气条件下的数据集和驾驶感知

    如图显示了不同条件下的遍历解析:

    在重复和挑战性天气条件下的数据集和驾驶感知


    开发一个自定义标记工具,用于获取道路和目标的非模态掩码。对于不同环境条件下的道路标签,例如积雪覆盖的道路,用相同路线的重复遍历。具体而言,通过GPS姿态和激光雷达数据构建的点云道路地图,将“好天气”的道路标签转换为“恶劣天气”。

    路线/数据分为76个区间。将点云投影到BEV中,并使用多边形标注器标记道路。一旦在BEV中标记了道路(生成2-D道路边界),将多边形分解为较小的150 m^2多边形,采用平均高度1.5 m的阈值,多边形边界内的点做平面拟合来确定道路高度。

    用RANSAC和回归器将平面拟合到这些点;然后用估计的地平面计算沿边界每个点的高度。将道路点投影到图像中,并创建深度(depth)掩码,获得道路的非模态标签。将位置与带有GPS的标记地图匹配,并用ICP优化路线,可以将地平面投影到新收集路线的特定位置。

    对ICP解决方案进行最终检查,其方法是验证道路标签的平均投影真值掩码与相同位置的所有其他真值掩码符合80% mIOU;如果不符合,则查询位置数据不会被检索到。

    非模态目标用Scale AI标记的六种前景目标类别:汽车、公共汽车、卡车(包括货物、消防车、皮卡、救护车)、行人、自行车手和摩托车手。

    这种标记范式有三个主要组成部分:首先识别目标的可见实例,然后推断被遮挡的实例分割掩码,最后标记每个目标的遮挡顺序。在最左侧的前向摄影机视图上执行标记。遵循与KINS(“Amodal instance segmentation with kins dataset“. CVPR,2019)相同的标准。

    为了展示数据集的环境多样性和非模态质量,训练并测试了两个基线网络,以在像素级识别非模态道路,即使道路被雪或汽车覆盖也能工作。第一个基线网络是Semantic Foreground Inpainting(SFI)。第二个基线,如图所示,采用以下三个创新改进SFI。

    在重复和挑战性天气条件下的数据集和驾驶感知

    1. 位置和通道注意:因为非模态分割主要推断什么是不可见的,所以上下文是一个非常重要的线索。DAN(“Dual attention network for scene segmentation“,CVPR‘2019)引入了两项创新,捕捉两种不同的背景。位置注意模块(PAM)使用像素特征关注图像的其他像素,实际上从图像的其他部分捕获上下文。通道注意模块(CAM)使用类似的注意机制,有效地聚集通道的信息。这里在主干特征提取器上应用这两个模块。结合CAM和PAM更好地定位精细掩码边界。通过上采样层获得最终前景实例掩码。
    2. 混合池化作修补(inpainting):最大池化作为修补操作,将重叠的前景特征替换为附近的背景特征,帮助恢复非模态道路特征。然而,由于背景特征通常是平滑分布的,因此最大池化操作对添加的任何噪声非常敏感。相反,平均池化操作可以自然地减轻噪声。为此,结合平均池化和最大池化进行修补,称之为混合池化(Mixture Pooling)。
    3. 求和运算:在最后上采样层之前,不直接传递来自混合池化模块的特征,而是包含来自PAM模块输出的残余链接。通过在道路分割分支中联合优化两个特征图,PAM模块还可以学习遮挡区域的背景特征。这可以带来更准确地恢复背景特征。

    如图是PAM和CAM的架构图:

    在重复和挑战性天气条件下的数据集和驾驶感知

    混合池化做修补的算法伪代码如下所示:

    在重复和挑战性天气条件下的数据集和驾驶感知

    非模态道路分割的训练和测试代码如下:https://github​. com/coolgrasshopper/amodal_road_segmentation

    实验结果如下:

    在重复和挑战性天气条件下的数据集和驾驶感知

    在重复和挑战性天气条件下的数据集和驾驶感知


    本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系bd@zhengruan.com
    作者最新文章
    业界资讯 数据集
    相关文章 更多
    韩国首尔大学创新无电池智能穿戴:体温即可为手表充电
    韩国首尔大学创新无电池智能穿戴:体温即可为手表充电

    首尔大学突破性研究:完全平坦的可穿戴发电机,体温驱动未来 最近科技圈有个消息挺有意思。3月20日,知名科技媒体Notebook Check报道了首尔大学研究团队的一项新成果——一款完全平坦的可穿戴发电机。这项研究已经正式发表在权威期刊《科学进展》上,可以说是为“无电池”可穿戴设备撕开了一道新口子。

    涂鸦智能:AI技术应转化为可量化、可复制的减碳工具
    涂鸦智能:AI技术应转化为可量化、可复制的减碳工具

    涂鸦智能成为联合国气候解决方案平台首批战略合作伙伴 11月14日传来一个值得关注的消息。在《联合国气候变化框架公约》第三十次缔约方大会期间,中国AI云平台服务商涂鸦智能,正式成为了联合国气候解决方案平台的全球首批战略合作伙伴之一。这意味着,未来各方都能通过这个平台,共享、验证并推广那些经过实践检验的

    追觅宣布进军天文领域 构建“空天地一体化”生态
    追觅宣布进军天文领域 构建“空天地一体化”生态

    “我们的代码,终将写入繁星”:追觅科技成立天文BU,构建从地面到太空的生态闭环 “我们的代码,终将写入繁星。”这句来自追觅科技的宣言,不只是一句诗意的口号,更是一份清晰的战略升级路线图。就在9月10日,这家中国科技企业正式宣告成立天文业务单元(BU),由此完成了一次至关重要的战略跃迁。这标志着其“全

    腾讯智能体开源升级,关键科技全面开放
    腾讯智能体开源升级,关键科技全面开放

    不谈智能体,客户都不见你。腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人吴运声在采访中坦言。这意味着,如今提供云服务,若没有智能体相关的硬核能力,已难以打动客户。在2025腾讯全球数字生态大会上,腾讯云给出了自己的回应:正式发布智能体开发平台3.0(ADP3.0),并宣布腾讯优图实验室的关键智能体技术将逐步开源。据悉,该版本历经近三个月集中迭代,累计上线近600项功能,在RAG能力、Workflow流程、多智能体协作、应用评测及插件生态等方面实现全面升级。更值得关注的是,腾讯云透露未来数月将持续开源

    猛士M817即将预售,搭载华为乾崑智能方案
    猛士M817即将预售,搭载华为乾崑智能方案

    7月16日,CNMO得知,豪华智能越野SUV——猛士M817将于7月17日举办技术发布及新车预售活动。据了解,猛士M817全车搭载华为全栈智能解决方案,并将率先配备乾崑智驾ADS4。猛士M817作为东风猛士科技与华为合作的首个项目,猛士M817在华为全栈智能解决方案的支持下,实现了智能化、越野性能和高端定位的三重提升,使车辆具备类似人类的感知能力、思考能力和进化能力,为用户带来更加豪华、强悍、智能的出行体验。乾崑智驾ADS4让猛士M817实现了从车位到车位的

    “畅享绣”APP上线App Store,iOS用户开启智能刺绣新体验
    “畅享绣”APP上线App Store,iOS用户开启智能刺绣新体验

    近日,兄弟(中国)商业有限公司宣布其智能刺绣设计应用“畅享绣”已完成iOS系统适配及操作体验优化,现已正式上线AppStore。苹果用户可通过iPhone或iPad设备,便捷地将手绘图案转化为刺绣作品,以科技力量赋能传统工艺,开启全民创意刺绣新纪元。此次iOS版本的发布,意味着“畅享绣”已全面覆盖安卓与苹果两大移动平台,使更多用户能够随时随地享受刺绣的乐趣。该应用程序致力于降低专业门槛,让每一位用户都能成为生活中的艺术创作者。以往,个性化刺绣需要依赖专业软件,操作繁琐。而“畅享绣”只需

    美团推出首个语音GUI智能体,端到端语音训练更优
    美团推出首个语音GUI智能体,端到端语音训练更优

    只需动动嘴,就能操控GUI代理?由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手,直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端(End-to-End)决策的自主GUI智能体,致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音,智能代理的新一轮进化目前,基于大语言模型(LLMs)的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作,显著提升用户效率。然而,这种依赖文本输入的方式在某些场景中存在明显局限

    CVPR 2025 具身智能研讨会挑战赛启动
    CVPR 2025 具身智能研讨会挑战赛启动

    2025年CVPR会议:首届具身智能通用机器人操作研讨会及挑战赛(GRAIL)全球顶级计算机视觉与人工智能会议CVPR将于2025年6月11日至15日在美国田纳西州举行。届时,INRIA、华盛顿大学、MBZUAI等顶尖机构将联合举办首届具身智能通用机器人操作研讨会和挑战赛(GRAIL)。该研讨会旨在攻克机器人操作的通用性难题,推动通用机器人技术发展。研讨会亮点:聚焦挑战:真实世界机器人操作面临诸多挑战,例如处理多样化物体、适应不同场景变化以及执行未知任务。GRAIL研讨会将汇聚计算机视觉、

    PHP实现实时智能停车系统技术综述
    PHP实现实时智能停车系统技术综述

    随着城市化进程的加速,车辆数量急剧增加,人们的停车难题愈发突出。实时智能停车系统的出现给了人们极大的方便,也提高了城市停车的管理效率。本文将从技术层面综述PHP实现实时智能停车系统的关键技术点。一、系统架构实时智能停车系统的架构一般分为前端和后端两个部分。前端主要提供地图显示、车位情况、缴费等功能,采用Html5、Css3和JavaScript等技术实现。后

    魔法原子端到端具身智能大模型,今年量产400台人形机器人
    魔法原子端到端具身智能大模型,今年量产400台人形机器人

    魔法原子发布会:人形机器人、四足机器人及“原子万象”大模型惊艳亮相3月26日,魔法原子举办“原子双生”2025场景战略发布会,重磅推出其人形机器人“小麦”和四足机器人,并首次发布端到端“原子万象大模型”。同时,公司启动“千景共创计划”,目标是与1000家合作伙伴合作,打造1000个基于人形机器人的应用场景。人形机器人“小麦”:加速工业和商业应用发布会上,“小麦”回顾了其过去一年的发展历程,从最初的经典控制路线,到如今的强化学习和模仿学习技术路线,其运动能力得到了显著提升,跑步速度已达2m/s,

    查看更多
    精品专题 更多
    装机必备
    装机必备

    正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

    Windows
    Windows

    正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

    PDF教程
    PDF教程

    正软商城PDF教程频道提供PDF编辑、转换、合并、拆分、压缩及格式处理方法,同时介绍常用PDF软件和工具的使用技巧。

    Mac软件 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    Aperty macOS版
    Aperty macOS版
    macOS

    Aperty 是 Skylum 推出的 AI 人像修图软件,支持自然肤质修饰、瑕疵处理、面部与身体调整、预设及批量同步。

    WINDOWS 更多
    讯飞智作 网页版
    讯飞智作 网页版
    Windows/ macOS/ Linux

    讯飞智作是一款基于语音合成技术、虚拟人驱动技术与数字人形象声音构建能力的 AI 数字人音视频创作平台。

    火山引擎 网页版
    火山引擎 网页版
    Windows/ macOS/ Linux

    火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力,依托字节自研豆包多模态大模型,凭借火山方舟一站式平台,提供模型精调、推理部署、智能应用搭建等全链路服务,结合高性能AI算力,助力各行业快速落地大模型数字化与智能化应用。

    PixTV 网页版
    PixTV 网页版
    Windows

    PixTV 是一款在浏览器中使用的 AI 视觉内容创作平台,提供图片、视频、音频、文字生成、AI 分镜、局部重绘、提示词反推和无限画布等工具,适合短剧、漫剧、广告及社交媒体内容制作。