当前位置:

首页 > 业界资讯 > 在重复和挑战性天气条件下的数据集和驾驶感知

在重复和挑战性天气条件下的数据集和驾驶感知

arXiv论文“Ithaca365:DatasetandDrivingPerceptionunderRepeatedandChallengingWeatherConditions“,22年8月1日上传,Cornell和OhioState两个大学的工作。近年来,由于采用大规模数据集,自动驾驶汽车的感知能力有所提高,这些数据集通常在特定位置和良好的天气条件下收集。然而,为了达到高安全要求,这些感知系统必须在各种天气条件下鲁棒运行,包括雪和雨的情况。本文提出了一个实现鲁棒自主驾驶的数据集,

arXiv论文“Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions“,22年8月1日上传,Cornell和Ohio State两个大学的工作。

在重复和挑战性天气条件下的数据集和驾驶感知

近年来,由于采用大规模数据集,自动驾驶汽车的感知能力有所提高,这些数据集通常在特定位置和良好的天气条件下收集。然而,为了达到高安全要求,这些感知系统必须在各种天气条件下鲁棒运行,包括雪和雨的情况。

本文提出了一个实现鲁棒自主驾驶的数据集,采用一个新数据收集过程,即在不同场景(城市、公路、农村、校园)、天气(雪、雨、太阳)、时间(白天/晚上)和交通条件(行人、自行车手和汽车)下,沿着15公里的路线重复记录数据。

该数据集包括来自摄像机和激光雷达传感器的图像和点云,以及高精度GPS/INS,建立跨路线的对应关系。该数据集包括道路和目标标注,具有非模态(amodal)掩码捕捉的局部遮挡和3-D边框。

重复路径为目标发现、连续学习和异常检测开辟了新的研究方向。

Ithaca365链接:A new dataset to enable robust autonomous driving via a novel data collection process

如图是数据采集的传感器配置:

在重复和挑战性天气条件下的数据集和驾驶感知

如图a显示了路线图,其中包含在多个位置捕获的图像。驾驶被安排在一天中的不同时间采集数据,包括晚上。在道路清理之前和之后,记录大雪情况。

在重复和挑战性天气条件下的数据集和驾驶感知

数据集的一个关键特色是,在不同的条件下可以观察到相同的位置;图b中显示了一个示例。

在重复和挑战性天气条件下的数据集和驾驶感知

如图显示了不同条件下的遍历解析:

在重复和挑战性天气条件下的数据集和驾驶感知


开发一个自定义标记工具,用于获取道路和目标的非模态掩码。对于不同环境条件下的道路标签,例如积雪覆盖的道路,用相同路线的重复遍历。具体而言,通过GPS姿态和激光雷达数据构建的点云道路地图,将“好天气”的道路标签转换为“恶劣天气”。

路线/数据分为76个区间。将点云投影到BEV中,并使用多边形标注器标记道路。一旦在BEV中标记了道路(生成2-D道路边界),将多边形分解为较小的150 m^2多边形,采用平均高度1.5 m的阈值,多边形边界内的点做平面拟合来确定道路高度。

用RANSAC和回归器将平面拟合到这些点;然后用估计的地平面计算沿边界每个点的高度。将道路点投影到图像中,并创建深度(depth)掩码,获得道路的非模态标签。将位置与带有GPS的标记地图匹配,并用ICP优化路线,可以将地平面投影到新收集路线的特定位置。

对ICP解决方案进行最终检查,其方法是验证道路标签的平均投影真值掩码与相同位置的所有其他真值掩码符合80% mIOU;如果不符合,则查询位置数据不会被检索到。

非模态目标用Scale AI标记的六种前景目标类别:汽车、公共汽车、卡车(包括货物、消防车、皮卡、救护车)、行人、自行车手和摩托车手。

这种标记范式有三个主要组成部分:首先识别目标的可见实例,然后推断被遮挡的实例分割掩码,最后标记每个目标的遮挡顺序。在最左侧的前向摄影机视图上执行标记。遵循与KINS(“Amodal instance segmentation with kins dataset“. CVPR,2019)相同的标准。

为了展示数据集的环境多样性和非模态质量,训练并测试了两个基线网络,以在像素级识别非模态道路,即使道路被雪或汽车覆盖也能工作。第一个基线网络是Semantic Foreground Inpainting(SFI)。第二个基线,如图所示,采用以下三个创新改进SFI。

在重复和挑战性天气条件下的数据集和驾驶感知

  1. 位置和通道注意:因为非模态分割主要推断什么是不可见的,所以上下文是一个非常重要的线索。DAN(“Dual attention network for scene segmentation“,CVPR‘2019)引入了两项创新,捕捉两种不同的背景。位置注意模块(PAM)使用像素特征关注图像的其他像素,实际上从图像的其他部分捕获上下文。通道注意模块(CAM)使用类似的注意机制,有效地聚集通道的信息。这里在主干特征提取器上应用这两个模块。结合CAM和PAM更好地定位精细掩码边界。通过上采样层获得最终前景实例掩码。
  2. 混合池化作修补(inpainting):最大池化作为修补操作,将重叠的前景特征替换为附近的背景特征,帮助恢复非模态道路特征。然而,由于背景特征通常是平滑分布的,因此最大池化操作对添加的任何噪声非常敏感。相反,平均池化操作可以自然地减轻噪声。为此,结合平均池化和最大池化进行修补,称之为混合池化(Mixture Pooling)。
  3. 求和运算:在最后上采样层之前,不直接传递来自混合池化模块的特征,而是包含来自PAM模块输出的残余链接。通过在道路分割分支中联合优化两个特征图,PAM模块还可以学习遮挡区域的背景特征。这可以带来更准确地恢复背景特征。

如图是PAM和CAM的架构图:

在重复和挑战性天气条件下的数据集和驾驶感知

混合池化做修补的算法伪代码如下所示:

在重复和挑战性天气条件下的数据集和驾驶感知

非模态道路分割的训练和测试代码如下:https://github. com/coolgrasshopper/amodal_road_segmentation

实验结果如下:

在重复和挑战性天气条件下的数据集和驾驶感知

在重复和挑战性天气条件下的数据集和驾驶感知


本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯
相关文章 更多
腾讯智能体开源升级,关键科技全面开放
腾讯智能体开源升级,关键科技全面开放

不谈智能体,客户都不见你。腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人吴运声在采访中坦言。这意味着,如今提供云服务,若没有智能体相关的硬核能力,已难以打动客户。在2025腾讯全球数字生态大会上,腾讯云给出了自己的回应:正式发布智能体开发平台3.0(ADP3.0),并宣布腾讯优图实验室的关键智能体技术将逐步开源。据悉,该版本历经近三个月集中迭代,累计上线近600项功能,在RAG能力、Workflow流程、多智能体协作、应用评测及插件生态等方面实现全面升级。更值得关注的是,腾讯云透露未来数月将持续开源

“畅享绣”APP上线App Store,iOS用户开启智能刺绣新体验
“畅享绣”APP上线App Store,iOS用户开启智能刺绣新体验

近日,兄弟(中国)商业有限公司宣布其智能刺绣设计应用“畅享绣”已完成iOS系统适配及操作体验优化,现已正式上线AppStore。苹果用户可通过iPhone或iPad设备,便捷地将手绘图案转化为刺绣作品,以科技力量赋能传统工艺,开启全民创意刺绣新纪元。此次iOS版本的发布,意味着“畅享绣”已全面覆盖安卓与苹果两大移动平台,使更多用户能够随时随地享受刺绣的乐趣。该应用程序致力于降低专业门槛,让每一位用户都能成为生活中的艺术创作者。以往,个性化刺绣需要依赖专业软件,操作繁琐。而“畅享绣”只需

美团推出首个语音GUI智能体,端到端语音训练更优
美团推出首个语音GUI智能体,端到端语音训练更优

只需动动嘴,就能操控GUI代理?由美团与浙江大学联合推出的GUIRoboTron-Speech——让你彻底解放双手,直接对设备“发号施令”。这是首个可以直接通过语音指令和屏幕截图进行端到端(End-to-End)决策的自主GUI智能体,致力于为用户提供更自然、高效且无障碍的人机交互方式。从文本到语音,智能代理的新一轮进化目前,基于大语言模型(LLMs)的自主GUI智能体已经能够通过文本指令自动完成跨应用、多步骤的复杂操作,显著提升用户效率。然而,这种依赖文本输入的方式在某些场景中存在明显局限

CVPR 2025 具身智能研讨会挑战赛启动
CVPR 2025 具身智能研讨会挑战赛启动

2025年CVPR会议:首届具身智能通用机器人操作研讨会及挑战赛(GRAIL)全球顶级计算机视觉与人工智能会议CVPR将于2025年6月11日至15日在美国田纳西州举行。届时,INRIA、华盛顿大学、MBZUAI等顶尖机构将联合举办首届具身智能通用机器人操作研讨会和挑战赛(GRAIL)。该研讨会旨在攻克机器人操作的通用性难题,推动通用机器人技术发展。研讨会亮点:聚焦挑战:真实世界机器人操作面临诸多挑战,例如处理多样化物体、适应不同场景变化以及执行未知任务。GRAIL研讨会将汇聚计算机视觉、

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络,确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用,物联网生态系统实现了去中心化、安全、互操作性和自治,充分释放了物联网的潜力。

DOGE发行价多少
DOGE发行价多少

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。