无人机竞速超越人类顶级选手，强化学习再度震撼Nature封面

在最近的一场无人机比赛中，一架经过自主控制的无人机成功击败了顶级人类玩家

这架自主控制无人机是由瑞士苏黎世大学的研究团队设计研发的 Swift 系统，研究成果登上了最新一期的《Nature》杂志封面

研究内容：请点击此链接查阅研究详情：https://www.nature.com/articles/s41586-023-06419-4

在这个无人机比赛中，人类操作员通过搭载的摄像头来操控无人机在3D赛道上飞行，这样可以让操作员从无人机的视角来观察环境。使无人机达到人类操控的水平对于自主无人机来说是非常具有挑战性的，因为无人机需要仅仅通过搭载的传感器来估计自己在赛道上的速度和位置

Swift战胜了世界冠军级的人类玩家，他们分别是2019年无人机竞速联盟世界冠军Alex Vanover、两届MultiGP国际公开赛冠军Thomas Bitmatta和三届瑞士全国冠军Marvin Schaepper

以下是需要改写的内容：下图1a展示了比赛的赛道，Swift不仅在与人类冠军的比赛中获胜，还创造了最快的比赛纪录。这个成就标志着移动机器人和机器智能领域的一个重要里程碑

需要重新写作的内容是：图1

我们接下来将探讨一下自主无人机 Swift 的技术方法

Swift 技术介绍

Swift 是一款四旋翼飞行器，它通过机载传感器和计算来实现自主控制。这款飞行器由两个关键模块构成：

1. 感知系统，将高维的视觉和惯性信息转换成低维表征；
2. 控制策略，摄取感知系统产生的低维表征并产生控制命令。

在这个研究中，使用一个前馈神经网络来表达控制策略，并且使用无模型的on-policy深度强化学习方法进行训练

由于模拟与现实世界在传感和动力学方面存在差异，仅在模拟中优化策略会导致无人机的现实性能较差，因此研究团队利用物理系统收集的数据来估计非参数经验噪声模型。实验表明，这些经验噪声模型有助于将控制策略从模拟成功转移到现实

具体来说，Swift将机载传感器的读数映射成控制命令，这一映射包括两部分：(1)观察策略，将高维的视觉和惯性信息提炼成特定于任务的低维编码；(2)控制策略，将编码转换成无人机命令。Swift系统整体概览如下图2所示

需要重写的内容是：图2

如需要重新写作的内容是：图1 所示场景，Swift 的观察策略需要运行视觉 - 惯性估计器和门检测器。其中，门检测器是一个卷积神经网络，用于检测机载图像中的赛车门，然后使用检测到的门来估计无人机在赛道上的全局位置和飞行方向。这是使用相机后方交会算法（camera-resectioning algorithm），并结合赛道地图来完成的。最后，Swift 用卡尔曼滤波（Kalman filter）将全局姿态估计（从门检测器获得）与视觉 - 惯性估计结合起来，从而更准确地表征机器人的状态。

重写后的内容：使用一个两层感知器来控制策略，将卡尔曼滤波的输出映射为无人机的控制指令。该控制策略通过在模拟环境中使用无模型的on-policy深度强化学习进行训练。在训练过程中，该策略会考虑相机视野内下一个竞赛门的信息，并通过最大化奖励来提高姿态估计的准确性

实验及结果

为了评估Swift的性能，这项研究进行了一系列的比赛实验，并与轨迹规划和模型预测控制（MPC）进行了比较

根据图3b所示，在与A. Vanover进行的9场比赛中，Swift赢了5场；在与T. Bitmatta进行的7场比赛中，Swift赢了4场；在与M. Schaepper进行的9场比赛中，Swift赢了6场。在Swift的10次失利中，40%是因为与对手相撞，40%是因为与竞赛门相撞，20%是因为比人类控制的无人机慢。总体而言，在与人类控制无人机进行的比赛中，Swift获胜次数最多，并且它还创造了最快的比赛纪录，比人类控制无人机（A. Vanover）的最佳时间快了半秒

需要重新书写的内容是：图3

为了对 Swift 的性能进行更详细的分析，该研究比较了 Swift 和人类控制的无人机在最快单圈飞行速度方面的表现。结果如下需要进行改写的内容是：图4 和需要被重写的是：表 1 所示

需要进行改写的内容是：图4

需要被重写的是：表 1

虽然从整体上看，Swift 比所有人类控制无人机都要快，但它在赛道的每个赛段上的速度并不快，如需要被重写的是：表 1 所示。

研究团队仔细分析发现：在起飞时，Swift 的反应时间较短，平均比人类飞行员早 120 毫秒起飞；Swift 的加速也更快，进入第一个竞赛门时速度更高。在急转弯时，如需要进行改写的内容是：图4cd 所示，Swift 的动作更加紧凑。

研究团队还提出了一种假设，即Swift在比人类操控者更长的时间尺度上优化轨迹。众所周知，无模型强化学习可以通过优化长期奖励来进行价值函数优化。相反，人类操控者规划运动的时间尺度较短，最多只能预测未来一个竞赛门