西工大推出创新无人机控制框架：实现群聊式交互、主动感知环境、自主控制无人机

超强的泛化能力，让大模型成为「通用人工智能」的一缕曙光。

然而，读万卷书，不如行万里路，在开放环境中，大模型需要真正地「走」进物理世界，才能切实地理解复杂任务、解决实际问题。

最近，李学龙教授的团队进行了关于开放环境中自主无人机集群的创新研究。他们利用国产大型模型成功实现了在开放环境中的人机和多机对话交互，打破了人类与机器之间的交互壁垒。这一研究进一步扩展了临地安防的应用场景，让大型无人机在现实生活中翱翔

受到人类认知模式的启发，我们的团队将高度自主的认知过程归纳为「思维计算—实体控制—环境感知」的三元交互，并建立了基于「书生·浦语」开源大模型驱动的自主无人机「群聊式」控制框架。我们为每架无人机搭载了智能大脑，使得无人机群体能够通过语言沟通动态协同，实现在开放环境和复杂任务中的智能交互、主动感知和自主控制。这一举措提高了无人机任务执行的自主性

总的来说，自主无人机集群的主要能力包括类人对话交互、主动环境感知和自主实体控制

类人对话交互

图1 无人机群聊沟通

探索人类用户与无人机的交互方式，让无人机理解复杂任务中的用户需求，是实现自主无人机的前提条件。

针对此，团队提出「群聊式」对话交互方法，将声音、图像和无人机自身状态等多种信息，通过大模型转换为自然语言的对话形式，实现了用户与无人机，以及无人机与无人机之间自主和直观的交互方式。

为了提高复杂任务的执行稳定性和安全性，团队设计了一套高效的实时反馈机制。这个机制使得无人机能够在任务执行的关键节点通过对话报告自身状态，并寻求用户确认。同时，这套机制还能够大大提高任务执行的效率

主动环境感知

图2 主动发现并靠近目标

图3 动态环境避障

在飞行过程中，无人机主动感知外部环境，实时调整任务规划，是完成复杂任务的关键环节。

为了应对这个问题，团队开发了一种任务引导的主动感知机制，并提出了多传感器融合的低空搜索、动态避障和视觉定位算法

在实际任务执行过程中，根据感知信息和任务目标，我们可以动态调整无人机的飞行路径和观测位姿。我们可以尝试从不同的角度和位置感知周围的世界，逐渐降低环境中的不确定性，以实现高效的信息采集和任务执行

自主控制

图4 自主目标抓取

图5 异构无人机集群协同控制

重点研究是探索复合智能体形态，以增强其处理复杂任务的能力。在大模型时代，这是新型智能体的一个关键领域

为了解决这个问题，研发团队利用无人机平台设计了夹爪等末端执行器，将传统的无人机升级为“飞行机器人”，赋予其抓取能力

同时，还建立了异构无人机集群协同控制机制，并结合环境感知反馈，实时调整无人机编队的飞行状态，以便让集群能够分工合作，执行区域搜索、目标定位和抓取等任务

团队成功尝试将生物智能的「思维计算—实体控制—环境感知」三元交互模式应用于自主智能体中，形成了大型自主无人机集群。这种集群利用大型语言模型、无人机平台与多种传感器，实现了对话交互、主动感知和自主控制。该技术对于安防巡检、灾害救援、空中物流等临地安防场景下的应用具有重要意义

参考文献：李学龙, 临地安防（Vicinagearth security）, 中国计算机学会通讯, 18(11), 44-52, 2022年