当前位置:

首页 > 腾讯AI Lab在星际2中展现新突破:实现灵活策略应对职业选手

腾讯AI Lab在星际2中展现新突破:实现灵活策略应对职业选手

腾讯AILab的游戏AI团队最近宣布了在《星际争霸2》中的最新研究进展,他们提出了一种创新的训练方法,显著提高了AI的局内策略应变能力。在考虑了APM公平的对战环境中,AI与三位国内顶尖的神族职业选手进行了多达20局的神族对战,稳定地保持了50%以上的胜率。这项成果已被NeurIPS2023Spotlight论文收录实时策略游戏(RTS)以其复杂的游戏环境更贴近现实世界,一直是AI研究的焦点和挑战所在。《星际争霸2》作为其中极具代表性的游戏,因其对资源收集、战术规划和对手分析的高实时要求,已成为业内广泛用

腾讯AI Lab的游戏AI团队最近宣布了在《星际争霸2》中的最新研究进展,他们提出了一种创新的训练方法,显著提高了AI的局内策略应变能力。在考虑了APM公平的对战环境中,AI与三位国内顶尖的神族职业选手进行了多达20局的神族对战,稳定地保持了50%以上的胜率。这项成果已被NeurIPS 2023 Spotlight论文收录


实时策略游戏(RTS)以其复杂的游戏环境更贴近现实世界,一直是 AI 研究的焦点和挑战所在。《星际争霸 2》作为其中极具代表性的游戏,因其对资源收集、战术规划和对手分析的高实时要求,已成为业内广泛用于训练和验证 AI 决策能力的理想平台。早在 2018 年,腾讯 AI Lab 研发的 AI 就已击败游戏内最高难度的 AI。

业界的联盟训练方法(League)虽然在星际 AI 强度上取得了突破性进展,但其中在 AI 局内策略应变能力以及训练效率存在不足。针对这些问题,腾讯 AI Lab 研发了新的算法进行改进,一方面提出了一种基于目标条件的强化学习(Goal-Conditioned RL)方法来训练利用者(Exploiter),使利用者在有限资源下能够高效探索多样策略并击败联盟中的其他智能体(Agent);另一方面通过引入对手建模机制,有效提升了智能体面对不同对手战术的应变能力。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

论文链接:https://openreview.net/pdf?id=tDAu3FPJn9

这项研究有助于推进 AI 智能化,增强 AI 应对复杂问题的泛化能力。在从 MOBA 到足球、RTS,再到 3D 开放世界游戏(如 Minecraft)等多样化游戏环境,“绝悟” 持续展现了其决策能力的提升。展望未来,决策智能 AI 将能更好地适应人类的真实需求,解决现实世界的复杂问题。

基于目标条件的强化学习提升利用者训练效果

利用者(Exploiter)是联盟训练中的重要角色,用于发现联盟中其他智能体的弱点,以丰富其他智能体陪练的对手池策略,为提升智能体策略应变能力提供基础环境。

在经典的星际 AI 联盟训练框架中,利用者并没有具体的目标策略指导,而是通过不断的随机探索来识别主智能体(Main Agent)和整个联盟的弱点。然而,考虑到《星际争霸 2》策略空间的庞大和复杂性,这种方法可能导致资源浪费和训练低效。

为了在有限的计算资源下提升利用者的学习效果,本研究提出了一种新颖的基于目标条件的强化学习训练方法。该方法让利用者能够自动挑选有 “潜力” 的宏观策略,并在相应宏观策略条件下进行训练,发现联盟其他智能体的弱点。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 1: 基于 goal-conditioned rl 的 exploiter 训练示意图

如图 1 所示,新方法通过评估主智能体在不同宏观策略条件下的胜率和执行偏差,来指导利用者的策略选择。从主智能体的高胜率宏观策略中采样的利用者被称为利用型利用者(Exploitative Exploiter),它的特点在于参数会重置为当前主智能体的参数,利用主智能体在该宏观策略下的高胜率能力,通过强化学习进一步提高微操技能,以击败其他智能体。同时,为了提升联盟中能够执行的宏观策略多样性,研究团队引入了探索型利用者(Explorative Exploiter)。探索型利用者专注于学习主智能体在执行上存在大偏差的宏观策略,以充分挖掘这类宏观策略的价值。在训练过程中,新方法除了将探索型利用者的参数重置为监督学习模型的参数外,还引入了课程学习机制和目标策略引导损失函数,以帮助其有效学习主智能体难以掌握的宏观策略。

基于对手建模提升 AI 局内策略应变能力

局内策略应变能力在《星际争霸 2》中至关重要,同时也是 AI 研究的一大挑战。这一能力指的是 AI 根据对手的实时策略做出合理的自身策略调整。其难点在于 AI 需要在不完全的信息环境中快速准确地解读和预测对手的策略,这不仅需要对复杂场景信息做高度抽象,还对预测能力有很高的要求。

本研究基于对手建模的理念,增加了一个辅助任务网络,专门用于估计对手的策略,并将这些信息的隐空间表达应用于主网络的策略调整学习。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 2: 对手建模方法示意图

具体的对手建模方法如图 2 所示,由于游戏存在 “战争迷雾” 机制,整体的网络结构建模按照 VAE 的架构设计。输入为当前观测到的对手信息,利用 LSTM 处理时序信息,预测关键的对手策略内容,例如不同兵种和建筑的数量,以及不同科技的升级情况。下面公式中 yt 表示 t 时刻对手的策略,Ot 表示 t 时刻观测到的对手信息,例如观测到的对手不同兵种和建筑数量,自身的视野信息等。整个网络参数基于人类数据进行训练优化。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

为了进一步提升效果,文章还提出了一种基于对手策略估计输出计算的 “侦探” reward,鼓励 AI 通过有效的侦探,更全面地掌握对手策略的信息。这一设计能降低对手策略估计输出的交叉熵,从而提高 AI 预估的正确性。

实验结果

为了验证新训练算法 ROA-Star 的策略应变能力,研究团队邀请了国内 3 位顶尖的神族职业选手对神族 AI 进行全面测试。与过往研究中通常只进行少量对局的做法不同,本次测试中 AI 与每位职业选手进行了多达 20 局的对战,以观察局数增加对胜率波动的影响。结果显示,AI 在所有测试中均能保持 50% 及以上的胜率,表明 AI 具备稳定的策略适应性。同时,AI 的瞬间 APM 被限制低于 800,平均 APM 低于 250,且职业选手有充分的休息时间,确保了对战的公平性。图 3 展示了 AI 的平均胜率随着对局数目的变化情况。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 3: 与 3 位顶尖神族职业选手测试过程中 AI 的平均胜率随着对局数目的变化

此外,研究团队采用相同的硬件资源,基于经典的联盟基线算法以及自研的新算法分别训练了 10 天的时间。通过将两个实验中所有智能体对战 100 局,并根据对战胜率统计了的 Elo 曲线,如图 4 所示。Elo 曲线清晰地显示了 ROA-Star 算法的有效性,主智能体的强度提升速度明显更快。同时,新提出的利用型利用者和探索型利用者的强度也能持续跟上主智能体,为主智能体提供了丰富的匹配其强度的对手池,有利于提升其策略的鲁棒性。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 4: 基线算法和自研算法训练过程中不同类型 agent 的 Elo 分变化

为进一步探索对手建模对于 AI 策略鲁棒性和局内应变能力的影响,研究团队还进行了消融实验。实验对基线算法和增加对手建模特性的新算法分别训练了 5 天,随后将训练得到的主智能体分别与 4 个具有不同宏观策略的 AI 进行了 100 局对战。如图 5 和表 1 所示,增加对手建模特性的新算法,能够根据对手的不同策略调整自身策略,显著提升了相应的胜率。

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

图 5: 基线算法和增加对手建模特性算法在应对不同策略时采用的策略统计图

NeurIPS 2023 Spotlight | 腾讯AI Lab绝悟新突破:在星际2灵活策略应对职业选手

表 1: 基线算法和增加对手建模特性算法对战不同对手宏观策略时的胜率

总结来说,决策智能 AI 正在朝着管理更多智能体、应对更复杂环境、增强协作能力的方向发展。本研究创新性地改进了星际 AI 研究方法 ,有效提升了 AI 的策略应变能力和鲁棒性。这不仅在学术侧为 AI 复杂决策提供了新的视角,也展示了决策智能 AI 未来在游戏、自动化、智慧城市管理以及复杂系统模拟等更广泛领域的应用潜力。
本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
相关文章 更多
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

比特现金未来:可扩展性与支付潜力
比特现金未来:可扩展性与支付潜力

比特现金(BCH)的未来发展前景看好。凭借其可扩展性、支付采用、价值存储、智能合约和坚实的社区支持,比特现金有望在多个领域取得显著发展,成为一种多功能且广泛使用的加密货币。

ACH总量10亿,价值与用途详解
ACH总量10亿,价值与用途详解

ACH 总共发行了 10 亿枚,用于支付网关费用、治理投票和质押奖励。ACH 基于 BEP-20 标准,采用 PoS 机制,可通过私募、公募和生态系统分配获取,其价值受服务需求、实用性和市场趋势影响,可在币安、火币等交易所购买。

Coinbase Pro设置指南:下载、登录与自定义
Coinbase Pro设置指南:下载、登录与自定义

Coinbase Pro 设置步骤:下载并安装软件后,打开并登录,点击右上角齿轮图标进入“首选项”。在首选项中,你可以调整界面、安全、通知、交易和API设置,完成后点击“保存”按钮确认更改。

IoTeX等基础设施如何赋能IoT生态
IoTeX等基础设施如何赋能IoT生态

IoTeX、DePHY和peaq是构建物联网生态系统的关键基础设施。IoTeX提供去中心化网络,确保物联网交易和数据的安全性。DePHY利用区块链技术实现频谱共享和自治管理。peaq促进设备间的数据标准化和共享。通过这些基础设施的协同作用,物联网生态系统实现了去中心化、安全、互操作性和自治,充分释放了物联网的潜力。

DOGE发行价多少
DOGE发行价多少

波场etf代码
波场etf代码

TRX浏览器查询地址
TRX浏览器查询地址

ChainLink跑路了吗
ChainLink跑路了吗

什么叫Toncoin杠杆
什么叫Toncoin杠杆

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。