顺序决策与基础模型如何交叉互惠？谷歌、伯克利等探讨更多可能

在广泛数据集上基于自监督学习的预训练基础模型，已经展现出将知识迁移到不同下游任务的优秀能力。因此，这些模型也被应用到长期推理、控制、搜索和规划等更复杂的问题，或者被部署在对话、自动驾驶、医疗保健和机器人等应用中。未来它们也会提供接口给外部实体和智能体，例如在对话应用中，语言模型与人进行多轮交流；在机器人领域，感知控制模型在真实环境中执行动作。

这些场景为基础模型提出了新的挑战，包括：1) 如何从外部实体（如人对对话质量的评价）的反馈中学习，2) 如何适应大规模语言或视觉数据集中不常见的模态（如机器人动作），3) 如何在未来进行长期的推理和规划。 

这些问题一直是传统意义上顺序决策的核心，涵盖了强化学习、模仿学习、规划、搜索和最优控制等领域。与基础模型使用数十亿图像和文本 token 的广泛数据集进行预训练的范式相反，以往关于顺序决策制定的工作主要集中在任务特定或具有有限先验知识的白板设置上。

尽管缺少或没有先验知识让顺序决策看起来很难，但是对顺序决策的研究已经在多个任务上超越了人类表现，如玩棋盘游戏、雅达利（Atari）电子游戏以及操作机器人完成导航和操作等。

然而，由于这些方法学习从零开始解决任务而没有来自视觉、语言或其它数据集的广泛知识，因此通常在泛化和样本效率方面表现不佳，例如需要 7 块 GPU 运行一天才能解决单个雅达利游戏。直觉上，类似于基础模型所用的广泛数据集也应该对顺序决策制定模型有用。举例而言，互联网上有无数关于如何玩雅达利游戏的文章和视频。同样地，有关对象和场景属性的大量知识对于机器人非常有用，关于人类愿望和情感的知识也可以改善对话模型。

虽然由于应用和关注点不同，基础模型和顺序决策的研究大体上是不相交的，但交汇的研究也越来越多。在基础模型方面，随着大语言模型的出现，目标应用从简单的零样本或少样本任务扩展到现在需要长期推理或多次交互的问题 。相反在顺序决策领域，受到大规模视觉和语言模型成功的启发，研究人员开始为学习多模型、多任务和通用交互式智能体准备越来越大的数据集。

两者领域之间的界线变得越来越模糊，一些最近的工作研究了预训练基础模型（例如 CLIP 和 ViT）在视觉环境中 bootstrap 交互式智能体的训练，而其他工作则研究了基础模型作为通过强化学习和人类反馈进行优化的对话智能体。还有一些工作还调整大型语言模型以与外部工具交互，例如搜索引擎、计算器、翻译工具、MuJoCo 模拟器和程序解释器。

最近，谷歌大脑团队、UC 伯克利和 MIT 的研究者撰文表示，基础模型和交互式决策研究相结合会让彼此受益。一方面，将基础模型应用于涉及外部实体的任务中，可以从交互式反馈和长期规划中受益。另一方面，顺序决策可以利用基础模型的世界知识更快地解决任务并进行更好的泛化。

论文地址：https://arxiv.org/pdf/2303.04129v1.pdf

为了在这两个领域的交集上推动进一步的研究，研究者限定了用于决策制定的基础模型的问题空间。同时提供了理解当前研究的技术工具，回顾了目前存在的挑战和未解决的问题，并预测了解决这些挑战的潜在解决方案和有前景的方法。

论文概览

论文主要分为以下 5 个主要章节。

第 2 章回顾了顺序决策的相关背景，并提供了一些基础模型和决策制定最好一起考虑的示例场景。随后讲述了围绕基础模型如何构建决策制定系统的不同组件。

第 3 章探讨了基础模型如何作为行为生成式模型（比如技能发现）和环境生成式模型（比如进行基于模型的推演）。

第 4 章探讨了基础模型如何作为状态、动作、奖励和转移动态的表示学习器（例如即插即用的视觉 - 语言模型、基于模型的表示学习）。

第 5 章探讨了语言基础模型如何作为交互式智能体和环境，使得可以在顺序决策框架（语言模型推理、对话、工具使用）下考虑新问题和应用。

最后一章，研究者概述了未解决的问题和挑战，并提出了潜在的解决方案（例如如何利用广泛的数据、如何构建环境以及基础模型和顺序决策的哪些方面可以得到改进）。

更多细节内容请参阅原论文。