浙大推出让AI会「导演」的角色扮演框架！四通道消息沉浸式交互

AI角色扮演，正迎来一次关键的“沉浸感”升级。

如今，大语言模型在扮演特定角色对话方面已经相当熟练，但总感觉差点意思。大多数系统更像是一个知识渊博的聊天机器人，对话流畅却缺乏“灵魂”——环境是死的，场景是固定的，角色是静态的。当你想体验一场真正的、需要四处搜证、与不同人物周旋的探案叙事时，现有系统往往就捉襟见肘了。

现在，局面可能要被改写了。浙江大学与腾讯优图实验室联合提出了一项名为AdaMARP的新框架。这个框架的核心目标很明确：让AI角色扮演从“会聊天”进化到“会演戏”。它不仅能让角色“说话”，还能让它们“思考”、“行动”并“感知环境”，更重要的是，它能像一个真正的导演一样，在复杂的多场景叙事中灵活调度，动态引入新角色。

目前，这项研究成果已被自然语言处理顶会ACL 2026接收。

从“跟AI聊天”到“与角色共处”

理想中的AI角色扮演是什么样子？用户设定一个角色，AI就能完全代入，在特定的情境中保持人设，对环境线索敏感，并能根据复杂的人物关系做出恰如其分的回应。

但现实往往骨感。以经典的探案场景为例，现有的角色扮演系统大多局限在一个固定场景里，与有限的几个角色进行循环对话。你无法真正“勘察现场”，无法因为发现新线索而“转场”到下一个地点，也无法在剧情需要时“召唤”出新的证人。整个叙事缺乏动态推进的实感，更像是在一个封闭的聊天室里进行文字游戏。

问题出在哪里？研究团队指出了两个关键瓶颈。

瓶颈一：环境成了“背景板”

许多系统只关注角色的“台词”。后来虽有改进，加入了“动作”或“内心独白”，但“环境”始终被当作静态的背景装饰。然而，在真正的叙事中，环境是活的——案发现场地毯上的特殊蜡痕、证人住所门口未干的泥渍、昏暗灯光下的摇曳阴影……这些环境细节不仅是氛围营造者，更是推动剧情和支撑推理的关键线索。

如果系统无法将环境作为与台词、动作同等重要的信号来建模和处理，那么角色就如同在真空中表演，失去了与世界的互动，沉浸感自然大打折扣。

瓶颈二：缺乏一个“总调度”

更根本的问题在于结构。多数系统默认场景和角色阵容是固定不变的。但一个生动的故事需要流动：侦探该去书房搜查还是去询问女仆？下一个发言者应该是谁？何时应该切换场景以引入新线索和新人物？

现有框架很少系统性地处理这些调度问题。没有这样一个“导演”角色的存在，故事就很难自然地、有机地展开，无法支撑起开放、多线的复杂叙事。

AdaMARP：四通道演绎与智能调度导演

针对上述问题，AdaMARP从“角色演绎”和“叙事调度”两个层面给出了系统性解决方案。

沉浸式消息格式：思维、行动、环境与言语的交织

首先，AdaMARP为每一轮角色互动定义了一种全新的四通道消息格式：思考（Thought）– 行动（Action）– 环境（Environment）– 言语（Speech）。

这四种元素可以灵活交织，形成一个完整的角色响应。例如，福尔摩斯在询问一位神色不安的证人时，完整的输出可能是：

<煤气灯摇曳，证人下意识地瞥向壁炉上的时钟> [他在回避具体时间，那段时间他可能不在场]（用烟斗轻轻敲了敲桌面）案发当晚八点到九点，您究竟在哪里？

你看，环境线索触发了内心推理，推理催生了施压动作，最终转化为追问的言语。一条清晰的“感知-思考-行动”链条就此形成，远比干巴巴的一句台词要生动、可信得多。

更重要的是，环境从此不再是点缀。案发现场的物证可以支撑推理链条，房间的布置能暗示主人的性格与行踪，而场景的切换则自然成为引入新人物、新矛盾的枢纽。

自适应框架：三智能体协作与场景管理器的五种指令

在架构上，AdaMARP将整个角色扮演过程建模为三个智能体的协作：

• Actor模型：负责扮演所有非用户角色。
• User模型：代表用户一方，可以是真人，也可以由另一个LLM模拟。
• 场景管理器（Scene Manager）：整个叙事的“总导演”。

这个“导演”手握一套清晰的指令集，驱动着整场“演出”：

• init_scene：初始化场景（如“贝克街221B客厅”）。
• pick_speaker：决定下一句台词由谁来说（是福尔摩斯追问，还是华生补充？），并给出理由。
• switch_scene：切换场景（如“从案发现场切换到苏格兰场警局”）。
• add_role：动态引入新角色（如“一位声称目击了马车的流浪汉”），并附带其基本人设。
• end：结束当前互动。

每一步调度决策都会输出对应的理由，使得整个过程透明、可解释、可控制。这样一来，系统不仅能决定“谁来说”，还能决定“何时何地发生何事”，从而真正支撑起电影剧本般复杂的多场景、多角色叙事。

实战推演：一场AdaMARP驱动的虚拟探案

概念或许抽象，我们不妨通过一个简化的福尔摩斯探案片段，看看AdaMARP如何在实际中运转。请注意，以下示例经过简化，略去了部分细节。

初始场景：伦敦东区某寓所，案发深夜。壁炉已熄，余烬旁的地毯上有一小块凝固的蜡痕。

场景管理器行动：pick_speaker (speaker: 福尔摩斯)。理由：侦探应先勘察现场并给出初步推理。

福尔摩斯：<煤气灯昏黄，蜡痕在阴影中隐约可见> [烛泪的位置和形状……婚礼蜡烛，而且是左手持烛]（蹲下身捻起碎屑嗅了嗅，站起身）华生，去查查最近三个月内举办过婚礼、且家中有人左撇子的家庭。

场景管理器行动：pick_speaker (speaker: 华生)。理由：福尔摩斯已下达指令，助手应领命执行。

华生：（点点头）明白。（推门而出）<走廊里传来渐远的脚步声，随后是马车驶离的声响>

场景管理器行动：switch_scene。理由：华生已前往调查，需切换至下一个搜证地点——案发地邻居的住所。
新场景：房东太太狭窄昏暗的公寓，炖菜气味弥漫。

场景管理器行动：add_role (new_role: 房东太太)。理由：作为案发地邻居，可能掌握关键证词。

场景管理器行动：pick_speaker (speaker: 福尔摩斯)。理由：讯问应由侦探主导开场。

福尔摩斯：（摘下礼帽）夫人，案发当晚八点到九点，您是否听见三楼有任何异常声响？

场景管理器行动：pick_speaker (speaker: 房东太太)。理由：需听取证人对时间线的陈述。

房东太太：<下意识地瞥向壁炉上的时钟> （略显慌张）我……我当时在楼下厨房。

场景管理器行动：pick_speaker (speaker: 福尔摩斯)。理由：证人出现回避迹象，应继续追问施压。

……

可以看到，从场景初始化、发言权调度、场景转换到新角色引入，整个叙事流程完全由场景管理器根据剧情逻辑动态驱动。这种结构化的多通道、多场景叙事，正是AdaMARP旨在实现的“沉浸式”体验。

让AI“会演”又“会导”：数据是如何炼成的？

如此复杂的能力，需要高质量的数据来训练。研究团队为此构建了两个相辅相成的数据集。

AdaRPSet：训练“演员”的演技

这个数据集用于训练扮演角色的Actor模型，它由两部分构成：

1. 文学提取集：从81部经典文学作品中，通过大语言模型自动提取出连贯的多角色互动场景，并将其严格转化为统一的“思考-行动-环境-言语”四通道格式。这些数据天然带有文学作品的质感和“人味”，是学习基础演绎能力的优质粮草。

2. 主题合成集：文学场景往往固定，缺乏动态调度。为此，团队在20类主题（如探案、冒险、密谋等）下，让LLM主动生成包含明确场景切换和角色引入的复杂情节轨迹。这专门用于强化模型适应动态叙事的能力。

AdaSMSet：训练“导演”的调度

这个数据集则用于训练核心的“导演”——场景管理器。它在上述合成数据的基础上，关键的一步是：在每两段角色发言之间，由另一个强大的模型自动插入“该谁说话”的决策指令，并生成具体、合乎上下文的选择理由。

最终，这个数据集覆盖了场景管理器所需的所有五类调度动作，为“何时换场、何时加人、谁接下一句”提供了端到端的监督信号。

两个数据集珠联璧合：一个让AI学会如何“演”得像，另一个让AI学会如何“导”得顺。它们共享统一的角色档案和消息格式，确保“演员”和“导演”能在同一套叙事语言下无缝协作。

AdaptiveBench：如何评估“沉浸感”？

有了框架和数据，最后一个关键问题是：如何科学地评估这种“沉浸式、可适应”的角色扮演效果？传统的单轮对话评测显然不够用。

为此，团队提出了AdaptiveBench评测框架。它不再纠结于“某一句话说得像不像”，而是从一整段完整的叙事轨迹出发，进行多维度的综合评估：

针对“演员”（Actor模型）的评估维度包括：

• 角色一致性：人设是否从头到尾保持统一？
• 环境基础：是否真的利用环境线索推动剧情？
• 人际互动：对话是否符合人物关系？
• 叙事推进：每次发言是否都在推动故事前进？
• 指令遵循：是否严格遵守四通道格式？

针对“导演”（场景管理器）的评估维度包括：

• 场景理解：切换场景的时机是否合理？
• 发言纪律：发言顺序安排是否得当？
• 角色引入判断：引入新角色的时机和理由是否自然？
• 整体节奏：整场调度的流畅度如何？

通过这套仿真评测体系，AdaMARP框架的优势得以量化呈现：它能够产出更连贯的“感知-思考-行动”链条，更有效地利用环境线索，并在多角色、多场景的复杂调度中展现出强大的灵活性和叙事推动力。

这无疑为下一代AI角色扮演指明了一个清晰的方向——从静态对话走向动态叙事，从聊天机器人走向具有沉浸感的“虚拟世界演员”。无论是互动式故事创作、沉浸式游戏，还是复杂的模拟训练，这项技术都打开了新的想象空间。

项目主页：https://xuzhenhua55.github.io/AdaMARP/#overview