想做能终身学习的 AI？先得教会它如何忘记

你是否有过这样的体验？新学的知识，如果不反复巩固，过不了多久就忘得差不多了。对于人工智能来说，这个现象更严重——它被称为“灾难性遗忘”。当AI系统学习新任务或新信息时，往往会毫无保留地覆盖掉之前学到的内容。长期以来，计算机科学家们一直把这件事当作一个需要修补的“缺陷”，比如用庞大的数据库存储旧数据这类变通方案来应对。

但莱斯大学商学院运营管理助理教授刘岳阳与斯坦福大学的合著者们，在一篇新发表于《机器学习基础与趋势》的专题论文中，提出了一个相当碘伏性的观点：遗忘，对人工智能来说，未必是故障。在真实世界的应用场景里，每一个AI系统都面临着内存与算力的硬性约束。它不能，也不应该试图去记住一切。

那怎么办？答案指向了“持久知识”。

人工智能如何持续学习用户

想象一下，当一个音乐应用的用户从12岁长到30岁，他当年最喜欢的歌手是谁，可能早已无关紧要——至少对推荐新歌的AI来说是这样。真正重要的，是那些贯穿始终的、稳定的聆听模式，它们很可能在未来依然适用。

图源：news.rice.edu

这，就是研究人员所说的“持久知识”：信息能随着时间推移，持续保持有用价值。为了给这些真正有价值的知识腾出空间，系统必须学会主动丢弃那些过时或低价值的数据。

传统机器学习的基本假设是：训练最终会结束。模型被训练去识别一个固定的目标，比如识别照片里的猫，一旦达到目标，训练就宣告完成。按照这个逻辑，灾难性的遗忘当然就是灾难性的失败。但刘教授团队的研究起点完全不同：世界始终在变化，人工智能必须持续适应才能保持效用。一个音乐推荐系统，如果认为用户的品味一成不变，那么它很快就会失去推荐价值。它必须持续探索、持续更新。

“作为人类，我们不会记住过去的每一个细节，”刘教授一针见血地指出，“一个持续学习的系统也必须做出相似的取舍，判断哪些信息值得留存。”

有限算力下的人工智能生存之道

为了验证这个观点，刘教授和同事设计了一系列模拟实验，专门测试不同算法在计算资源有限的条件下，随时间推移的表现。

其中一项实验采用了改进版的置换MNIST基准测试——这是一套常用于手写数字分类任务的通用测试基准。在实验中，环境持续变化，迫使AI不断应对新的任务，而不是专注于某一项固定任务。研究人员比较了三种智能体：一种能保存100万个过去样本；一种只能存储1000个样本的小型智能体；以及一个“重置”智能体，它的神经网络会定期被清除。

结果很有意思，直接挑战了该领域的常规假设。在那些不会重复出现的任务上，小内存智能体的表现竟然与大内存智能体不相上下。这说明，留存一次性数据，长期来看并没有收益。即便是那个重置型智能体，只要重复任务的持续时间足够长，它也能通过重新学习掌握知识，跟上节奏。

更值得关注的是，当研究人员施加更严格的算力限制时，大内存系统的灵活性反而出现了下降。它们遭遇了可塑性丧失问题——系统变得过于僵化，难以良好地吸收新信息。刘教授直言：“如果一个系统试图保留一切，它可能会失去适应能力。在真实限制下，选择性遗忘，往往是让学习成为可能的关键。”

另一组在类推荐场景下的模拟实验也得出了相似结论：优先保留长期行为模式，而非短暂流行趋势的智能体，长期获得的奖励更高。

思考如何持续学习

这些发现，为持续学习提供了一种更统一的思考方式。这个领域过去常被划分为记忆保持、快速再学习或计算效率等更狭窄的问题。而刘教授和她的合著者认为，所有这些问题都应该通过一个统一的持续学习框架来分析，其核心目标，是在实际资源限制下最大化长期表现。

这种学科视角的转变，重新定义了“灾难性遗忘”的意义：留存所有过往信息并非最优选择。选择性舍弃那些非重复性或低价值信息，或许正是帮助系统在漫长生命周期中持续学习的核心。

当然，这套框架并不能解决所有实际挑战。在复杂的现实环境中，精确的数学求解依然困难；要实现更多能力，也仍然需要许多系统目前尚不具备的内存与算力支撑。但这篇论文，为后续研究奠定了更清晰的基准。

对于研发终身学习人工智能的研究者而言，这意味着目标或许不再是追求完美的记忆能力，而是实现出色的判断力。一个智能的系统，不需要记住多年前的每一个细节，它只需要留住仍有价值的内容，然后，放下其余的一切。