AI好奇心，不只害死猫！MIT强化学习新算法，智能体这回「难易通吃」
人人都遇见过一个古老的难题。周五晚上，你正试图挑选一家餐厅吃饭，但没有预定。你应该去你最爱的那家人满为患的餐厅排队等位，还是尝试一家新餐厅，希望能发现一些更好吃的惊喜？后者确实有可能带来惊喜，但这种好奇心驱动的行为是有风险的：你去尝试的那家新餐厅的东西可能会更难吃。好奇心作为AI探索世界的驱动力，实例已经不胜枚举了——自主导航、机器人决策、优化检测结果等等。在某些情况下，机器使用「强化学习」来完成一个目标，在这一过程中，AI智能体从被奖励的好行为和被惩罚的坏行为中反复学习。就像人类在选择餐厅时面临的困境
人人都遇见过一个古老的难题。
周五晚上，你正试图挑选一家餐厅吃饭，但没有预定。你应该去你最爱的那家人满为患的餐厅排队等位，还是尝试一家新餐厅，希望能发现一些更好吃的惊喜？
后者确实有可能带来惊喜，但这种好奇心驱动的行为是有风险的：你去尝试的那家新餐厅的东西可能会更难吃。
好奇心作为AI探索世界的驱动力，实例已经不胜枚举了——自主导航、机器人决策、优化检测结果等等。
在某些情况下，机器使用「强化学习」来完成一个目标，在这一过程中，AI智能体从被奖励的好行为和被惩罚的坏行为中反复学习。
就像人类在选择餐厅时面临的困境一样，这些智能体也在努力平衡发现更好的行动（探索）的时间和采取过去导致高回报的行动（利用）的时间。
太强的好奇心会分散智能体的注意力，无法做出有利的决定，而好奇心太弱，则意味着智能体永远无法发现有利的决定。
为了追求使AI智能体具有「恰到好处」的好奇心，来自麻省理工学院计算机科学与AI实验室（CSAIL）的研究人员创造了一种算法，克服了AI过于「好奇」和被手头的任务分散注意力的问题。
他们研究出的算法会在需要时自动增加好奇心，如果智能体从环境中得到足够的监督，已经知道该怎么做，则降低好奇心。
论文链接：https://williamd4112.github.io/pubs/neurips22_eipo.pdf
经过60多个视频游戏的测试，该算法能够在不同难度的探索任务中取得成功，而以前的算法只能单独解决简单或困难难度。这意味着AI智能体可以使用更少的数据来学习决策规则，达到激励最大化。
「如果你很好地掌握了探索-开发之间权衡，就能更快地学习正确的决策规则，而任何不足之处都需要大量的数据，这可能意味着产生的结果是非最优的医疗方案，网站的利润下降，以及机器人没有学会做正确的事情。」
该研究带头人之一、麻省理工学院教授兼Improbable AI实验室主任Pulkit Agrawal说。
好奇心，不只害死猫！
我们似乎很难从心理学角度解释好奇心的心理基础，对于这种寻求挑战的行为的潜在神经学原理，我们一直没有深入理解。
有了强化学习，这个过程在情感上被「修剪」了，将这个问题剥离至最基本的层面，但在技术实现上却相当复杂。
从本质上讲，智能体只应该在没有足够的监督来尝试不同的事情时才会有好奇心，如果有监督，它必须调整好奇心，降低好奇心。
在测试游戏任务中，很大一部分是小智能体在环境中跑来跑去寻找奖励，并执行一长串的行动来实现一些目标，这似乎是研究人员算法的逻辑测试平台。
在《马里奥赛车》和《蒙特祖玛的复仇》等游戏实验中，研究人员将上述游戏分为两个不同类别：
一种监督稀疏的环境，智能体获得的指导较少，也就是「困难」的探索游戏；另一种是监督更密集的环境，即「简单」的探索游戏。
假设在《马里奥赛车》中，只删除所有的奖励，你不知道什么时候敌人杀了你。当你收集一个硬币或跳过管道时，不会得到任何奖励。智能体只有在最后才被告知其表现如何。这就属于稀疏监督环境，也就是困难任务。在这种任务中，激励好奇心的算法表现非常好。
而如果智能体处于密集监督环境，也就是说，跳过管道、收集硬币和杀死敌人都有奖励，那么，表现最好的就是完全没有好奇心的算法，因为经常得到奖励，只要照着走流程就行了，不需要额外探索就能收获颇丰。
这里如果使用激励好奇心的算法，学习速度会很慢。
因为好奇心强的智能体，可能会试图以不同的方式快速奔跑，到处乱逛，走遍游戏的每一个角落。这些事情都很有趣，但并不能帮助智能体在游戏中取得成功，获得奖励。
如前文所言，在强化学习中，一般用激励好奇心和抑制好奇心的算法，来分别对应监督稀疏（困难）和监督密集（简单）任务，不能混用。
这一次，MIT团队的新算法始终表现良好，无论是在什么环境中。
未来的工作可能涉及回到多年来令心理学家高兴和困扰的探索：好奇心的适当衡量标准--没有人真正知道从数学上定义好奇心的正确方法。
MIT CSAIL博士生Zhang Weihong说：
通过改进探索算法，为你感兴趣的问题调整算法。我们需要好奇心来解决极具挑战性的问题，但在某些问题上，好奇心会降低性能。我们的算法消除了调整「探索和利用」的平衡负担问题。
以前要花一个星期来解决的问题，新算法可以在几个小时内就得到满意的结果。
他与麻省理工学院CSAIL工程硕士、22岁的Eric Chen是关于这项工作的新论文的共同作者。
卡内基梅隆大学的教师Deepak Pathak说：
「像好奇心这样的内在奖励机制，是引导智能体发现有用的多样化行为的基础，但这不应该以在给定的任务中做得好为代价。这是AI中的一个重要问题，这篇论文提供了一种平衡这种权衡的方法。看看这种方法如何从游戏扩展到现实世界的机器人智能体上，将是很有趣的一件事。」
加州大学伯克利分校心理学特聘教授和哲学副教授Alison Gopnik指出，当前AI和认知科学的最大挑战之一，就是如何平衡「探索和利用」，前者是对信息的搜索，后者是对奖励的搜索。
「这篇论文使用了令人印象深刻的新技术来自动完成这一工作，设计了一个能够系统地平衡对世界的好奇心和对奖励的渴望的智能体，让AI智能体朝着像真正的儿童一样聪明的方向，迈出了重要一步。」他说。
参考资料：
https://techxplore.com/news/2022-11-bad-ai-curious.html
https://www.csail.mit.edu/news/ensuring-ai-works-right-dose-curiosity
本文解析超聚变在2026数博会发布的“智企”范式，重点阐述如何通过Token生产平台（Token Factory）与企业业务本体建模，实现从简单AI工具调用到企业应用架构系统性重构的演进。文章详细拆解了智能体编排、数字孪生及生态协同等关键技术路径，为AI时代企业数字化转型提供可落地的参考方案。
从Office转向WPS的核心操作肌肉记忆切换通常需3至7天，不影响正常办公。适应期长短取决于界面视觉差异与专属格式配置。通过切换“经典界面”、嵌入字体及开启云同步，可实现平滑过渡。本文详解格式兼容、数据迁移及AI功能适用场景，适用于需多端协同、成本控制及国产化兼容的办公人群。
加拿大一母亲起诉OpenAI，称ChatGPT设计缺陷导致其女儿自杀，指控其优先用户参与度而非安全性，持续提供情感支持致过度依赖。专家指出AI应“陪伴但不过界”，需设定边界并引导求助。国家已出台拟人化互动服务管理办法。
2026届高考生学车时多采用AI教练，逐步适应人机共驾。作为与生成式AI共同成长的一代，他们更易接受智能驾驶，未来可能成为首批“原生AI司机”。至2030年前后，其人生首辆车或具备L3级自动驾驶能力，驾驶角色将从操控者转向监督者。
全球股市因AI热潮呈现K型分化，半导体板块估值逼近百倍市盈率。历史警示：2000年互联网泡沫中的“四骑士”最终市值暴跌或长期盘整。投资者应警惕“错失恐惧症”，重视安全边际、护城河与能力圈，避免被高估值裹挟，关注稳健性与股息率。
Cloudflare报告显示，完成应用现代化的企业从AI投资中获得可衡量回报的概率是未现代化企业的三倍。93%的决策者视系统更新为AI先决条件，91%的领先企业已嵌入AI功能。安全与现代化协同推进可使AI成熟度提升四倍，精简技术架构成为竞争力分水岭。
据微软引用《Joule》期刊的一项研究指出，每一次典型人工智能查询耗电量零点一六至零点六零瓦时，其冷却用水量中位数不足一滴水。大规模部署下，单位查询的效率会更高，总能耗可以降低一半以上。
A股PCB概念板块掀起涨停潮，因摩根士丹利报告预测AI光模块PCB市场三年增长超5倍，2025至2028年规模从6.2亿美元增至37.7亿美元，年复合增速高达83%，远超光模块整体增速。
哈啰推出的A70云朵共享单车搭载海思芯片与鸿蒙系统，实现200毫秒极速开锁；追风者自动变速车客单价提升30%，用户复购率超40%。技术升级使运维成本占比降至25%，日均使用频次升至4.8次，分层运营策略有效分摊成本，推动共享单车从交通工具向智能终端转型。
Windows 10 是一款微软推出的经典操作系统，拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起，适合需要持续观察和微调设备状态的场景。
极度公式是一款跨平台专业LaTeX公式识别编辑软件，支持OCR公式识别和多平台编辑。和使用说明，避免使用，享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时，它能把识别后的处理步骤接得更顺，资料录入这类场景会省下不少时间。
