香港科技大学研究揭示AI科研助手为何总是在"原地打转"

这项由香港科技大学主导的研究，以预印本形式发表于2026年5月，编号arXiv:2605.27905v1，属于计算机科学与自然语言处理领域。想查阅完整论文的读者，可以凭这个编号自行搜索。

近几年，AI圈里跑出一类令人兴奋的新物种——AI科研助手。它们不只是帮你查资料、整文献那么简单，而是能自己提出研究想法、设计实验方案，甚至直接写出完整的学术论文草稿。听上去像科幻电影？但这已经成了现实。一个很自然的问题也随之而来：这些AI助手到底是在帮科学家开拓边疆，还是只在已经踩熟的老路上兜圈子？

香港科技大学的团队显然也注意到了这一点，但他们不满足于“AI生成的想法听起来挺聪明”这个表面印象，而是严肃地追问了一个系统性问题：AI生成的科研想法，究竟有多“新”？它们的探索范围是比人类更宽，还是更窄？结论出人意料，却又在某种程度上合情合理：当前的AI科研助手更像一个精通整理现有地图的行家，而不是一位愿意踏入未知领域的探险家。

一、科研助手大测评：他们用了多大规模的实验

要回答“AI科研助手到底能不能拓展科学边界”这个问题，研究团队选择了一种极其严谨的方式：大规模、系统性的对比实验。

他们首先搭建了一个庞大的学术文献库，从机器学习三大顶会——ICLR、NeurIPS、ICML——收集了从2019年到2025年共计34698篇论文，每篇都包含标题、摘要、关键词和引用关系。然后，团队用一种叫“文献耦合”的方法将这些论文划分到不同的研究领域。简单点说，如果两篇论文经常引用同一批参考文献，那它们研究的问题很可能相关——就像两个人总去同一家书店买书，阅读趣味多半相近。最终，他们识别出19个活跃的研究领域，涵盖强化学习、图神经网络、AI公平性、在线算法、组合优化等热门方向。

实验的核心是这样的：研究团队从2024至2025年的文献中，对每个领域反复随机抽取“种子文献”——每次抽5篇，一篇是核心论文，其余四篇是相关文献。然后把这些论文输入AI科研助手，让它基于这些文献提出新的科研想法。这个过程重复了2140次，覆盖所有领域。

更重要的是，团队没有只测试一个AI工具，而是同时测试了四种有代表性的AI科研助手框架，每种都搭配六种大型语言模型来运行。这四种框架分别是：最简单的零样本生成（直接基于文献输出想法）；AIScientist（通过反复自我审视和修改来打磨想法）；ResearchAgent（把提想法拆成问题发现、方法设计、实验规划三个阶段，每一阶段都有另一个AI来打分）；以及AgentLaboratory（让扮演“博士后”和“博士生”的不同AI通过对话共同制定研究计划）。搭配的六种语言模型来自Qwen、Llama、Gemma三个家族，参数规模从0.8亿到350亿不等。

整个实验一共产生了51360次生成尝试，其中37802次成功产出了有效的科研想法。这个数字足够大，保证了结论的统计可靠性。值得一提的是，所有AI助手的提示词里都明确要求它们提出“新颖的、高影响力的、与现有工作不同的”想法——换句话说，研究者给了AI充足的“鼓励”去大胆探索，但结果依然耐人寻味。

二、AI总在“地图中心”徘徊，而人类喜欢往边缘走

拿到37802个AI生成的科研想法后，研究团队要回答的第一个问题是：这些想法在知识空间里的分布，和人类科学家的论文相比，是更集中还是更分散？

他们给每个AI生成的想法和每篇人类论文都转换成一个数学向量——好比在一张无形的“知识地图”上标出坐标。两篇文章在这张图上越近，说明研究内容越相似；越远，则越不相同。

结果非常清晰。在同一个研究领域内，AI生成的想法之间的相似度在0.82到0.84之间；而人类论文之间的相似度只有0.77。这个差距看似不大，但在学术研究的语境下，意味着AI想法扎堆挤在知识地图的某几个热门区域，而人类研究则更分散地探索着更广的范围。

更有意思的是，用四种不同框架生成的AI想法，彼此之间的相似度高达0.81到0.84——几乎和同一框架内部生成的想法一样相似。这说明，无论是让AI自我反思、还是多阶段验证、还是让两个AI角色对话，最终产出的想法都指向了大致相同的概念区域。换句话说，更复杂、更“高端”的AI框架，并没有让探索范围变宽。

研究团队还用另一种方法交叉验证：计算每篇文章与其所在领域“重心”的距离。结果一致——AI生成的想法距离领域重心的平均距离是0.091，而人类论文是0.121。AI想法更紧密地围绕在领域核心地带，而人类研究则更愿意在边缘甚至相邻领域游荡。

打个比方：这就像一场城市探险。人类探险者喜欢往城市边缘甚至隔壁城市跑，有时会迷路，但也能发现意想不到的风景。而AI探险者则更倾向于反复拍摄市中心最热闹的广场——那里安全、有据可循，拍出来的照片虽然都很好看，但你已经见过很多次了。

三、AI不愿离开“出发点”，人类却在不断前进

第一个发现告诉我们AI想法太集中；第二个问题则更进一步：AI生成的想法，和最初喂给它的那5篇“种子论文”相比，有没有走出足够远的距离？

研究团队为每一组种子论文找到了对应的“人类跟进研究”——也就是那些后来引用了这5篇种子论文中至少两篇的人类论文。这些人类跟进研究，代表了科学界在看到同样出发点后，实际走向了哪里。

对比结果同样清晰。AI生成的想法与种子论文之间的相似度是0.92，而人类跟进研究与种子论文之间的相似度只有0.88。这意味着AI想法离出发点更近，人类研究走得更远。更有意思的是，AI想法与人类跟进研究之间的相似度最低，只有0.82——说明AI和人类在看到同样的文献后，选择了相当不同的方向。

研究团队还用了主成分分析（一种把多维数据投影到二维平面的方法，方便直观“看到”数据分布）来可视化这一现象。在每一个案例中，模式都是一样的：那5篇种子论文聚在某个位置，AI生成的想法紧紧围在它们附近，形成密集的小圈子，而人类跟进研究则散落在更远的地方，有时甚至跑到图的另一个角落。

这背后折射出一个关于科学进步的深刻事实：真正推动科学前进的，往往不是沿着现有方向走得更稳更快，而是某一天有人回头问一句“我们为什么要这么走？有没有完全不同的路？”这种提问需要某种“离开舒适区”的勇气，而目前的AI系统，似乎更擅长在舒适区内精耕细作。

四、AI想法扎堆的地方，引用数往往更低

发现AI想法更集中后，研究团队追问了第三个问题：AI喜欢去的那些知识区域，在科学上是不是真的更有价值？

由于AI生成的想法本身没有真实引用数据，团队采用了一种间接方法：找出那些与AI生成想法非常相似（相似度超过0.9）的真实人类论文，然后查看这些论文的引用量，并与同年、同领域的平均引用量进行比较。如果AI喜欢的方向确实很有价值，那么这些相似论文的引用量应该高于平均水平；反之则说明AI偏好的方向相对不那么有影响力。

在2359个成功匹配的“AI想法-人类论文”对中，与AI想法最相似的人类论文平均获得了50.4次引用，而同年同领域的平均引用量是54.9次。差距为4.47次，乍看不大，但统计检验表明这个差异并非偶然（置信区间为负6.41到负2.53，p值小于0.001）。在四个AI框架中，有三个（零样本生成、ResearchAgent、AgentLaboratory）都呈现显著的低于平均引用量的模式；只有AIScientist的差异没有达到统计显著性。

这个发现的含义是：AI倾向于聚集的那些知识区域，恰恰是科学影响力相对较低的地方。当然，这并不意味着AI选的方向毫无价值，但确实暗示了一个令人警醒的模式——AI在“安全地带”里产出了大量想法，而这些安全地带恰好不是科学突破最容易发生的地方。

五、AI改的是“怎么做”，而不是“做什么”

研究团队的第四个分析维度最为细腻：当AI生成的想法与种子文献确实存在差异时，这种差异主要体现在哪里——是提出了全新的研究问题，还是只是换了一种解决方案？

为了回答这个问题，团队对每一个AI生成的想法和每一篇种子论文进行了结构化拆解，提取出“研究问题”（想解决什么问题？）和“技术方法”（用什么手段解决？）两个核心要素。然后，他们计算AI想法中的研究问题和技术方法，与种子文献中的研究问题和技术方法的相似度——如果相似度超过0.87，就认为这个元素在种子文献中已经存在；低于这个门槛，才认为是真正新引入的。

结果呈现出一个非常清晰的不对称性。在研究问题层面，85.1%的AI生成想法提出的研究问题在种子文献中已经存在——AI几乎没有提出全新的“要研究什么”。但在技术方法层面，情况稍好：只有62.6%的AI想法采用了种子文献中已有的技术方法，也就是说，将近四成的AI想法在方法层面引入了一些新东西。

这意味着AI的“创新”主要发生在“换个方式做同一件事”，而不是“换个问题来做”。借用地图探索的比喻：AI更像是在说“我们去老地方，但这次换条路走”，而不是“我们去一个从没去过的地方”。

这个模式在所有四个框架中保持一致，只是程度略有差异。AIScientist在方法层面引入的新东西最多，而ResearchAgent最保守。但无论哪个框架，研究问题层面的创新都极为稀少——没有新研究问题的比例从79%到88.4%不等。

六、为什么AI会“原地打转”：背后的深层原因

把上面四个发现串联起来，一幅完整的图景浮现出来：当前的AI科研助手是极为出色的“局部延伸者”，却不是真正意义上的“方向开拓者”。

这并非因为AI没有被要求创新。恰恰相反，实验中的每一个框架都明确要求AI提出“新颖的”、“不同于现有工作的”、“从未见过的”想法。AgentLaboratory的提示词甚至直接说“你的想法应该非常创新，与任何以前见过的东西都不同”。但这些语言层面的鞭策，似乎并没有真正改变AI输出的知识分布。

原因可能在于AI系统的底层工作方式。大型语言模型在海量文本上训练出来，它们擅长识别和复现已有文本中的模式，擅长把已知概念组合在一起。这就像一个博览群书的学者——他能把书里读到的各种知识融会贯通，说起来头头是道，但真正“发现一个从来没有人想到过的新问题”，需要的是一种不同的能力：愿意质疑现有框架本身，愿意在没有地图的地方出发。目前的AI系统在这方面存在根本性的局限。

而且，这个局限并不会随着AI规模和复杂度的增加而自动消失。从0.8亿参数的小模型到350亿参数的大模型，从简单的单次生成到多轮自我反思、多智能体对话，探索的广度并没有随之显著扩大。更强大的AI并没有带来更广阔的科学探索——它带来的更多是更精致、更连贯的“已知方向的延伸”。

归根结底，这项研究提醒我们区分两件不同的事情：产生听起来合理的科研想法，和拓展科学探索的边界。前者AI已经做得相当不错，后者目前仍主要是人类科学家的专长——或者说，是人类科学家中那些敢于提出“为什么我们从来不这样问问题”的少数人的专长。

随着AI科研助手越来越深入地嵌入到科学研究的日常工作流中，这种区分变得越来越重要。如果我们只是用AI来高效产出大量“局部延伸”式的想法，很可能在不知不觉中让科学界的集体注意力越来越集中在已经有人踩过的方向上，而悄悄减少了真正未知领域的关注。这并不是说AI科研助手没有价值——它们在提高研究效率、帮助科学家快速梳理文献、产生初步假设等方面确实很有用。但如果把“产出了很多新想法”误认为“拓展了科学边界”，那可能是一种危险的错觉。

下一步真正的挑战，不只是让AI生成更多、更流畅的科研想法，而是探索如何设计出能够帮助人类科学家走向更陌生、更不确定、但可能更有价值的知识边疆的AI系统。这才是这项研究留给整个AI和科学社区的真正问题。

Q&A

Q：AI科研助手和人类科学家在提研究想法时，最大的区别是什么？

A：根据这项研究，AI科研助手生成的想法倾向于紧密围绕已有文献展开，彼此之间高度相似，主要通过重新组合已有技术方法来产生“新”想法，很少提出真正新颖的研究问题。人类科学家则更愿意偏离已有方向，探索更分散、更边缘的知识区域，并且更频繁地重新定义研究问题本身。

Q：用更大参数规模的语言模型或更复杂的多智能体框架，能让AI科研助手产出更有创意的想法吗？

A：根据这项研究的实验结果，答案是否定的。研究团队测试了从0.8亿到350亿参数的六种模型，以及从简单单次生成到多轮自我反思、多角色对话的四种框架，发现在所有组合下，AI生成想法的集中程度和对已有文献的依赖程度都非常相似。更大、更复杂的系统并没有显著拓宽探索范围。

Q：AI科研助手生成的想法与哪些真实发表的研究最为相似？

A：研究团队将AI生成的想法与真实论文进行匹配，发现高度相似的例子包括：零样本AI生成的关于“不平衡分类与最优传输”的想法，与一篇2024年发表的使用可学习代价矩阵进行长尾识别的论文相似度达0.954；ResearchAgent生成的关于“动态稀疏训练用于时间序列分类”的想法，与一篇同年发表的动态稀疏网络论文相似度高达0.965。这些例子印证了AI想法更多是已有研究的局部变体，而非全新突破。