用ChatGPT写论文靠谱吗？有学者试了一下：漏洞百出，但是个注水的「好」工具

​ChatGPT以其强大的文本创作能力，直接问鼎地表最强问答模型。

但强大的AI也会带来一些负面影响，比如在问答社区一本正经地写出错误答案，帮助学生写论文等。

最近arXiv上的一篇论文引发了业界的关注，来自西班牙圣地亚哥-德孔波斯特拉大学的研究人员在文中以「人工智能在药物发现中的挑战、机遇和策略」，这篇论文的特别之处在于作者使用ChatGPT辅助论文写作。

论文链接：https://arxiv.org/abs/2212.08104

作者团队在摘要中的最后一段「来自人类作者的说明」（Note from human-authors）中表示，创建这篇论文是为了测试 ChatGPT (一个基于 GPT-3.5语言模型的聊天机器人)的写作能力是否能帮助人类作者撰写评论文章。

作者设计了一段指令作为文本生成的初始提示，然后对自动生成的内容进行评估。再进行彻底的审查之后，人类作者实际上重写了手稿，努力在原始proposal和科学标准之间保持平衡，文章的最后也讨论了使用人工智能实现这一目标的优势与局限性。

但是还有一个问题，作者列表里怎么没有ChatGPT？（手动狗头）

论文写作方法

本文是在ChatGPT的辅助下生成的，ChatGPT是2022年11月30日发布的一个自然语言处理系统，由OpenAI用大量文本语料库进行训练，能够根据提供给它的输入生成类似人类写作的文本。

就本文而言，人类作者提供的输入包括论文的主题（人工智能在药物发现中的应用）、需要考虑的章节数量，以及每个章节的具体提示和说明。

ChatGPT生成的文本需要经过人工编辑后才能作为最终的定稿，以纠正和丰富内容，避免重复和不一致等问题；并且人类也需要对人工智能建议的所有参考文献进行了修改。

这项工作的最终版本是人类作者在人工智能的协助下进行反复修改的结果，直接从ChatGPT获得的初步文本与当前版本手稿之间的总相似度为：完全相同的4.3%，微小的变化13.3%，相关的意义16.3%。直接从ChatGPT获得的初步文本中，正确的参考文献比例仅为6%。

由ChatGPT生成的原始版本，以及用于创建该版本的输入信息都涵盖进来作为Supporting Information

论文摘要中的插图由DALL-E生成。

论文内容

论文总共包括10个section和56个参考文献，其中section1-9都只包含1-2个段落，主要描述论文主题「「人工智能在药物发现中的挑战、机遇和策略」」相关的内容；第十个section主要讨论「人类作者对基于ChatGPT和AI的科学写作工具的专家意见」；文章中只有摘要部分包含一张插图。

摘要

人工智能有可能彻底改变药物发现过程，提供更好的效率、准确性和速度。然而，AI的成功应用取决于高质量数据的可用性、对道德问题的处理以及对基于人工智能方法的局限性的认识。

这篇文章回顾了人工智能在这个领域的好处、挑战和缺点，并提出了克服目前障碍的可能战略和方法。

文章中还讨论了数据增强的使用、可解释的人工智能、人工智能与传统实验方法的整合，以及人工智能在医药研究中的潜在优势。

总的来说，这篇评论强调了人工智能在药物发现中的潜力，并对实现其在该领域的潜力所面临的挑战和机遇进行了深入探讨。

人类作者对基于ChatGPT和AI的科学写作工具的专家意见

ChatGPT是一个基于GPT-3.5语言模型的聊天机器人，它的设计目标并非是撰写科学论文的助手，但它与人类进行连贯的对话并就广泛的主题提供新信息的能力，以及它纠正甚至生成计算代码的能力，都让科学界感到惊讶。

因此，我们决定测试它的潜力，为编写关于人工智能算法在药物发现中的作用的简短评论做出贡献。

作为撰写科学论文的助手，ChatGPT有几个优点，包括快速生成和优化文本的能力，以及帮助用户完成几个任务，包括组织信息，甚至在某些情况下连接思想。

然而，这个工具绝不是生成新内容的理想工具。

输入instructions后，还需要人类对人工智能生成的文本进行修改，而且是大篇幅的编辑和修正，包括替换几乎所有的参考文献，因为ChatGPT提供的参考文献明显不正确。

这也是ChatGPT目前存在的一个大问题，它与其他计算工具（如搜索引擎）相比有一个关键的区别，后者主要是为所需的信息提供可靠的参考。

而采用基于人工智能的工具进行写作辅助还存在另一个重要的问题：它是在2021年训练的，所以它并不包括最新信息。

这次写作实验提供的结果就是：我们可以说ChatGPT不是一个有用的工具，在没有强大的人类干预的情况下无法编写可靠的科学文本。

ChatGPT缺乏准确和充分传达复杂科学概念和信息所需的知识和专长。

此外，ChatGPT使用的语言和风格可能不适合学术写作，为了生成高质量的科学文本，人类的输入和审查是必不可少的。

这种人工智能还不能用于生产科学文章的主要原因之一是它缺乏评估处理信息真实性和可靠性的能力，因此，由ChatGPT生成的科学文本肯定包含错误或误导性信息。

同样需要注意的是，审稿人可能会发现区分由人类或这个人工智能写的文章并非易事。

这使得审查过程必须彻底，以防止虚假或误导性信息的发表。

一个真正的风险是，掠夺性期刊（predatory journals）可能利用科学文章的快速生产来产生大量的低质量内容，这些期刊往往受利益驱使，而不是致力于科学进步，它们可能利用人工智能快速生产文章，让不合格的研究充斥市场，破坏科学界的公信力。

最大的危险之一是科学文章中虚假信息的潜在扩散，这可能导致科学事业本身的贬值，失去对科学研究的准确性和完整性的信任，会对科学的进步产生不利影响。

有几种可能的解决方案来减轻与使用人工智能制作科学文章有关的风险。

一个解决方案是开发专门用于生产科学文章的人工智能算法。这些算法可以在高质量、经同行评议的研究的大型数据集上进行训练，这将有助于确保其生成的信息的真实性。

此外，这些算法可以被编程为标记潜在的问题信息，如引用不可靠的来源，这将提醒研究人员需要进一步审查和核实。

另一种方法是开发能够更好地评估其处理的信息的真实性和可靠性的人工智能系统。这可能涉及在高质量科学文章的大型数据集上训练人工智能，以及使用交叉验证和同行评审等技术，以确保人工智能产生准确和值得信赖的结果。

另一个可能的解决方案是为人工智能在科学研究中的应用制定更严格的准则和法规，比如包括要求研究人员披露他们在制作文章时使用了人工智能，并实施审查程序以确保人工智能生成的内容符合某些质量和准确性标准。

此外，还可以包括要求研究人员在发表前彻底审查和核实人工智能生成的任何信息的准确性，以及对那些未能这样做的人的惩罚，教育公众了解人工智能的局限性和依靠人工智能进行科学研究的潜在危险也可能是有用的，可以帮助防止错误信息的传播，确保公众能够更好地区分可靠和不可靠的科学信息来源。

资助机构和学术机构可以通过提供培训和资源，帮助研究人员了解该技术的局限性，在促进科学研究中负责任地使用人工智能方面发挥作用。

总的来说，解决与在科学文章制作中使用人工智能相关的风险，将需要技术解决方案、监管框架和公共教育的结合。

通过实施这些措施，我们可以确保人工智能在科学界的使用是负责任和有效的。研究人员和政策制定者必须仔细考虑在科学研究中使用人工智能的潜在危险，并采取措施来减少这些风险。

在人工智能能够被信任以产生可靠和准确的信息之前，它在科学界的使用应该是谨慎的，必须仔细评估人工智能工具提供的信息，并使用可靠的来源进行验证。

参考资料：https://arxiv.org/abs/2212.08104