当前位置:

首页 > 业界资讯 > 冒充人类作者,ChatGPT等滥用引担忧,一文综述AI生成文本检测方法

冒充人类作者,ChatGPT等滥用引担忧,一文综述AI生成文本检测方法

自然语言生成(NLG)技术的最新进展显着提高了大型语言模型生成文本的多样性、控制力和质量。一个值得注意的例子是OpenAI的ChatGPT,它在回答问题、撰写电子邮件、论文和代码等任务中展示了卓越的性能。然而,这种新发现的高效生成文本的能力也引起了人们对检测和防止大型语言模型在网络钓鱼、虚假信息和学术造假等任务中滥用的担忧。例如,由于担心学生利用ChatGPT写作业,纽约公立学校全面禁止了ChatGPT的使用,媒体也对大型语言模型产生的假新闻发出警告。这些对大型语言模型滥用的担忧严重

自然语言生成 (NLG) 技术的最新进展显着提高了大型语言模型生成文本的多样性、控制力和质量。一个值得注意的例子是 OpenAI 的 ChatGPT,它在回答问题、撰写电子邮件、论文和代码等任务中展示了卓越的性能。然而,这种新发现的高效生成文本的能力也引起了人们对检测和防止大型语言模型在网络钓鱼、虚假信息 和学术造假等任务中滥用的担忧。例如,由于担心学生利用 ChatGPT 写作业,纽约公立学校全面禁止了 ChatGPT 的使用,媒体也对大型语言模型产生的假新闻发出警告。这些对大型语言模型 滥用的担忧严重阻碍了自然语言生成在媒体和教育等重要领域的应用。

最近关于是否可以正确检测大型语言模型生成的文本以及如何检测的讨论越来越多,这篇文章对现有检测方法进行了全面的技术介绍。

冒充人类作者,ChatGPT等滥用引担忧,一文综述AI生成文本检测方法

  • 论文地址:https://github.com/datamllab/The-Science-of-LLM-generated-Text-Detection
  • 相关研究地址:https://github.com/datamllab/awsome-LLM-generated-text-detection/tree/main

现有的方法大致可分为两类:黑盒检测和白盒检测

冒充人类作者,ChatGPT等滥用引担忧,一文综述AI生成文本检测方法

大型语言模型生成文本检测概述

  • 黑盒检测方法对大型语言模型通常只有 API 级别的访问权限。因此,这类方法依靠于收集人类和机器的文本样本来训练分类模型;
  • 白盒检测,这类方法拥有对大型语言模型的所有访问权限,并且可以通过控制模型的生成行为或者在生成文本中加入水印(watermark)来对生成文本进行追踪和检测。

在实践中,黑盒检测器通常由第三方构建,例如 GPTZero,而白盒检测器通常由大型语言模型开发人员构建。

冒充人类作者,ChatGPT等滥用引担忧,一文综述AI生成文本检测方法

大型语言模型生成的文本检测分类学

黑盒检测

黑盒检测一般有三个步骤,分别是数据收集,特征选择和模型建立

对于人类文本的收集,一种方法是招募专业人员进行数据采集,但是这种方法费时费力,不适于大型数据集的收集,更加高效的方法是利用现有的人类文本数据,比如从维基百科上收集各种专家编辑的词条,或者是从媒体上收集数据,例如 Reddit。

特征的选取一般分为统计特征,语言特征和事实特征。其中统计特征一般是用来检查大型语言模型生成文本是否在一些常用的文本统计指标上于人类文本不同,常用的有 TFIDF、齐夫定律等。语言特征一般是找一些语言学特征,比如词性,依存分析,情感分析等。最后,大型语言模型常常会生成一些反事实的言论,因此事实验证也可以提供一些区分大型语言模型生成文本的信息。

现有的分类模型一般分为传统的机器学习模型,例如 SVM 等。最新的研究倾向于利用语言模型来做主干, 例如 BERT,RoBERTa, 并且取得了更高的检测表现。

冒充人类作者,ChatGPT等滥用引担忧,一文综述AI生成文本检测方法

这两种文本之间有明显的不同。human-written 文本来自 Chalkbeat New York。

白盒检测

白盒检测一般默认是大型语言模型开发人员提供的检测。不同于黑盒检测,白盒检测对模型拥有完全访问权力, 因此能通过改变模型的输出来植入水印,以此达到检测的目的。

目前的检测方法可以分为 post-hoc 水印和 inference time 水印

  • 其中 post-hoc 水印是在大型语言模型生成完文本后,再在文本中加入一些隐藏的信息用于之后的检测;
  • Inference time 水印则是改变大型语言模型对 token 的采样机制来加入水印,在大型语言模型生成每一个 token 的过程中,其会根据所有 token 的概率和预设的采样策略来选择下一个生成的词,这个选择的过程就可以加入水印。

冒充人类作者,ChatGPT等滥用引担忧,一文综述AI生成文本检测方法

Inference time 水印

作者担忧

(1)对于黑盒模型,数据的收集是非常关键的一步,但是这个过程非常容易引入偏见(biases)。例如现有的数据集主要集中在问答,故事生成几个任务,这就引入了主题的偏见。此外,大模型生成的文本经常会出现固定的风格或者格式。这些偏见常常会被黑盒分类器作为分类的主要特征而降低了检测的鲁棒性。

随着大型语言模型能力的提升,大型语言模型生成的文本和人类的差距会越来越小,导致黑盒模型的检测准确性越来越低,因此白盒检测是未来更有前景的检测方式。

(2)现有的检测方法默认大型语言模型是被公司所有,因而所有的用户都是通过 API 来获得公司的大型语言模型服务,这种多对一的关系非常有利用检测系统的部署。但是如果公司开源了大型语言模型,这将导致现有的检测方法几乎全部失效。

对于黑盒检测,因为用户可以微调他们的模型,改变模型输出的风格或者格式,从而导致黑盒检测无法找到通用的检测特征。

白盒检测可能是一个解决办法,公司在开源模型之前可以给模型中加入一个水印。但是用户同样可以通过微调模型,改变模型 token 的采样机制来移除水印。现在还没有一种水印技术能够抵御用户的这些潜在威胁。

本文内容来源于互联网,如有侵权请联系删除。
作者最新文章
业界资讯 模型
相关文章 更多
腾讯智能体开源升级,关键科技全面开放
腾讯智能体开源升级,关键科技全面开放

不谈智能体,客户都不见你。腾讯云副总裁、腾讯云智能负责人、腾讯优图实验室负责人吴运声在采访中坦言。这意味着,如今提供云服务,若没有智能体相关的硬核能力,已难以打动客户。在2025腾讯全球数字生态大会上,腾讯云给出了自己的回应:正式发布智能体开发平台3.0(ADP3.0),并宣布腾讯优图实验室的关键智能体技术将逐步开源。据悉,该版本历经近三个月集中迭代,累计上线近600项功能,在RAG能力、Workflow流程、多智能体协作、应用评测及插件生态等方面实现全面升级。更值得关注的是,腾讯云透露未来数月将持续开源

特斯拉FSD新增滑板识别模型
特斯拉FSD新增滑板识别模型

近日,有汽车领域博主爆料,特斯拉的FSD(完全自动驾驶)辅助系统将迎来一次重要升级,或将实现更真实的环境场景还原。在最新曝光的软件代码中,发现了大量新增的渲染模型,涵盖多种车辆与行人类型。这些新增模型包括救护车、消防车、垃圾清运车、校车、半挂式卡车、高尔夫球车、骑电动滑板车的行人、使用轮椅的行人、玩滑板的行人、推婴儿车的行人,以及道路清扫车、三轮车、拖车、火车和有轨电车等。这一系列高精度建模意味着FSD系统将能更准确识别并响应复杂交通参与者的行为。据CNMO掌握的消息,日本方面已为特斯拉FSD系统的落地扫

阿里开源14B电影级视频模型,实测可玩
阿里开源14B电影级视频模型,实测可玩

AI视频生成正迎来属于“通义”的高光时刻!就在昨晚,阿里巴巴悄然推出了一款由音频驱动的14B视频大模型——Wan2.2-S2V。只需上传一张静态图片和一段音频,就能生成出面部表情生动、口型精准匹配、肢体动作流畅自然的电影级数字人视频,效果惊艳。实际效果展示如下:△来自@AIMIRAI46487更令人振奋的是,这款新模型一经发布便全面开源,现在所有人都可以免费在通义万相官网体验使用。据官方介绍,Wan2.2-S2V的核心优势包括:支持最长分钟级的单次视频生成,画面稳定且具有一致性;具备影院级别的音

Tachyum发布TDIMM内存技术 单条带宽281GB/s
Tachyum发布TDIMM内存技术 单条带宽281GB/s

11月26日,据相关报道,Tachyum正式推出其全新研发的TDIMM内存技术,旨在为人工智能与高性能计算领域带来更高带宽、更大容量及更低功耗的先进解决方案。该技术基于Tachyum旗下的ProdigyUltimate处理器平台构建,单条TDIMM模块可实现高达281GB/s的带宽,相较当前主流的DDR5内存提升了约5.5倍。ProdigyUltimate处理器支持多达24个内存通道,使系统总带宽达到惊人的6.7TB/s,约为传统12通道CPU系统的11倍水平。在存储容量方面,标准版TDIMM提供

华为盘古 Ultra MoE 模型发布
华为盘古 Ultra MoE 模型发布

5月30日,华为推出了全新的AI模型——盘古UltraMoE,该模型的参数量达到了7180亿。作为一款接近万亿参数的MoE(MixtureofExperts)模型,它在整个训练过程中完全基于华为的昇腾AI平台完成,标志着华为在超大规模模型训练方面取得了重要进展。盘古UltraMoE的成功训练离不开盘古团队研发的一系列创新技术。例如,Depth-ScaledSandwich-Norm(DSSN)稳定架构的引入,显著改善了超大规模模型训练期间出现的梯度异常及

惠普G5喷墨技术发布,引领家用打印新体验
惠普G5喷墨技术发布,引领家用打印新体验

9月23日,2025惠普创新喷墨打印技术媒体分享会在北京圆满举行。惠普正式发布全新一代G5喷墨打印技术,并推出多款面向家庭学习、办公应用及照片打印的全新产品,致力于为中国用户打造更智能、更稳定的打印体验。据悉,G5技术采用先进的墨滴精准控制技术和优化升级的黑色墨水配方,显著提升输出品质,使文字边缘更锐利、图像色彩更逼真。同时具备防荧光笔渗透、防水防褪色等实用性能。其打印头寿命长达2000小时不堵塞,相比上一代延长50%,大幅降低维护频率与使用成本,切实解决家庭用户的日常困扰。此次惠普还

SOTA大模型加密数据评测:Qwen3仅破10%
SOTA大模型加密数据评测:Qwen3仅破10%

大语言模型面对加密数据,即便最新的Qwen3也会感到压力!尽管当下各类推理模型在多种基准测试中表现优异,但在密码学这样对逻辑严谨性和细节准确性要求极高的专业领域,模型的推理能力还有待深入挖掘。密码学不仅要求模型具备高级数学运算能力和严密的逻辑推理链,还需要其能够精准辨识复杂加密模式中的潜在规律;成功解密要求模型拥有极强的综合推理能力。上海AILab等联合推出的CipherBank测评,使用大量真实隐私场景数据和多种密码算法,严苛挑战当前最先进的大模型。CipherBank的测评结果显示,目前的大语言模型

通义千问新技能!用“扮演”方式提升推理能力,不再依赖搜索API
通义千问新技能!用“扮演”方式提升推理能力,不再依赖搜索API

强化学习(RL)结合真实搜索引擎可以显著提升大模型的检索和推理能力。然而,这一方法面临两大挑战:搜索引擎返回的文档质量不稳定,导致训练过程中的噪音和不稳定性;RL训练需要频繁部署,产生大量API开销,限制了可扩展性。针对这些问题,阿里通义实验室推出了开源解决方案ZeroSearch,这是一个无需与真实搜索引擎交互的强化学习框架。实验表明,ZeroSearch只需使用3B参数的LLM作为检索模块,就能有效提升搜索能力,并大幅节省API成本。ZeroSearch让LLM实现自给自足

Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬
Siri等明年!苹果WWDC25给AI交底:画小饼,继续熬

不求速胜,熬吧。

第二代Ameca亮相!对答如流,表情逼真,多语种交流
第二代Ameca亮相!对答如流,表情逼真,多语种交流

编辑:桃子【新智元导读】第二代Ameca升级亮相,搭载GPT-4技术,实现实时对话。人形机器人Ameca迎来了它的第二代版本!近期,在2024年世界移动通信大会(MWC)上,全球最先进的机器人Ameca再度亮相。Ameca在会场周围吸引了大量观众。通过GPT-4的增强,Ameca能够即时回应各种问题。「展示一段舞蹈吧」。当被问及是否有情感时,Ameca通过一系列逼真的面部表情作出回应。就在几天前,开发Ameca的英国机器人公司EngineeredArts展示了他们团队的最新成果。视频中,Ameca具备了

查看更多
精品专题 更多
装机必备
装机必备

正软商城装机必备专区,精选办公、浏览器、安全防护、影音播放、压缩解压、设计创作和系统工具等电脑常用正版软件,帮助用户快速完成新电脑软件配置。

Windows
Windows

正软商城Windows软件专区,汇集适用于Windows电脑的办公、设计、安全防护、影音播放、开发工具和系统优化软件,提供软件介绍、系统要求、正版授权及购买下载服务。

macOS软件
macOS软件

正软商城macOS软件专区,精选适用于Mac电脑的办公、设计、影音、效率、开发和系统工具,提供软件功能介绍、macOS兼容版本、正版授权及购买下载服务。

Mac软件 更多
灵活计算器
灵活计算器
macOS/iOS/Android

灵活计算器是一款笔记式算数应用,支持实时计算、动态关联和云端同步功能。记录、整理和输出之间的过渡会更自然,适合长期写作、做笔记或持续沉淀个人内容。

赤友清理大师
赤友清理大师
macOS

赤友清理大师是一款为 Mac 设计的智能清理优化工具,可精准扫描垃圾、大文件、重复文件等,释放磁盘空间。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

WINDOWS 更多
Windows 10
Windows 10
Windows

Windows 10 是一款微软推出的经典操作系统,拥有硬件兼容性与多任务处理能力。它更偏向把系统状态查看和常用调节动作放在一起,适合需要持续观察和微调设备状态的场景。

极度公式
极度公式
Windows/macOS/Linux

极度公式是一款跨平台专业LaTeX公式识别编辑软件,支持OCR公式识别和多平台编辑。和使用说明,避免使用,享受完整功能与稳定支持。做扫描整理、文字提取和表格转换时,它能把识别后的处理步骤接得更顺,资料录入这类场景会省下不少时间。

密码键盘
密码键盘
Windows/macOS/iOS/Android

密码键盘是一款兼具安全性与便捷性的高效密码管理器。日常使用里的持续防护和信息管理会更突出,适合把安全控制放进长期使用流程中的场景。