人类没有足够的高质量语料给AI学了，2026年就用尽，网友：大型人类文本生成项目启动！
AI胃口太大，人类的语料数据已经不够吃了。来自Epoch团队的一篇新论文表明，AI不出5年就会把所有高质量语料用光。要知道，这可是把人类语言数据增长率考虑在内预测出的结果，换而言之，这几年人类新写的论文、新编的代码，哪怕全都喂给AI也不够。照这么发展下去，依赖高质量数据提升水平的语言大模型，很快就要迎来瓶颈。已经有网友坐不住了：这太荒谬了。人类无需阅读互联网所有内容，就能高效训练自己。我们需要更好的模型，而不是更多的数据。还有网友调侃，都这样了不如让AI吃自己吐的东西：可以把AI自己生成的文本当成低质量数
AI胃口太大，人类的语料数据已经不够吃了。
来自Epoch团队的一篇新论文表明，AI不出5年就会把所有高质量语料用光。
要知道，这可是把人类语言数据增长率考虑在内预测出的结果，换而言之，这几年人类新写的论文、新编的代码，哪怕全都喂给AI也不够。
照这么发展下去，依赖高质量数据提升水平的语言大模型，很快就要迎来瓶颈。
已经有网友坐不住了：
这太荒谬了。人类无需阅读互联网所有内容，就能高效训练自己。
我们需要更好的模型，而不是更多的数据。
还有网友调侃，都这样了不如让AI吃自己吐的东西：
可以把AI自己生成的文本当成低质量数据喂给AI。
让我们来看看，人类剩余的数据还有多少？
文本和图像数据“存货”如何？
论文主要针对文本和图像两类数据进行了预测。
首先是文本数据。
数据的质量通常有好有坏，作者们根据现有大模型采用的数据类型、以及其他数据，将可用文本数据分成了低质量和高质量两部分。
高质量语料，参考了Pile、PaLM和MassiveText等大型语言模型所用的训练数据集，包括维基百科、新闻、GitHub上的代码、出版书籍等。
低质量语料，则来源于Reddit等社交媒体上的推文、以及非官方创作的同人小说（fanfic）等。
根据统计，高质量语言数据存量只剩下约4.6×10^12~1.7×10^13个单词，相比当前最大的文本数据集大了不到一个数量级。
结合增长率，论文预测高质量文本数据会在2023~2027年间被AI耗尽，预估节点在2026年左右。
看起来实在有点快……
当然，可以再加上低质量文本数据来救急。根据统计，目前文本数据整体存量还剩下7×10^13~7×10^16个单词，比最大的数据集大1.5~4.5个数量级。
如果对数据质量要求不高，那么AI会在2030年~2050年之间才用完所有文本数据。
再看看图像数据，这里论文没有区分图像质量。
目前最大的图像数据集拥有3×10^9张图片。
据统计，目前图片总量约有8.11×10^12~2.3×10^13张，比最大的图像数据集大出3~4个数量级。
论文预测AI会在2030~2070年间用完这些图片。
显然，大语言模型比图像模型面临着更紧张的“缺数据”情况。
那么这一结论是如何得出的呢？
计算网民日均发文量得出
论文从两个角度，分别对文本图像数据生成效率、以及训练数据集增长情况进行了分析。
值得注意的是，论文统计的不都是标注数据，考虑到无监督学习比较火热，把未标注数据也算进去了。
以文本数据为例，大部分数据会从社交平台、博客和论坛生成。
为了估计文本数据生成速度，有三个因素需要考虑，即总人口、互联网普及率和互联网用户平均生成数据量。
例如，这是根据历史人口数据和互联网用户数量，估计得到的未来人口和互联网用户增长趋势：
再结合用户生成的平均数据量，就能计算出生成数据的速率。（由于地理和时间变化复杂，论文简化了用户平均生成数据量计算方法）
根据这一方法，计算得出语言数据增长率在7%左右，然而这一增长率会随着时间延长逐渐下降。
预计到2100年，我们的语言数据增长率会降低到1%。
同样类似的方法分析图像数据，当前增长率在8%左右，然而到2100年图像数据增长率同样会放缓至1%左右。
论文认为，如果数据增长率没有大幅提高、或是出现新的数据来源，无论是靠高质量数据训练的图像还是文本大模型，都可能在某个阶段迎来瓶颈期。
对此有网友调侃，未来或许会有像科幻故事情节一样的事情发生：
人类为了训练AI，启动大型文本生成项目，大家为了AI拼命写东西。
他称之为一种“对AI的教育”：
我们每年给AI送14万到260万单词量的文本数据，听起来似乎比人类当电池要更酷？
你觉得呢？
论文地址：https://arxiv.org/abs/2211.04325
参考链接：https://twitter.com/emollick/status/1605756428941246466
“稍微往左移移，慢点，好，就在这。” 全站仪前的坐标点需要精确核对，通过对讲机传来的指令清晰有力，同时手势也同步示意着不远处的立杆员标定放样点。这一刻，大桥桥墩的位置正随着一个个坐标的落地而逐渐显现。 第一次独立承担桥梁放样任务，责任固然重大，但伴随着每个点的成功定位，那份扎实的成就感也油然而生。这
如何培养自己成为一名合格的Golang工程师随着互联网技术的发展，越来越多的人开始学习和使用Golang，这是一种功能强大且性能优越的编程语言。作为一名Golang工程师，不仅需要具备扎实的编程基础，还需要不断学习和实践，才能不断提升自己的技能。下面将介绍一些培养成为一名合格的Golang工程师的方法，同时会提供一些具体的代码示例。学习Golang基础知识要
2019年，谷歌曾宣布放弃平板电脑。然而，谷歌在2022年预告了PixelTablet，并在2023年发布。现在看来，谷歌又要放弃平板电脑了。CNMO从外媒获悉，谷歌已经取消了PixelTablet3的开发。多个接近该项目的行业消息人士证实，该设备（内部称为"Kiyomi"）将不会继续推进。据知情人士透露，谷歌上周做出了这一决定，并举行了内部沟通和会议以通知相关团队。之前分配到PixelTablet3项目的人员将被重新分配到公司内的其他项目。在此之前，谷歌在平板电脑市场做出了一些努力，包括2023年推出P
编译|伊风美国国防高级研究计划局（DARPA）宣布，利用实验性的X-62AVISTA飞机对新的人工智能系统进行了成功测试。他们并未透露两者谁更技高一筹。在模拟空战中，AI系统驱使的X-62A与人类驾驶的F-16飞机进行对抗——前者被称为首次“基于机器学习的自主性的飞行关键系统”。军方表示，各种自主系统已经使用了几十年，但由于“高风险和缺乏独立控制”，机器学习工具以前一直被禁止使用。科幻小说在过去100年中发出的警告，很容易解释为什么人类会对AI驱动的战斗机保持警惕。在测试X-62A+VISTA时，有乘客在
PHP互联网项目搭建实战：从零开始搭建完整项目随着互联网的不断发展，PHP作为一种常用的后端开发语言，在互联网项目中扮演着重要的角色。本文将带您从零开始，通过具体的代码示例，了解如何搭建一个完整的PHP互联网项目。我们将逐步介绍项目的需求分析、数据库设计、后端接口开发以及前端页面实现，帮助您全面了解项目开发的流程和技术细节。1.项目需求分析假设我们要开发一
在互联网时代，PHP作为一种功能强大且易于学习使用的编程语言，在网络应用开发中扮演了重要角色。许多网站和应用程序都是基于PHP开发的，其灵活性和可扩展性使其成为了开发者们首选的工具。在本文中，我们将为大家提供一个全程指导，帮助搭建一个稳定可靠的网络应用，并附带具体的代码示例，让读者可以快速上手。第一部分：环境搭建在开始任何PHP项目之前，首先要搭建好开发环境
现代互联网时代，软件开发已经成为了各行各业都无法或缺的一个重要环节。而在软件开发中，选择合适的开发语言也是非常重要的一点。在众多的开发语言中，Golang以其高效的并发性能和简洁的语法，逐渐成为了很多开发者的首选。本文将探讨在使用Golang开发项目时可能面临的成本以及如何优化开发过程。首先，我们来看看使用Golang开发项目可能会面临的成本。相比其他一些流
Discuz是一个开源项目吗？在开源软件领域，Discuz绝对是一个备受争议的话题。Discuz是一款国内知名的论坛系统，它由Comsenz公司开发和维护，为了满足用户需求，提供了多种定制化的功能和服务。但是，对于Discuz是否属于开源项目，却引发了很多争论。什么是开源软件？在简单的理解中，开源软件就是指软件的源代码是公开的，任何人都可以查看
Golang与VS的对决：哪个更适合你的项目？随着软件开发领域的不断发展，各种编程语言和开发工具也层出不穷。在这个多元化的选择面前，开发者们往往会面临一个重要的问题：选择哪种编程语言和开发工具来开发自己的项目？在这篇文章中，我们将探讨Golang（Go语言）和VisualStudio（VS）这两种选择，分析它们的优劣势，以帮助读者更好地决定哪种更适合自己的
火山引擎是字节跳动旗下企业级云与AI服务平台。聚焦大模型核心能力，依托字节自研豆包多模态大模型，凭借火山方舟一站式平台，提供模型精调、推理部署、智能应用搭建等全链路服务，结合高性能AI算力，助力各行业快速落地大模型数字化与智能化应用。
