AI技术指数级爆发：70年间算力增长6.8亿倍，3个历史阶段见证

电子计算机于上世纪40年代诞生，而在计算机出现后的10年内，人类历史上的第一个AI应用就出现了。

AI模型已经发展了70多年，现在不仅可以创作诗歌，还能根据文本提示生成图像，甚至帮助人类发现未知的蛋白质结构

在如此短的时间内，AI技术取得了指数级的增长，这是由于什么原因呢？

一张来自「我们数据中的世界」（Our World in Data）的长图，通过用于训练AI模型的算力变化为刻度，对AI发展历史进行了追溯。

高清大图：https://www.visualcapitalist.com/wp-content/uploads/2023/09/01.-CP_AI-Computation-History_Full-Sized.html 需要重写的内容是：高清大图链接：https://www.visualcapitalist.com/wp-content/uploads/2023/09/01.-CP_AI-Computation-History_Full-Sized.html

该数据的来源是一篇由麻省理工学院等大学的研究人员发表的论文

论文链接：https://arxiv.org/pdf/2202.05924.pdf

除了论文之外，还有一个研究团队根据这篇论文的数据制作了一个可视化的表格。用户可以随意缩放图表，以获取更加详细的数据

需要重写的内容是：表格地址：https://epochai.org/blog/compute-trends#compute-trends-are-slower-than-previously-reported

图表的作者主要通过计算运算次数以及GPU时间来估计训练每个模型的计算量，而对于选择哪一个模型作为重要模型的代表，作者主要通过3个性质来确定：

显著的重要性：某个系统具有重大历史影响，显著提高了SOTA，或者被引用次数超过 1000次。

相关性：作者只收录了包含实验结果和关键机器学习组成部分的论文，并且论文目标是推动现有SOTA发展。

独特性：如果有另一篇更有影响力的论文描述了同一个系统，那么该论文将被从作者的数据集中剔除

AI发展的三个时代

在1950年代，美国的数学家克劳德·香农训练了一只名为Theseus的机器老鼠，使其能够在迷宫中导航并记住路径。这是人工学习的第一个实例

Theseus的构建基于40个浮点运算（FLOPs）。FLOPs通常用作衡量计算机硬件计算性能的指标。FLOP数量越高，计算能力越强，系统也越强大。

AI的进步依赖于三个关键要素：计算能力、可用的训练数据和算法。在AI发展的早期几十年中，计算能力的需求按照摩尔定律不断增长，也就是说计算能力大约每20个月翻倍一次

然而，当2012年AlexNet（一种图像识别人工智能）的出现标志着深度学习时代的开始时，这个翻倍时间大大缩短到了六个月，这是因为研究人员在计算和处理器方面的投资增加了

随着2015年AlphaGo的出现——一个击败了人类职业围棋选手的计算机程序——研究人员发现了第三个时代：大规模AI模型时代到来了，它的计算需求比以前所有的AI系统都要大。

未来AI技术的进展

回顾过去的十年，计算能力的增长速度简直令人难以置信

例如，用于训练Minerva（一个可以解决复杂数学问题的AI）的计算能力几乎是十年前用于训练AlexNet的600万倍。

这种计算增长，加上大量可用的数据集和更好的算法，令AI在极短的时间内取得了大量进展。如今，AI不仅能达到人的表现水平，甚至在很多领域超过了人类。

AI能力将在方方面面不断超越人类

从上图可以清楚地看出，人工智能在很多领域已经超越了人类的表现，并且在其他方面也将很快超越人类的表现。

下图展示了在常见的人类日常工作和生活会使用到的能力中，AI在哪一年已经达到或者超过了人类水平。

AI技术发展势能充足

计算增长是否能够保持相同的速度是难以确定的。大规模模型的训练需要越来越多的算力，如果算力供应无法持续增长，可能会减缓人工智能技术的发展进程

同样，耗尽目前可用于训练AI模型的所有数据也可能妨碍新模型的开发和实施。

2023年，AI行业迎来了大量资本的涌入，尤其是以大语言模型为代表的生成式AI。这或许预示着更多的突破即将到来，似乎以上3个促进AI技术发展的元素都将在未来得到进一步的优化和发展

2023年上半年，AI行业的初创公司融资规模达到了140亿美元，甚至比过去4年获得的融资总和还要多。

而大量（78%）的生成式AI初创公司都还处于发展非常早期的阶段，甚至27%的生成式AI初创公司公司还没有进行融资。

360多家生成式人工智能公司，27% 尚未进行融资。超过一半是 轮或更早的项目，说明整个生成式AI行业还属于非常早期的阶段。

由于开发大型语言模型的资本密集型性质，自 2022 年第三季度以来，生成式AI基础设施类别已获得超过 70% 的资金，仅占所有生成式AI交易量的10%。大部分资金源于投资者对基础模型和API、MLOps（机器学习操作）以及向量数据库技术等新兴基础设施的兴趣。