自然语言处理(NLP)以“Transformer”模块为核心,是人工智能取得巨大成功的起源。然而,其他因素也推动了人工智能的兴起,尤其是数据的日益丰富、数据中心的存储能力以及计算能力的指数级增长。事实上,人工智能的发展及其广泛应用伴随着对数据、存储容量和计算能力需求的不断增长。在成功的推动下,这一质的飞跃以巨大的能源消耗为代价。
• 这种巨型化的第一个来源在于可用数据的爆炸式增长。互联网技术的兴起产生了呈指数级增长的数据量。
互联网数据的庞大规模和增长速度令人目眩。其数量之大,使得估算要么不可能,要么极不精确。根据一些报告(谷歌云平台、AWS、微软Azure、IDC、高德纳咨询公司、福雷斯特研究公司等),2020年互联网上存储的数据量大约在40到50泽字节之间(1字节等同于1个字符或1字节)。2021年,这一数字约为60到70泽字节。到2025年,预计将达到约180泽字节。这个数量相当于1800亿个1太字节(TB)的固态硬盘。太字节已成为我们日常使用的数据介质的存储单位。
* 1泽字节(ZB)= 10^21字节,相当于1,000艾字节或1,000,000拍字节(PB)或1,000,000,000太字节(TB)。
2024年,每日产生的互联网数据量估算因来源不同而有所差异,但普遍约为3.5艾字节。 为了直观理解这一日数据量(3.5×10^18字节),可将其与6.25亿部2小时高清电影(约4GB数据)进行对比。
根据Digital Universe进行的一项研究,数据领域大约每两年翻一番。
| Power | Symbol | Power | Symbol |
| 10^0 | 1 | 10^1 | da (deca) |
| 10^2 | h (hecto) | 10^3 | k (kilo) |
| 10^6 | M (mega) | 10^9 | G (giga) |
| 10^12 | T (tera) | 10^15 | P (peta) |
| 10^18 | E (exa) | 10^21 | Z (zetta) |
| 10^24 | Y (yotta) | 10^27 | R (ronna) |
| 10^30 | Q (quetta) |
• 这种巨型化的第二个来源在于超大规模数据中心(全球最大的数据中心)。最大的存储容量主要集中在亚马逊云服务、微软Azure、谷歌云、Meta平台、Equinix、Digital Realty等大型企业手中。根据Omdia的报告,2024年全球约有860万个数据中心。其中,约60万个是超大规模数据中心,归亚马逊、微软和谷歌等云巨头所有。尽管难以估算,但全球数据存储容量很可能每两年翻一番。
运营数据中心消耗大量能源,而存储需求的增长可能给电网带来压力。到2025年,数据中心的电力消耗预计将占全球电力消耗的2%。
• 这种巨型化的第三个来源在于机器的计算能力,以每秒浮点运算次数(FLOPs)衡量。
2024年,处理器(CPU)的计算能力可达1228 GFLOPs,约1万亿次浮点运算,例如英特尔酷睿i9-13900K处理器。图形协处理器在执行特定任务或数学计算时更为强大。这些硬件加速器(GPU、FPGA)的计算能力可达100万亿次浮点运算,例如配备18176个核心的NVIDIA GeForce RTX 4090 Ti显卡。
这就是为什么世界上最快的超级计算机同时利用CPU和GPU的处理能力。因此,超级计算机已达到千万亿次级的运算能力(每秒数千万亿次操作)。
2024年,美国HPE公司的Frontier已实现百亿亿次计算能力。*1百亿亿次浮点运算相当于每秒进行十亿亿次运算。
指数增长无法持续太久!