10年内单个集群价值将达万亿美元 出天际 贵 芯片集群 (十年内包括第十年吗)

1958年，德州仪器的杰克.基尔比（Jack Kilby）设计出了带有单个晶体管的硅芯片。1965年，仙童半导体已经掌握了如何制造一块拥有50个晶体管的硅片。正如仙童半导体的联合创始人戈登.摩尔（Gordon Moore）当年观察到的那样，一块硅片上可容纳的晶体管数量几乎每年翻一番。

2023年，苹果发布了iPhone 15 Pro，由A17仿生芯片驱动，这款芯片拥有190亿个晶体管。56年来，晶体管的密度增加了34倍。这种指数级的进步，被粗略地称为摩尔定律，一直是计算机革命的引擎之一。随着晶体管变得越来越小、越来越便宜以及速度越来越快，今天实现了手握“超级计算机”的奇迹。但人工智能时代需要处理的数据数量之多，已经将摩尔定律推向了极限。

几乎所有现代人工智能中的神经网络都需要经过训练，以确定正确的权重（权重用来衡量输入信号对于神经元的影响程度，即不同输入的重要性权重），从而为其数十亿，有时甚至数万亿的内部连接赋予正确的权重。这些权重以矩阵的形式存储，而训练模型则需要使用数学方法对这些矩阵进行操作。

单层神经网络的本质是矩阵相乘 ，两个按行和列排列的数字矩阵集合被用来生成第三个这样的集合，第三个集合中的每个数字都是通过将第一个集合中某一行的所有数字与第二个集合中某一列的所有数字相乘，然后相加而得到的。如果矩阵很大，有几千或几万行几万列，而且需要随着训练的进行反复相乘，那么单个数字相乘和相加的次数就会变得非常多，这就是人工智能的“思考方式”，通过对输入数据的处理得出答案。

然而，神经网络的训练并不是唯一一种需要高效处理矩阵乘法运算的技术。游戏产业高质量的视觉呈现同样需要这一技术，在25年前，这是一个巨大的市场。为了满足这一需求，英伟达率先设计了一种新型芯片，即图形处理器（GPU），在这种芯片上布置并连接晶体管，使其能够同时进行大量矩阵乘法运算。与大多数中央处理器（CPU）相比，GPU可以更大批量地处理数据，而且能耗更低。

2012年，训练AlexNet（开创 “深度学习 ”时代的模型）需要为6000万个内部连接分配权重。这需要4.7x10^17次浮点运算（flop，算力最基本的计量单位），每次浮点运算大致相当于两个数字的相加或相乘。此前，这么多的计算量是不可能完成的，但当时两个GPU就完成了AlexNet系统的训练。相比之下，如果使用当时最先进的CPU仍需要耗费大量的时间和算力。

乔治城大学安全与新兴技术中心最近发布的一份报告称，在用于训练模型时， GPU的成本效益比CPU高出10-100 倍 ，速度提升1000倍。 正是因为有了GPU，深度学习才得以蓬勃发展。不过，大型语言模型（LLM）进一步推动了对计算的需求。

「SCAling Laws」打破「Moore's Law」

2018年，OpenAI的研究人员亚历克.拉德福德（Alec Radford）利用谷歌研究人员在“Attention Is All You Need”中提出的Transformers（采用注意力机制的深度学习模型），开发了一种生成式预训练变换器，简称GPT。他和同事们发现，通过增加训练数据或算力，可以提高大模型的生成能力，这个定律被称为“Scaling Laws”。

由于行业遵从Scaling Laws定律，大语言模型的训练规模越来越大。据研究机构Epoch ai估计，2022年训练GPT-4 需要2x10^25个 flop，是十年前训练AlexNet所用算力的4000万倍，花费约1亿美元。Gemini-ultra是谷歌在2024年发布的大的模型，其成本是GPT-4的两倍，Epoch ai估计它可能需要5x10^25个flop。这些总数大得难以置信，堪比可观测宇宙中所有星系的恒星总数，或太平洋中的水滴合集。

过去，解决算力不足的办法就是耐心等待，因为摩尔定律还在生效，只需要等上一段时间，新一代的芯片就会集成更多更快的晶体管。但摩尔定律已经逐渐失效，因为现在单个晶体管的宽度只有几十纳米（十亿分之一米），要想实现性能的定期跃升已变得非常困难。芯片制造商仍在努力将晶体管做得更小，甚至将它们垂直堆叠起来，以便在芯片上挤出更多的晶体管。但是，性能稳步提升而功耗下降的时代已经过去。

随着摩尔定律放缓，想要建立更大的模型，答案不是生产更快的芯片，而是打造更大的芯片集群。OpenAI内部透露，GPT-4是在25000个英伟达的A100上训练的，这些GPU集群在一起，以减少在芯片间移动数据时造成的时间和能量损失。

Alphabet、亚马逊、Meta和微软计划在2024年投资2000亿美元用于人工智能相关的领域，比去年增长45%，其中大部分将用于打造大规模的芯片集群。据报道，微软和OpenAI正计划在威斯康星州建立一个价值1000亿美元的集群，名为 “星际之门”（Stargate）。硅谷的一些人则认为， 十年内将出现一个价值１万亿美元的集群。 这种超大规模基础设施建设需要消耗大量能源，今年３月，亚马逊在一座核电站隔壁购买了一个数据中心，该核电站可为其提供千兆瓦的电力。

对人工智能领域的投资并不全是在GPU及其功耗上，因为模型一旦训练完成，就必须投入使用。使用人工智能系统所需要消耗的算力，通常约为训练所需算力的平方根，这样的算力需求仍然很大。例如，GPT-3需要３x10^23flop的算力来训练，则推理需要3x10^11flop算力。FPGA和ASIC芯片是专为推理量身定制的，在运行人工智能模型方面，比使用GPU更高效。

不过，在这股热潮中表现最好的还是英伟达。英伟达的主导地位不仅来自其在GPU制造方面积累的技术和投入大量的资金（黄仁勋称，Blackwell的开发成本高达100亿美元）。此外，英伟达还拥有用于芯片编程的软件框架，即近乎已成为行业标准的CUDA。

竞争对手都在寻找英伟达的弱点。AI芯片独角兽企业SambaNova Systems的CEO Rodrigo Liang称，英伟达的芯片有几个缺点，这可以追溯到它们最初在游戏中的用途。其中一个特别大的问题是，在数据存取方面的能力有限（因为一个GPU无法容纳整个模型）。

另一家AI芯片初创公司Cerebras则推出了21.5厘米宽的“晶圆级”处理器。目前的大部分GPU包含大概成千上万个独立内核，可以进行并行计算过，而Cerebras开发的芯片包含近100万个。Cerebras声称，其另外一个优势是，它的能耗仅为英伟达最好芯片的一半。谷歌则推出了自己的张量处理单元（tpu），可用于训练和推理。其Gemini 1.5 ai模型一次摄取的数据量是GPT-4的八倍，部分原因就是采用了定制芯片。

尖端GPU的巨大价值与日俱增，使其成为地缘政治的筹码。虽然芯片产业是全球性的，但只有少数几个国家的技术控制着进入芯片产业高地的通道。英伟达的芯片在美国设计，世界上最先进的光刻机由荷兰公司ASML制造，而只有台积电和英特尔等尖端代工厂才能使用最顶级的光刻机。对于许多其他设备来说，地缘政治因素同样暗流涌动，日本是其中的另一个主要国家。

发展芯片和人工智能技术带来的政治博弈，使各国在这两个技术领域的投入不断增加，美国政府对向中国出口先进芯片实施严厉的管控，而中国正在投资数千亿美元来建立自己的芯片供应链。大多数分析人士认为，中国在这方面与美国仍存在较大的差距，但由于华为等公司的大笔投资，中国应对出口管制的能力比美国预期的要好得多。

美国也在加大投资力度，台积电在亚利桑那州投资约650亿美元建立晶圆厂，并获得约66亿美元的补贴。其他国家同样积极参与到这场竞争中，印度投入100亿美元、德国160亿美元以及日本260亿美元，未来，通过垄断人工智能芯片以阻碍其他国家人工智能产业技术发展的方式或许将会失效。

本文由编译自：

原创文章，未经授权禁止转载。详情见 转载须知 。

上一篇：联影智能携最新大模型产品亮相北美放射学年

下一篇：创业一瞬间赵勇卸任格灵深瞳CEO跌宕十一年