GPU Cerebras要 世界最大AI芯片打破单设备训练大模型记录 杀死

文章编号:41509 最新资讯 2024-12-03 Cerebras 人工智能 语义识别

以造出世界上最大加速器芯片CS-2 Wafer Scale Engine闻名的公司Cerebras昨日宣布他们已经在利用“巨芯”进行人工智能训练上走出了重要的一步。该公司训练出了单芯片上全世界最大的NLP(自然语言处理)AI模型。

该模型具有20亿个参数,基于CS-2芯片进行训练。这块全世界最大的加速器芯片采用7nm制程工艺,由一整块方形的晶圆刻蚀而成。它的大小数百倍于主流芯片,具有15KW的功率。它集成了2.6万亿个7nm晶体管,封装了850000个内核和40GB内存。 世界最大AI芯片打破单设备训练大模型记录 ,要「杀死」GPU

单芯片训练AI大模型新纪录

NLP模型的开发是人工智能中的一个重要领域。利用NLP模型,人工智能可以“理解”文字含义,并进行相应的动作。OpenAI的DALL.E模型就是一个典型的NLP模型。这个模型可以将使用者的输入的文字信息转化为图片输出。

比如当使用者输入“牛油果形状的扶手椅”后,AI就会自动生成若干与这句话对应的图像。

世界最大AI芯片打破单设备训练大模型记录 ,要「杀死」GPU

图:AI接收信息后生成的“牛油果形状扶手椅”图片

不止于此,该模型还能够使AI理解物种、几何、历史时代等复杂的知识。

但要实现这一切并不容易,NLP模型的传统开发具有极高的算力成本和技术门槛。

实际上,如果只讨论数字,Cerebras开发的这一模型20亿的参数量在同行的衬托下,显得有些平平无奇。

前面提到的DALL.E模型具有120亿个参数,而目前最大的模型是DeepMind于去年年底推出的Gopher,具有2800亿个参数。

但除去惊人的数字外,Cerebras开发的NLP还有一个巨大的突破:它降低了NLP模型的开发难度。

「巨芯」如何打败GPU?

按照传统流程,开发NLP模型需要开发者将巨大的NLP模型切分若干个功能部分,并将他们的工作负载分散到成百上千个图形处理单元上。

数以千百计的图形处理单元对厂商来说意味着巨大的成本。

技术上的困难也同样使厂商们痛苦不堪。

切分模型是一个定制的问题,每个神经网络、每个GPU的规格、以及将他们连接(或互联)在一起的网络都是独一无二的,并且不能跨系统移植。

厂商必须在第一次训练前将这些因素统统考虑清楚。

这项工作极其复杂,有时候甚至需要几个月的时间才能完成。

Cerebras表示这是NLP模型训练中“最痛苦的方面之一”。只有极少数公司拥有开发NLP所必要的资源和专业知识。对于人工智能行业中的其他公司而言,NLP的训练则太昂贵、太耗时且无法使用。

但如果单个芯片就能够支持20亿个参数的模型,就意味着不需要使用海量的GPU分散训练模型的工作量。这可以为厂商节省数千个GPU的训练成本和相关的硬件、扩展要求。同时这也使厂商不必经历切分模型并将其工作负载分配给数千个GPU的痛苦。

Cerebras也并未仅仅执拗于数字,评价一个模型的好坏,参数的数量并不是唯一标准。

比起希望诞生于“巨芯”上的模型“努力”,Cerebras更希望的是模型“聪明”。

之所以Cerebras能够在参数量上取得爆炸式增长,是因为利用了权重流技术。这项技术可以将计算和内存的占用量解耦,并允许将内存扩展到足以存储AI工作负载中增加的任何数量的参数。

由于这项突破,设置模型的时间从几个月减少到了几分钟。并且开发者在gpt-J和GPT-Neo等型号之间“只需几次按键”就可以完成切换。这让NLP的开发变得更加简单。

这使得NLP领域出现了新的变化。

正如Intersect360 Research 首席研究官 Dan Olds 对Cerebras取得成就的评价:“Cerebras 能够以具有成本效益、易于访问的方式将大型语言模型带给大众,这为人工智能开辟了一个激动人心的新时代。”

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/c40d417d94118346e9b2.html
全局中部横幅
全局中部横幅
FRM考试报名入口,FRM考试报名时间条件,frm考试报名时间,frm考试报名流程-高顿教育

高顿教育FRM考试报名入口提供年FRM考试报名时间,FRM考试报名条件,frm考试报名流程,FRM报名入口,FRM报名流程,FRM报名费用,FRM报名官网等资讯及辅导资料,打造专业的FRM学习平台!

北京小吃_北京特色小吃_北京小吃加盟

北京小吃历史悠久口味独特,北京特色小吃虽种类多样,但是制作还是比较简单方便的,豆果美食不仅为您提供了丰富的北京特色小吃图文制作教程,还提供了北京各小吃的背景介绍,让您不仅吃出美味还能了解北京小吃其中的历史

小说,小说网,最新热门小说-纵横中文网

纵横中文网,最新热门小说网站,提供玄幻小说、武侠小说、原创小说、网游小说、都市小说、言情小说、青春小说、科幻小说等首发小说,最新章节在线阅读。大神作品齐聚纵横,最新章节每日更新。

易超云科技

实时超声,在线超声,实时转播,会议系统

上海帝赐自动化科技有限公司

上海帝赐自动化科技有限公司是一家致力于高端设备故障检修的高科技企业,服务对象主要为国内外的知名企业,曾为多家世界500强企业以及中国龙头级制造企业提供了深度的设备维护与检修技术支持。服务范围从大型跨国企业到科研机构,无所不具;服务对象从军事军工到航空航天,从食品行业到机械行业,从印刷行业到科技行业,从电梯行业到纺织行业等领域,无所不有。帝赐集合了优秀的人才、高科技的精密设备、丰富的维修经验、卓越的技术及一流的服务,得到客户的认可,销售业绩持续增长。

中游游戏中心_中游游戏在线_在线棋牌游戏平台_棋牌休闲网络游戏中心

中游游戏中心是国内成立时间最早,业内著名的棋牌休闲游戏平台,提供棋牌休闲和网络竞技等各种游戏,下载中游游戏大厅即可免费畅玩包括棋牌、麻将、休闲游戏在内的各种游戏,成立17年来注册用户已超3亿,忙时在线人数超30万,各种游戏社团超2万个。

领硕地板官方网站-引领地板时尚

领硕地板品牌创始于2008年,历经十多年快速发展,领硕地板凭借自身持久的创新能力,强大的个性品牌能力,创新性生产体系和完善的销售服务体系,现已成长为木地板领域的专业制造商之一。

伸缩器,非金属膨胀节,橡胶套筒补偿器,伸缩接头,防水套管-华德供水材料-永久开源免费的PHP企业网站开发建设管理系统

郑州华德供水材料有限公司(18738118588)是一家致力于套筒补偿器,防水套管,橡胶伸缩接头以及橡胶补偿器的生产批发厂家,公司率先实施标准化为基础的生产定制模式,以合理的价格,优质的服务与您携手共谋发展.

亚杰万向轮_定制型脚轮生产厂家_浙江省知名万向轮生产商-浙江亚杰能源装备股份有限公司

浙江亚杰能源装备股份有限公司是浙江省知名万向轮生产商,公司是一家集开发,设计,制造于一体的专业化定制型脚轮生产厂家生产厂家。公司旗下拥有轻型、中型、重型三大系列产品。产品销往全球各地,并广泛运用于家具、医疗、商场等各个行业中的配套设备以及移动平台中。

江西建工建筑安装有限责任公司  建筑机电安装工程  电力工程  机电工程  建筑机电安装工程专业承包壹级_ 江西建工建筑安装有限责任公司

江西建工建筑安装有限责任公司建筑机电安装工程电力工程机电工程建筑机电安装工程专业承包壹级江西建工建筑安装有限责任公司公司拥有国家建设部批准的10余项经营资质:机电工程施工总承包壹级、建筑工程施工总承包壹级、市政公用工程施工总承包壹级、冶金工程施工总承包壹级、石油化工工程施工总承包贰级、电力工程施工总承包叁级、消防设施工程专业承包壹级、钢结构工程专业承包壹级、建筑机电安装工程专业承包壹级、建筑装修装饰工程专业承包壹级、石油化工工程施工总承包贰级、防水防腐保温工程专业承包贰级、电力工程施工总承包叁级。

智能灭火贴,智能灭火材料集成,小空间灭火,-西安全永智能技术有限公司

西安全永智能技术有限公司是一家生产研发智能灭火贴,智能灭火材料集成,小空间灭火,智能灭火的专业灭火材料生产厂家。注册资金300万人民币。公司西部开发的桥头堡—西安。

全局底部横幅