腾讯云AI超级底座新升级 训练效率提升幅度达到3倍 (腾讯云 ai)

文章编号:40849 最新资讯 2024-12-03 腾讯云 AI超级底座 AI大模型

大模型推动AI进入新纪元,对计算、存储、网络、数据检索及调度容错等方面提出了更高要求。在9月7日举行的2023腾讯全球数字生态大会“AI超级底座专场”上,腾讯云介绍异构计算全新产品矩阵“AI超级底座”及其新能力。

腾讯云副总裁王亚晨在开场致辞中表示,AI大模型就像是一场F1比赛,腾讯云专门设计了星脉高性能算力网络“赛道”,并自研了TiTa和TCCL网络协议作为“车载导航和道路控制系统”,共同让“HCC GPU服务器”这台马力强大的F1赛车发挥最大的算力性能,助力客户在AI大模型的竞争中遥遥领先。

腾讯云AI超级底座新升级:训练效率提升幅度达到3倍

腾讯云全新异构计算产品矩阵“AI超级底座”亮相

随着AI应用走向全领域,模型参数发展到千亿、万亿级规模,对云计算的基础设施提出了全新的挑战。腾讯云异构计算产品总监宋丹丹表示,AI 超级底座可以从底层算力基础设施到上层应用对接提供整套完整服务,方便模型生产厂商和AI开发者快速开发、验证。

腾讯云AI超级底座具有海量算力、极致性能、灵活取用等优势,结合了腾讯云的海量多元算力、高性能网络和存储集群,并以云原生产品作为入口供开发者灵活调用。在软硬结合层,腾讯云还可以通过GPU虚拟化、容器等,以及高性能应用服务HAI给开发者提供简易的开发体验,并让底层的高性能算力无损直达开发者,真正实现“高性能易上手”。

腾讯云AI超级底座新升级:训练效率提升幅度达到3倍

基础设施再进化,取之AI,赋能于AI

作为AIGC时代的重要核心,大模型需要庞大的算力来支撑。腾讯云高性能计算集群产品 HCC采用腾讯云星星海自研服务器,提供高性能、高带宽和低延迟的集群算力。目前,HCC已全面升级至2.0,性能、效率和稳定性实现全面提升,相比上代训练效率提升幅度达到3倍,将几十天的训练周期缩短至一周内。

此外,腾讯云还推出了性价比更高的冷存储产品、COS加速器,以及数据湖多级加速体系,可面向AIGC等多种业务场景提供多级缓存加速方案,进一步提升训练效率并降低资源成本。腾讯云存储产品总监崔剑指出,腾讯云通过提供近存储侧的一站式数据处理智能平台,为以AIGC为代表的业务提供内容处理、内容审核等服务,帮助用户挖掘数据价值,从而实现了“取之AI,助力AI”。

腾讯云AI超级底座新升级:训练效率提升幅度达到3倍

腾讯云公网产品负责人俞圆圆指出,对于参数达到千亿、万亿级别的 AI 大模型来说,大带宽、低延时、广覆盖、少抖动的网络是实现高效训练的关键因素之一。腾讯云星脉高性能计算网络具备业界最高的3.2T 通信带宽,可为AI大模型的训练提供高速公路级别的网络通道。

腾讯云AI超级底座新升级:训练效率提升幅度达到3倍

软硬件结合,提升极致性能

底层基础设施以外, AI大模型的落地也需要上层软件的支持。腾讯云异构计算AI研发专家工程师叶帆表示,随着集群规模的增加,无论训练还是推理对硬件性能的利用均呈现指数难度上升,需要精细的软硬件协同来提升性能。腾讯云的Taco-LLM开箱即用性能方案基于Continuous Batching、预测解码、模型量化等技术,提高吞吐的同时,也降低了客户端延迟,并全面兼容hugging face主流大语言模型,可保障复杂多变的公有云应用场景。

腾讯云AI超级底座新升级:训练效率提升幅度达到3倍

针对GPU算力资源浪费的问题,腾讯云TencentOS高级产品架构师杜震表示,qGPU容器产品可以支持多个容器共享 GPU 卡,具备了各容器间算力、显存的精细隔离和灵活配置,将GPU的利用率提升至极致,最终帮助客户大幅节约GPU资源成本。同时,腾讯云还基于 RUE 内核全场景混部,统一调度分配 CPU、IO、网络、内存等资源,提升资源利用率,进一步降低运营成本。

腾讯云AI超级底座新升级:训练效率提升幅度达到3倍

向量数据库加速企业AI化进程

在大模型时代,通过向量数据库将数据高效接入AI大模型,并深度挖掘数据价值,成为最重要的事。

腾讯云数据库产品副总经理罗云指出,腾讯云向量数据库同时具备的性能和规模优势,支持高达10亿级的向量检索规模,延迟则控制在毫秒级,比传统单机插件式数据库检索规模提升了10倍。同时,腾讯云向量数据库还具备百万级每秒查询(QPS)的峰值能力,经腾讯内部海量场景实践,数据接入 AI 的效率比传统方案提升10倍,运行稳定性高达99.99%。

腾讯云AI超级底座新升级:训练效率提升幅度达到3倍

从底层到上层,腾讯云AI超级底座通过大模型高性能计算集群、计算网络以及向量数据库等大模型生态工具,助力AI大模型应用落地。

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/6baaf4ebdd4b19b279ea.html
全局中部横幅
全局中部横幅
安徽股权价值评估-专利转让/商标/软著/无形资产评估-合肥企业价值/ 技术转让评估-安徽中企航资产评估有限公司

安徽中企航资产评估有限公司于2019年5月经安徽省财政厅批准成立,公司以资产评估为核心,以健全的专业机构为保障,长期以来一直致力于为企业提供跨区域、多方位的“无接缝专业集成服务”。欢迎来电咨询!

“居然要贴钱上班”!银行人吐槽自掏腰包“买存款”,50万存1天要贴400元,“完不成要扣3000块”......|农商行|冲时点|存款利率|贴息_手机网易网

“我绝对想不到,有一天我居然要贴钱上班。”在北京市某股份制银行工作一年多的刘博(化名)是一名客户经理,他的日常是向客户推销理财产品、基金、保险产品,并接受银行严格的考核制度。

美佳缘婚介_长沙婚姻介绍所

美佳缘婚介热枕为您服务,脱单热线:19572925162、17373150191我为什么选择婚介?婚介就是做好事,做好事成全他人就是善,善事不仅要主动去做还要积极去做,而且更要做得多,做得广,做得长久;才能积累自身的福德。我是一名有爱、诚心、信心的社会工作者,愿为每一位单身朋友提供最优质的服务;愿你能够在这里找到真心的爱人。......

德阳装修公司_德阳装修设计_德阳家装装饰_先装修后付款就选悠然装饰

德阳悠然装饰是一家从事德阳装修,德阳别墅装修,德阳房屋装修,德阳装修设计的装饰公司,服务范围覆盖德阳什邡中江广汉绵竹罗江,实行先装修后付款,确保德阳装修业主获得更好的服务!环保不达标承担全责,质量不合格砸掉重做,德阳装修选悠然装饰更有保障,更放心!

88ICON-免费png图片背景素材ppt模板-88ICON官网

88ICON是免费设计素材网站,88ICON提供png图片、psd图片、矢量图片、背景图片、banner、ppt模板、图标icon、艺术字、海报展板、摄影照片、卡通插画、电商主图、文案字库、音效配乐等内容的免费下载。

姐妹厨房 享受安心的味道

来源透明.吃的安心。姐妹厨房鸡肉产品,从农场、饲料到质检记录,现在都看的到。到姐妹厨房网站,就可以看到鸡肉透明全过程!

视频监控安装工程公司 & 防盗报警器厂家供应商 - 深圳新安宝科技

新安宝科技(深圳)有限公司成立于1988年,领先防盗报警器厂家供应商、广东深圳视频监控施工安装工程公司,包括红绿灯交通监控工程,红绿灯交通监控安装,红绿灯交通监控公司,红绿灯交通监控施工,道路监控安装,道路监控工程,道路监控施工,深圳视频监控施工安装,深圳视频监控安装施工。专业从事视频监控系统、防盗报警器、门禁、停车场等弱电智能化工程,专业监控工程承包公司,拥有专业团队,专业队伍,各种监控工程承包,包括道路监控工程承包,高速监控工程承包,红绿灯监控工程承包,交通监控工程承包

有机肥造粒机,圆盘造粒机,对辊挤压造粒机生产厂家-郑州华之强重工科技有限公司

郑州华之强重工是生产和研发有机肥造粒机设备和成套有机肥生产线设备的厂家,主要经营新型有机肥造粒机,转鼓造粒机,圆盘造粒机,对辊挤压造粒机,有机肥烘干机,有机肥搅拌机等系列设备,服务热线:18603847333

北京风启科技有限公司

提供光斑分析仪、飞秒激光器和纳秒激光器,样机免费测试,性价比高

组合式电感-组装式电感-大电流、大功率、扁平线高效率

深圳市领航京创科技有限公司,专业研发、生产、销售组合式电感、组装式电感、大电流扁平线圈电感。

全局底部横幅