性能新突破!媲美国际水准!国产千卡智算集群助力国产大模型训推 (性能()())

文章编号:36105 最新资讯 2024-11-30 智谱AI 大模型 摩尔线程
性能

以大模型为代表的新一代人工智能技术是引领新一轮科技革命和产业变革的战略性技术和重要驱动力量,随着对算力需求的日益高涨,人工智能算力底座公司日益成为新一波人工智能技术浪潮重要组成部分。

2024年5月,摩尔线程与智谱AI开展了新一轮GPU 大模型适配及性能测试,包括大模型推理以及基于夸娥(KUAE)千卡智算集群的大模型预训练。测试用相关大模型来自智谱AI基座大模型及其开源版本。

测试结果表明,在推理方面,摩尔线程自研全功能GPU显著优于基准对比产品RTX 3090和RTX 4090,在全部测试用例中优于RTX 3090,在多batch下优于RTX 4090;在训练方面,摩尔线程夸娥千卡智算集群训练精度与A100集群误差在1%以内,夸娥千卡智算集群性能扩展系数超过90%,模型算力利用率(MFU)与A100集群相当。

智谱AI致力于打造新一代认知智能大模型,专注于做大模型的中国创新。早在2022年8月,智谱AI开源了GLM-130B模型,2023 年,智谱 AI 推出千亿基座对话模型ChatGLM,开源版本的 ChatGLM-6B 让大模型开发者的本地微调和部署成为可能,在开源社区受到广泛欢迎。从自主开发的原创GLM预训练框架搭建之初,智谱AI就十分注意算力利用率问题。通过国产算力适配,智谱AI已支持10余种国产硬件生态,努力推动建设大模型软硬件生态和与国产芯片企业的联合创新与升级。

摩尔线程出色的测试结果对于更好建设中国大模型产品技术生态具有重要意义。

摩尔线程

技术自主新突破: 摩尔线程千卡智算集群成功应用ChatGLM预训练,标志着摩尔线程全功能GPU算力底座有能力支撑行业领先的大模型全链条研发,有助于增强技术自主性,保障信息安全。大模型训练与推理将能够在全国产可控的算力底座上运行,在满足信息安全的前提下服务于千行百业,成为发展AI+新质生产力的核心力量。

助力打破算力瓶颈: Scaling laws(尺度定律)已经预示了AGI技术发展对算力日益增长的需求规律,同时也表明有限的算力供应可能成为制约大模型发展的关键瓶颈。本次测试结果显示,国产GPU算力底座有能力助力中国人工智能技术发展。摩尔线程作为国产GPU的代表,将助力提高大模型迭代速度和自研水平,助推中国大模型更好发展。

开拓创新空间: 算法、算力、数据是AGI技术的核心要素,摩尔线程与智谱AI卓有成效的适配与测试合作,有利于推动实现软硬件的深度融合与协同创新,有利于助力中国大模型实现更好发展。

降低运营成本: 摩尔线程凭借自研国产全功能GPU,致力于构建先进的AGI算力底座,不仅能够兼容适配全球主流AI软件生态,节约软件迁移成本,而且在单位算力总体拥有成本上拥有较为明显优势,能够有效降低大模型产品研发成本。

智谱AI硬件适配与测试负责人表示:“摩尔线程夸娥千卡智算集群在计算精度和稳定性等方面的表现令人印象深刻,智谱AI将与包括摩尔线程在内的大模型产业生态合作伙伴携手,共同推动大模型产业生态繁荣发展。”

版权文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/a2cbd67f7a6d665ea7aa.html
全局中部横幅
全局中部横幅
办公资源网_精品PPT模板下载网站_海量办公素材资源可供下载_动起办公

办公资源网是一家专注海量办公资源下载的网站,提供各种精美创意ppt模板、excel模板、word模板、音效资源及大量办公素材,包括个人简历word模板,工作总结ppt,教育培训课件等大量办公模板,来办公资源网,办公不求人。

极光PDF官方网站 - 国产软件、快速转换、自由编辑

极光PDF是一款强大的多功能PDF编辑软件,采用国产自研PDF引擎,拥有PDF编辑、格式转换、注释、压缩合并、PDF翻译等多种功能,可满足用户不同的需求。百M文件秒开,多种编辑模式和强大的图片编辑功能,让编辑PDF像编辑PPT一样轻松

火种特训-青少年夏令营-企业团建-中山市火种户外运动拓展有限公司

中山市火种户外运动拓展有限公司是一家从事火种特训,青少年夏令营,企业团建等项目的户外运动拓展公司.我们致力于为客户提供高质量的户外拓展活动,帮助参与者锻炼身体,增强团队合作能力,提升个人自信心.选择我们,您将会获得一次难忘的户外拓展体验.联系方式:18022144944

珠海卡板|珠海卡板厂|珠海木箱包装厂|珠海木箱|珠海熏蒸卡板|珠海免检卡板|珠海欧标卡板|珠海可拆卸木箱|珠海出口木箱|珠海晟盛木业

珠海珠海晟盛木业有限公司是设计、生产、销售木质包装(卡板、包装箱)的专业厂家。工厂占地面积约8000平方米。公司主要经营:珠海卡板厂,珠海木箱,珠海熏蒸卡板,珠海免检卡板,珠海欧标卡板,珠海可拆卸木箱.我司生产各种熏蒸,热处理包装物料,同时为客户提供各种胶合板卡板、胶合板包装箱,无须熏蒸,免热处理,出口方便、快捷,不受时间限制,符合出口检疫要求,是出口包装的理想选择。

【文书帮】_WenShuBang.com_文书写作好帮手

文书帮(wenshubang.com),文书写作好帮手,是一个专门为写各种文书的人提供范文帮助指导的网站。汇集了职场各工作人员上班需要的工作总结,行政文书、合同等文书写作。

淄博装修公司-淄博装饰公司-淄博家装公司-山东嘉诺装饰设计工程有限公司

山东嘉诺装饰设计工程有限公司专业的,淄博装修公司,淄博装饰公司,淄博家装公司,住宅整装,办公精装,酒店精装,建筑外装,商业精装全方位专业定制服务.

广州物流公司_全国物流服务-粤邦物流公司

广州粤邦物流公司是一家提供广州物流服务及全国物流服务的专业物流公司,为客户提供安全、高效、全面的物流解决方案。

活动式测斜仪_固定式测斜仪_电子测斜仪_水平测斜仪_数字测斜仪_智能测斜仪_智能数显测斜 - 广州市晟探测控技术有限公司

广州晟探测控技术是一家专注于活动式测斜仪,固定式测斜仪,电子测斜仪,水平测斜仪,数字测斜仪,智能测斜仪,智能数显测斜仪等工程监测仪器研发生产的一体化厂家.欢迎了解,王经理:13650897512,罗经理:17302014096

LED显示屏租赁_LED大屏幕出租-活动执行-舞台灯光租赁-广州壹号展览

广州壹号展览服务有限公司成立于2006年,十年磨一剑,经过全体公司员工的不断努力,我司已经成为集商业展示服务、门店装修服务、活动策划执行、形象设计、企业VICI设计、喷绘印刷、商业演出、广告制作、户外亮化工程、平面设计、包装设计、活动策划执行推广等业务为一体的综合性广告服务公司。

全局底部横幅