Arm MLPerf 最新结果公布 服务器亮眼首秀

文章编号:44377 资讯动态 2024-12-09 英伟达MLPerf

雷锋网消息,本周三,MLCommons 公布最新 MLPerf Inference V 1.1 基准测试(Benchmark)结果。与 V 1.0 版本相比并无太大区别,只不过在边缘推理的测试场景中,串流传输被弃用,不再作为基准测试的一部分。

新一轮基准测试中,在 AI 领域占优势的英伟达依然是唯一一家提交了从数据中心到边缘所有 MLPerf 基准测试类别数据的公司。不同的是,此次基准测试中,英伟达第一次在 Arm 系统上进行数据中心测试,并取得不错的成绩。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

Arm 服务器推理性能接近 x86

由于能效性能的不断增长和强大的软件生态系统,Arm 架构正在向全球各地的数据中心进军,而在此次MLPerf 基准测试中,Arm 服务器也被纳入其中。

英伟达展示的基准测试结果表明,如果以 A30 gpu标准,基于 x86 服务器和 Arm 服务器的处理速度均有提升。离线(Offline)测试中,基于两种服务器的 A100 处理速度差别不大,相比于 A30 的处理速度均有接近 2 倍的提升;服务器(Server)测试中,A100 相比于 A30 有 1 至 3 倍的提升,在语音识别 RNN-T 模型中,基于 x86 的 A100 处理速度与基于 Arm 服务器差别较大。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

另外,本次基准测试中,A100 也同时基于 Ampere Altra CPU 的 Arm 服务器和英特尔的 x86 服务器上进行了测试。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

作为 GPU 加速的平台,在 AI 推理工作中,使用 Ampere Altra CPU 的 Arm 服务器的性能稍逊于具有类似配置的 x86 服务器,但在 3D-Unet 工作负载测试中,基于 Arm 服务器的 A100 性能得分超过了 x86 服务器。

一直以来支持所有 CPU 架构的英伟达表示,十分高兴能够看到 Arm 在同行评审中的行业基准测试中能够证明其 AI 性能。

Arm 高性能计算和工具高级总监 David Lecomber 表示: “最新推理结果表明,Arm CPU 和 NVIDIA GPU 驱动的 Arm 系统已能够应对数据中心中的各种 AI 工作负载。”

AI 推理性能四个月内提升 20%

此次基准测试中,英伟达一如既往地展示了其 AI 推理性能,英伟达凭借其架构设计配合软件再次取得突破。

与 MLPerf 0.7 版本相比,本次测试中英伟达 A100 GPU 各类工作负载得分均有提升。其中,医学图像 3D U-Net 模型涨幅高达 150%,语音识别 RNN-T 模型测试涨幅高达 130%。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

事实上,在今年 4 月份 MLPerf 1.0 版本中,A100 GPU 的推理能力就已经在推荐系统模型 DLRM,语音识别模型 RNN-T 和医疗影像 3D U-Net 模型方面有一定提升,提升幅度最高达 45%,而此次又取得新突破,相比四个月前提升了 20%。

根据英伟达的介绍,其完整的 AI 软件堆栈是提升其 GPU 性能的关键。

英伟达 TAO Toolkit 可以简化迁移学习过程,用户能够在熟悉的环境中优化模型;英伟达 Tensor RT 软件对 AI 模型进行了优化,使其能够最有效地运用内存并且实现更快的运行速度。Trition 推理服务器能够简化云端、本地数据中心或边缘的服务部署,支持不同应用中的欺诈检测、包裹分析、图像分割等各类任务。

此外,在多实例 GPU(MIG)技术的支持下,英伟达 A100 能够提升将近 7 倍的 GPU 资源,即在一块 GPU 上运行 7 种工作负载,而 A30 只能支持 4 种工作负载。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

英伟达的 AI 优势不仅仅体现在自家 GPU 的得分上,此次基准测试中,共计 7 家 OEM 厂商提交了 22 个 GPU 加速平台,这些服务器中大多数都是英伟达认证系统,很多型号都支持上个月正式发布的英伟达 AI Enterprise 软件。

英伟达的 AI 技术已经得到广大生态系统的支持,此次与 Arm 系统的合作,也从侧面反映了英伟达进军 Arm 的决心。

文中图片源自英伟达官方

IPU首度公开MLPerf成绩,性价比收益胜过英伟达

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

为什么平头哥和英伟达在MLPerf基准测试中都获得了第一?

原创文章,未经授权禁止转载。详情见 转载须知 。

全局中部横幅
云南加固公司

本公司自成立以来不断研发推动加固行业施工技术进步,集科研,施工,设计于一体的云南昆明专业建筑加固工程有限公司,经过多年技术经验有碳纤维加固,粘钢加固,植筋加固,房屋改造加固等。凭借多年的雄厚实力完成多项重大工程项目,以高效,优质,务实,精益求精在加固行业树起公司的优质品牌。

重庆口腔医院

重庆牙博士口腔医院是以牙齿矫正,种植牙,牙齿美容修复,牙齿美白为专业项目的牙科医院,九龙坡院区作为牙博士口腔诊疗连锁品牌,更加广泛地为山城市民提供齿科医疗服务,咨询热线:023-68666920

抚顺路通科技有限公司

抚顺路通科技有限公司成立于2000年4月,专业从事公路养护技术研究,公司主要业务是沥青乳化剂、乳化沥青生产及稀浆封层施工。公司成立后参与了“慢裂快凝乳化剂推广应用”、“CAPE封层技术研究”、“辽宁省轻交通量路面研究”等课题,上述课题成果分别获得辽宁省交通厅及抚顺市政府科技进步奖。公司与科研部门合作进行稀浆封层技术推广应用,建立起具有国内先进水平的乳化剂、乳化沥青试验室及中试、生产车间。

江苏华昌公共设施工程有限公司

2014年,江苏华昌公共设施工程有限公司成立,本公司主营业务为:城市家具的设计研发、制作安装。产品主要包括:智能城乡公交候车亭及电子站牌、停车棚、各类多功能岗亭、售货亭、服务亭,移动房屋,宣传栏、导视牌、路名牌、阅报栏、标识标牌,城市雕塑、精神堡垒,环卫设施(智能垃圾箱、智能生活垃圾分类投放箱、房)教学设备,健身器材、交通设施等城市家具、公共设施的设计、制作、安装服务。

XT振动电机,ZFB震动电机,ZDJ振打电机

河南新乡德诚振动电机生产厂家专业制造各种振动筛电机,卧式震动电机有XT振动电机、ZFB震动电机、ZDJ振打电机、yzs振动电机、yzo振动电机等,立式振动电机有yzsl、yzul立式振动电机等。

山东渤海春酒业有限公司

山东渤海春酒业有限公司是集酿酒、茶叶、宾馆服务业于一体的综合性现代化企业。公司主导产品渤海春白酒及儒酱酒和“于氏永兴

叨客学习资料网

叨客学习资料网|学习资料库,互联网精品稀缺资源收集整理共享网丨每天不定时更新精品软件app资源,免费考研网课,软件基地最新破解版,心得体会,破解绿色软件资源,office教程,adobe模板,破解游戏,ppt模板单机游戏,二建,四级,计算机二级学习教程、软件使用资源,全网最新热门超清影视资源。好资源就在叨客学习资料网丨www.leobba.cn

重庆租房

楼房讯网为您提供准确真实重庆写字楼出租,办公室租赁,住房出租信息,拥有大量重庆写字楼办公室住宅出租租赁精选房源价格行情,找重庆写字楼出租网就上楼房讯网!

东莞面光源

东莞市合凯电子科技有限公司成立于2018年,注册地位于广东省东莞市长安镇。经营范围包括研发、生产、组装、销售:电子材料、电子辅料、机器设备、自动化设备、光电设备、电子配件等,主要产品有:面光源、固化灯、固化机、冷光源uv、uv线光源、镜头uv。主营环形光源,条形光源等标准光源定制光源,其他!欢迎咨询!

制药设备

深圳凯米斯科技有限公司是YMC/维美希公司在中国代理商,产品主要有色谱柱,循环制备液相色谱仪,色谱填料,制药设备等。质量安全可靠,欢迎咨询

全局底部横幅