Arm MLPerf 最新结果公布 服务器亮眼首秀

文章编号:44377 资讯动态 2024-12-09 英伟达 MLPerf

雷锋网消息,本周三,MLCommons 公布最新 MLPerf Inference V 1.1 基准测试(Benchmark)结果。与 V 1.0 版本相比并无太大区别,只不过在边缘推理的测试场景中,串流传输被弃用,不再作为基准测试的一部分。

新一轮基准测试中,在 AI 领域占优势的英伟达依然是唯一一家提交了从数据中心到边缘所有 MLPerf 基准测试类别数据的公司。不同的是,此次基准测试中,英伟达第一次在 ARM 系统上进行数据中心测试,并取得不错的成绩。

  最新结果公布,Arm 服务器亮眼首秀

Arm 服务器推理性能接近 x86

由于能效性能的不断增长和强大的软件生态系统,Arm 架构正在向全球各地的数据中心进军,而在此次MLPerf 基准测试中,Arm 服务器也被纳入其中。

英伟达展示的基准测试结果表明,如果以 A30 GPU 为标准,基于 x86 服务器和 Arm 服务器的处理速度均有提升。离线(Offline)测试中,基于两种服务器的 A100 处理速度差别不大,相比于 A30 的处理速度均有接近 2 倍的提升;服务器(Server)测试中,A100 相比于 A30 有 1 至 3 倍的提升,在语音识别 RNN-T 模型中,基于 x86 的 A100 处理速度与基于 Arm 服务器差别较大。

  最新结果公布,Arm 服务器亮眼首秀

另外,本次基准测试中,A100 也同时基于 Ampere Altra CPU 的 Arm 服务器和英特尔的 x86 服务器上进行了测试。

  最新结果公布,Arm 服务器亮眼首秀

作为 GPU 加速的平台,在 AI 推理工作中,使用 Ampere Altra CPU 的 Arm 服务器的性能稍逊于具有类似配置的 x86 服务器,但在 3D-Unet 工作负载测试中,基于 Arm 服务器的 A100 性能得分超过了 x86 服务器。

一直以来支持所有 CPU 架构的英伟达表示,十分高兴能够看到 Arm 在同行评审中的行业基准测试中能够证明其 AI 性能。

Arm 高性能计算和工具高级总监 David Lecomber 表示: “最新推理结果表明,Arm CPU 和 NVIDIA GPU 驱动的 Arm 系统已能够应对数据中心中的各种 AI 工作负载。”

AI 推理性能四个月内提升 20%

此次基准测试中,英伟达一如既往地展示了其 AI 推理性能,英伟达凭借其架构设计配合软件再次取得突破。

与 MLPerf 0.7 版本相比,本次测试中英伟达 A100 GPU 各类工作负载得分均有提升。其中,医学图像 3D U-Net 模型涨幅高达 150%,语音识别 RNN-T 模型测试涨幅高达 130%。

  最新结果公布,Arm 服务器亮眼首秀

事实上,在今年 4 月份 MLPerf 1.0 版本中,A100 GPU 的推理能力就已经在推荐系统模型 DLRM,语音识别模型 RNN-T 和医疗影像 3D U-Net 模型方面有一定提升,提升幅度最高达 45%,而此次又取得新突破,相比四个月前提升了 20%。

根据英伟达的介绍,其完整的 AI 软件堆栈是提升其 GPU 性能的关键。

英伟达 TAO Toolkit 可以简化迁移学习过程,用户能够在熟悉的环境中优化模型;英伟达 Tensor RT 软件对 AI 模型进行了优化,使其能够最有效地运用内存并且实现更快的运行速度。Trition 推理服务器能够简化云端、本地数据中心或边缘的服务部署,支持不同应用中的欺诈检测、包裹分析、图像分割等各类任务。

此外,在多实例 GPU(MIG)技术的支持下,英伟达 A100 能够提升将近 7 倍的 GPU 资源,即在一块 GPU 上运行 7 种工作负载,而 A30 只能支持 4 种工作负载。

  最新结果公布,Arm 服务器亮眼首秀

英伟达的 AI 优势不仅仅体现在自家 GPU 的得分上,此次基准测试中,共计 7 家 OEM 厂商提交了 22 个 GPU 加速平台,这些服务器中大多数都是英伟达认证系统,很多型号都支持上个月正式发布的英伟达 AI Enterprise 软件。

英伟达的 AI 技术已经得到广大生态系统的支持,此次与 Arm 系统的合作,也从侧面反映了英伟达进军 Arm 的决心。

文中图片源自英伟达官方

IPU首度公开MLPerf成绩,性价比收益胜过英伟达

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-GAIR 2020

为什么平头哥和英伟达在MLPerf基准测试中都获得了第一?

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/5621200651decb63424c.html
全局中部横幅
全局中部横幅
域名Whois查询

站长之家-站长工具提供whois查询工具,汉化版的域名whois查询工具。

黄页网

拥有全国各地上千万家企业信息,找企业信息就到黄页网。目前网站服务免费,并支持动态发布,实时更新,现在加入免费得到首页推荐,每天十万次的显示机会让给你。

JAM
JAM

jam健身是您的私人健身教练,每日提供健身资讯,让您科学拟定健身计划,同时提供健身舞等健身视频,并提供健身器材的介绍。

室内模拟高尔夫

北京朝辉宏达体育发展有限公司拥有多名经验丰富的施工人员,可根据场地量身定制各种高尔夫人工果岭、高尔夫模拟器、高尔夫练习场、高尔夫球场、室内模拟高尔夫等,让您在家享受打高尔夫的乐趣

晨刚养生网

晨刚养生网倡导互联网+养生学习新模式的养生网站,晨刚养生网提供:食疗养生知识,日常养生之道知识大全,晨刚养生网为您提供养生学习知识平台,带您体验如沐春风的暖心感觉。

文案来啦

文案来啦(91wenan.com)提供文案资源的网站;主要提供广告文案,个性说说文案,读后感范文,心得体会范文,节日祝福文案等以及文案句子共大家参考借鉴,找文案,找句子,找范文就来文案来啦网

美术网

美术网是艺术商盟旗下名家百科网,是一个知名的美术类门户专业网站,为画家、艺术爱好者提供各种免费的百科信息查询,美术资讯,信息交流,美术空间等服务,广大艺术爱好者的展示平台!

儿童菜谱网

儿童菜谱网是一个聚焦以“儿童”为主题的正规健康菜谱网站,让孩子吃上营养健康饭是儿童菜谱网创立的使命,儿童菜谱网始终坚信,只有让孩子吃的健康才能长的健康。

安徽皖厦建设项目管理有限公司

安徽皖厦建设项目管理有限公司(原名“安庆市皖厦建设监理有限责任公司”)成立于2000年9月。公司总部位于安徽省安庆市,在全国多地设立分公司。目前拥有住建部房屋建筑工程监理甲级、市政公用工程监理甲级、人防监理乙级、机电安装工程监理乙级、电力工程监理资质乙级资质、水利部水利工程施工监理乙级资质;市政公用工程施工总承包、房屋建筑工程施工总承包、水利水电工程施工总承包、管道CCTV检测及排水管道清淤疏通与运营维护作业能力甲级资质。可以承担资质范围内的建设工程项目的工程监理、施工总承包业务,并可以开展相应类别建设工程的项目管理、招标代理、造价咨询、建设工程项目全过程咨询服务业务。

岩火科技

岩火科技(杭州)有限公司(简称:岩火科技)成立于2018年2月,是一家以信息化建设、大数据分析、云计算、增强现实技术为核心的科技公司。成立至今,我司积极参与智慧司法领域的建设,包括“浙江移动微法院”、“温州微仲裁”、“黄岩掌上非诉”等。

导电炭黑厂家,超导电炭黑厂家,导电炭黑价格

天津优盟化工科技有限公司专注导电炭黑的生产与研发,【咨询热线18698133141】公司主要产品有导电炭黑、超导电炭黑、乙炔炭黑、喷雾炭黑、橡胶炭黑、中粒子炭黑N990、冶金炭黑、绝缘炭黑等,欢迎广大客户来电咨询!

谙泰(上海)私募基金管理有限公司

汇聚专业投资领先实力,打造资产管理卓越平台,为机构及菁英人士提供资产管理和财富传承服务

全局底部横幅