Arm MLPerf 最新结果公布 服务器亮眼首秀

文章编号:44377 最新资讯 2024-12-09 英伟达 MLPerf

雷锋网消息,本周三,MLCommons 公布最新 MLPerf Inference V 1.1 基准测试(Benchmark)结果。与 V 1.0 版本相比并无太大区别,只不过在边缘推理的测试场景中,串流传输被弃用,不再作为基准测试的一部分。

新一轮基准测试中,在 AI 领域占优势的英伟达依然是唯一一家提交了从数据中心到边缘所有 MLPerf 基准测试类别数据的公司。不同的是,此次基准测试中,英伟达第一次在 Arm 系统上进行数据中心测试,并取得不错的成绩。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

Arm 服务器推理性能接近 x86

由于能效性能的不断增长和强大的软件生态系统,Arm 架构正在向全球各地的数据中心进军,而在此次MLPerf 基准测试中,Arm 服务器也被纳入其中。

英伟达展示的基准测试结果表明,如果以 A30 GPU 为标准,基于 x86 服务器和 Arm 服务器的处理速度均有提升。离线(Offline)测试中,基于两种服务器的 A100 处理速度差别不大,相比于 A30 的处理速度均有接近 2 倍的提升;服务器(Server)测试中,A100 相比于 A30 有 1 至 3 倍的提升,在语音识别 RNN-T 模型中,基于 x86 的 A100 处理速度与基于 Arm 服务器差别较大。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

另外,本次基准测试中,A100 也同时基于 Ampere Altra cpu 的 Arm 服务器和英特尔的 x86 服务器上进行了测试。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

作为 GPU 加速的平台,在 AI 推理工作中,使用 Ampere Altra CPU 的 Arm 服务器的性能稍逊于具有类似配置的 x86 服务器,但在 3D-Unet 工作负载测试中,基于 Arm 服务器的 A100 性能得分超过了 x86 服务器。

一直以来支持所有 CPU 架构的英伟达表示,十分高兴能够看到 Arm 在同行评审中的行业基准测试中能够证明其 AI 性能。

Arm 高性能计算和工具高级总监 David Lecomber 表示: “最新推理结果表明,Arm CPU 和 NVIDIA GPU 驱动的 Arm 系统已能够应对数据中心中的各种 AI 工作负载。”

AI 推理性能四个月内提升 20%

此次基准测试中,英伟达一如既往地展示了其 AI 推理性能,英伟达凭借其架构设计配合软件再次取得突破。

与 MLPerf 0.7 版本相比,本次测试中英伟达 A100 GPU 各类工作负载得分均有提升。其中,医学图像 3D U-Net 模型涨幅高达 150%,语音识别 RNN-T 模型测试涨幅高达 130%。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

事实上,在今年 4 月份 MLPerf 1.0 版本中,A100 GPU 的推理能力就已经在推荐系统模型 DLRM,语音识别模型 RNN-T 和医疗影像 3D U-Net 模型方面有一定提升,提升幅度最高达 45%,而此次又取得新突破,相比四个月前提升了 20%。

根据英伟达的介绍,其完整的 AI 软件堆栈是提升其 GPU 性能的关键。

英伟达 TAO Toolkit 可以简化迁移学习过程,用户能够在熟悉的环境中优化模型;英伟达 Tensor RT 软件对 AI 模型进行了优化,使其能够最有效地运用内存并且实现更快的运行速度。Trition 推理服务器能够简化云端、本地数据中心或边缘的服务部署,支持不同应用中的欺诈检测、包裹分析、图像分割等各类任务。

此外,在多实例 GPU(MIG)技术的支持下,英伟达 A100 能够提升将近 7 倍的 GPU 资源,即在一块 GPU 上运行 7 种工作负载,而 A30 只能支持 4 种工作负载。

 MLPerf 最新结果公布,Arm 服务器亮眼首秀

英伟达的 AI 优势不仅仅体现在自家 GPU 的得分上,此次基准测试中,共计 7 家 OEM 厂商提交了 22 个 GPU 加速平台,这些服务器中大多数都是英伟达认证系统,很多型号都支持上个月正式发布的英伟达 AI Enterprise 软件。

英伟达的 AI 技术已经得到广大生态系统的支持,此次与 Arm 系统的合作,也从侧面反映了英伟达进军 Arm 的决心。

文中图片源自英伟达官方

IPU首度公开MLPerf成绩,性价比收益胜过英伟达

AI基准测试MLPerf模型少、更新慢,地平线提出的MAPS会更好吗? | CCF-gair 2020

为什么平头哥和英伟达在MLPerf基准测试中都获得了第一?

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/5621200651decb63424c.html
全局中部横幅
全局中部横幅
颖涵的快厨房的所有菜谱视频_豆果美食

这里有所有篇,颖涵的快厨房的菜谱和视频,以及所有的故事

2023最新电影电视剧手机在线观看高清免费-星座电影网

星座电影网是当代年轻人最喜爱的电影网站,提供数万部电影电视剧动漫的手机高清免费在线观看,星座电影网无需安装任何播放器,星座电影网电影无需注册打开即可观看.

精品文档站-全网精品文档集合网站!

精品文档网站为您精心准备了各类优质的实习报告、述职报告、工作总结、心得体会、工作计划等内容,每日更新,欢迎大家收藏本站!

精密冲压零部件-大型航空无人机零件-电池零部件-江阴共盟成型技术有限公司

江阴共盟成型技术有限公司主要从事精密冲压零部件,大型航空无人机零件和电池零部件等服务.我们拥有先进的生产设备和技术团队,致力于为客户提供高质量的产品和质优的服务.无论是精密冲压零部件还是大型航空无人机零件,我们都能满足客户的需求.欢迎联系我们:15335259997

济宁金汉斯环保材料股份有限公司_消泡剂系列,剥离剂系列,助留助滤剂,脱墨剂,漂白控制剂

济宁金汉斯环保材料股份有限公司地处济宁市嘉祥县经济开发区,公司主要产品包括:封闭循环助留助滤剂,零排放助留剂可以解决常用助留剂保留率低、白水浓度高等疑难问题,联系电话:13181300024

蜘蛛宽带 - 湖北蜘蛛网信息技术有限公司

咨询热线:4000728112,湖北蜘蛛网信息技术有限公司,潜江,仙桃,洪湖,监利,众合惠,极速联,潜江宽带,潜江光钎

灌装机|全自动灌装机|设备视频|灌装机生产厂家-广州冠浩灌装机械

【广东知名灌装生产线厂家】广州冠浩灌装机械设备凭借24年的研发制造经验,致力打造高稳定性全自动半自动灌装机,专业生产小型定量,食品,颗粒,膏体灌装机设备,有着各行各业的灌装流水线制造经验

阜阳市颍泉水利建筑有限公司-颍泉水建公司

阜阳市颍泉水利建筑有限公司(原阜阳市颍泉区水利工程队)成立于1958年,是具有水利水电工程施工总承包贰级、市政公用工程施工总承包贰级和房屋建筑工程施工总承包叁级资质企业,注册资金2020万元,主营:水利水电工程施工总承包(贰级),兼营:市政公用工程总承包(贰级)和房屋建筑工程施工总承包(叁级)。主要从事不同类型的大坝、电站厂房、引水和泄水建筑物、通航建筑物、基础工程、导截流工程、砂石料生产、水轮发电机组、输变电工程的建筑安装;金属结构制作安装;压力钢管、闸门制作安装;堤防加高加固、泵站、涵洞、隧道、施工公路、桥梁、河道疏浚、灌溉、排水工程施工以及城市道路工程;各类给排水工程、各类城市生活垃圾处理工程;14层及以下、单跨度24米及以下的房屋建筑工程;高度70米以下的构筑物;建筑面积6万平方米及以下的住宅小区或建筑群体。

中铁花水湾温泉酒店 - 官方网站

中铁花水湾温泉酒店位于成都市大邑县花水湾度假小镇中心位置,海拔880米,与道教圣地鹤鸣山、西岭雪山相邻,森林覆盖率达85%,负氧离子含量极高。

江西靖泰泵阀制造有限公司

江西靖泰泵阀制造有限公司坐落在美丽的江西省九江市湖口县工业园区。是高新技术企业,从事泵、管道、压力容器、阀门设计与制造的综合性企业。公司创立于2012年11月20日,注册资金2000.00万。法人代表:李彬。

全局底部横幅