DSA架构的AI推理芯片完胜GPU (dsa体系结构)
英伟达GPU在AI领域的成功引来了大量的挑战者。在国外，云端芯片初创公司几乎都采用DSA（Domain Specific Architecture，领域专用架构）挑战英伟达，比如已经被英特尔收购的Habana Labs。在国内，也有多家初创公司用GPGPU的架构研发AI云端芯片。
“用相同的架构竞争，专利就是一个问题。DSA是不同的道路，特别在云端AI推理方面，DSA可以完胜GPU。” 瀚博半导体创始人兼CEO钱军解释了创业前的技术路线思考。
雷锋网 此前的文章 介绍过，钱军有25年以上高端芯片设计经验，离职前在amd任Senior Director，全面负责GPU（图像处理器）和AI服务器芯片设计和生产，现在市场上的AMD Radeon图像处理器和AI服务器芯片都是由其带队开发。
瀚博半导体创始人兼CEO钱军
瀚博的另一个创始人，也是CTO和总架构师的张磊有23年以上芯片和IP架构设计的丰富经验，2013年晋升为AMD Fellow，负责AI、深度学习，视频编解码和视频处理领域。
外界不少人误以为有多款GPU成功经验的两位创始人会选择用GPU挑战英伟达，但瀚博在2021世界人工智能大会（WAIC 2021）开幕前夕发布的首款产品SV102云端推理芯片采用的是DSA架构，而这款AI芯片获取客户的秘诀是TCO（Total Cost of Ownership，总体拥有成本）。
GPU不是云端推理最好的架构
初创公司要与巨头竞争，差异化是必然的选择。对于芯片公司而言，市场规模和技术路线是关键的考量因素。就云端芯片而言，随着AI模型的成熟，市场对云端AI训练需求的增速会降低，云端AI推理的市场规模将会迅速增加。有数据显示，2021年云端推理芯片市场已经大于训练市场。
云端AI芯片市场的变化是挑战英伟达的一个好机会。根据MLPerf此前发布的基准测试，英伟达在训练测试中一直保持着较高的水平，但在推理测试中，GPU并不如其在训练中的表现那么亮眼。
本月初，英国初创公司Graphcore的IPU首度公开MLPerf基准测结果，结果显示在Inference v1.0基准测试下，IPU相比GPU有1倍多的性价比收益。
“GPU在推理侧不是最好的架构，我们更好的DSA架构，能够在云端推理市场完胜GPU。”钱军表示。
但即便如此，能够定义和推出客户愿意买单的AI推理芯片才能够挑战英伟达。钱军分享了他的一些思考。他表示，计算机视觉占了AI市场的大半壁江山，视频流又占近70%的数据流，未来视频相关的数据只会越来越多，因此基于视频的AI应用首先要有强大的解码能力。
钱军认为，AI芯片视频处理能力可以用三个指标去衡量，包括延迟、吞吐量和能效。
当然，芯片的性能也是核心指标，同时，对于各种数据类型和AI模型的支持也是吸引客户的关键。钱军介绍，“我们的产品对于支持主流AI模型很全面，芯片设计也有前瞻性，支持计算机视觉、自然语言处理、搜索推荐、智能视频处理领域的众多常用神经网络，软件栈支持灵活扩展，支持用户自定义算子。”
云端推理DSA架构芯片完胜GPU
英伟达的众多挑战者中，有底气说出完胜的公司并不多。 雷锋网了解到，瀚博的首款芯片研发周期大概是两年半，这也是业界高性能芯片普遍的研发周期。 2018年底瀚博半导体创立之后，瀚博的团队就开始自主IP的研发，到了今年6月份，首款芯片SV102测试成功。
“SV102开始测试后的8分钟就全部点亮，也就是通过PCIe就能看到所有功能模块，在30多个小时内，所有模块基础测试都提前完成。”钱军说，“这对于一个全新设计的高端芯片是一个奇迹。”
虽然钱军没有具体介绍瀚博的DSA架构，不过CTO张磊用一组数据展示了瀚博首款产品相比GPU的竞争优势。
瀚博SV102是面向云端高性能推理的AI芯片，强调AI推理、视频处理以及可扩展性三大能力。AI推理性能表现在高效、高能耗比和低延时三方面，具体而言，SV102在Int8精度下的峰值性能为200TOPS，在75功耗下，吞吐率是GPU的2-10倍，延时更是不到GPU的5%。
瀚博半导体创始人兼CTO张磊
张磊介绍，SV102采用的是单宽半高半长的设计，存储最高支持32GB，接口是16个PCIe Gen4，采用被动散热的方式。之所以单独给出Int8的性能数据是因为最新和主流云端推理GPU都只用了Int8做推理基准测试，SV102也支持FP16和BF16的数据类型。
从给出的数据可以看到，在ResNet50和BERT两个模型下，瀚博SV102对比英伟达最新的A10和主流的T4有2-10倍的性能优势。
视频处理则是瀚博AI芯片的一大特色。“ 国内外已经推出的云端AI推理芯片几乎都没有内置视频解码功能，如果客户需要做视频解码，就需要用单独的芯片进行解码。 SV102就支持64路以上H.264、H.265或AVS2 1080P解码，支持8K分辨率。”张磊表示。
由此带来的是TCO的优势，这里的TCO主要包含服务器+AI芯片+芯片功耗+运营成本。 张磊给出的测算是，基于SV102的性能、功耗以及尺寸的特性，相比T4的服务器可以节省60%以上的TCO，对比A10的服务器也可以节省50%的成本。在高密度视频处理场景，瀚博给出的数据也显示出其性能和价格的优势。
即便从产品性能层面瀚博有完胜GPU的信心，但客户的认可才是最终的成功。所以，首要问题就是客户的迁移成本。张磊告诉雷锋网：“从AI推理的角度看，迁移到我们的AI芯片上的成本比较小。对于那些有自己算法的客户，迁移的成本也是很小的一部分。 更重要的是要让客户看到TCO的巨大节省，这样对于客户来说才能具有足够的吸引力，应用落地也会非常快。 ”
钱军补充表示：“一定要理解客户的需求，然后针对需求投入精力。”
对于瀚博来说，就是尽快完善软件和生态的建设。瀚博的VastStream软件平台支持TensorFlow、 PyTorch、Caffe2等常见的深度学习框架模型与ONNX格式的模型，借助高度定制的AI编译器可以充分优化模型的执行效率。
钱军介绍，“我们在互联网侧的落地速度更快一些，现已与国内外多家头部互联网公司合作。同时，我们还在大力增加软件团队，未来软件人员的数量会是硬件团队规模的3-5倍。”
虽然钱军没有透露具体的合作客户，不过快手作为瀚博的A轮投资人，双方应该在业务上更容易达成合作。但无论如何，瀚博的首款芯片的大规模落地还有一段距离。
“瀚博今年的产能已经确定，明年大部分的产能也已经提前预知。”钱军透露。
今年四月份第一次和钱军深度对话的时候，对于其产品钱军仅仅透露了技术路线的选择。在首款产品流片和完成测试之后，瀚博对外透露了有限的产品信息，但核心的架构以及内置多路视频解码能力的特性并未公布更多消息，雷锋网认为这些才是瀚博最核心的竞争力。
当然，对于互联网客户以及行业客户而言，TCO以及易用程度才是更直接的考量因素。瀚博能否用TCO打动足够多的客户，仍需观察。但同样值得关注的是，在瀚博的产品规划里，有15瓦到150瓦的硬件产品，覆盖边缘和云端。
原创文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/c903fd85a9b5b942ec89.html
百度AI开放平台提供全球领先的语音、图像、NLP等多项人工智能技术，开放对话式人工智能系统、智能驾驶系统两大行业生态，共享AI领域最新的应用场景和解决方案，帮您提升竞争力，开创未来。
香当网是一个专业工作文档分享、共享交流的平台，不同于一般的范文站与论文网，全新的理念，真正的免费，全力服务于工作总结，工作计划，个人工作总结，年终工作总结，述职报告等各大主流原创范文的需求，分享你我的文档，享受彼此的轻松。
-购物-生活服务网址
北京爱康医投资疗控股集团有20年的发展历史，旗下医院品牌覆盖湖北、安徽、湖南地区，其中湖北黄石爱康医院为国家三级甲等综合性医院。
大庆市龙凤区华鑫石化产品经贸有限公司
芒果文学网免费为读者提供精选散文、诗歌大全、唯美句子、美文故事、热门小说等。
福州森优信息科技有限公司
高考网依托好未来教育强大的教学资源，已实现优秀教学资源共享为己任，建立的适用于高中生学习和交流的专业平台。免费提供2025高考成绩查询功能、新高考政策解读、学习资料下载等相关内容，与全国各地高中生共享高考信息与学习资料。
临安科达认证技术咨询服务有限公司致力于普及MSDS相关知识，为广大客户提供MSDS文件翻译，MSDS报告、MSDS证书办理、编制，同时提供MSDS查询以及检测认证行业的法律法规等信息。官方联系电话:0571-61101910
湖北矗峰律师事务所
网站首页描述
广西九魁环保科技有限公司致力于环保涂料的研究与全新升级产品“九魁”系列干粉涂料的招商与推广，九魁干粉涂料选材讲究，结合了几年的经验积累，工艺更加精湛，类别丰富，服务保障。经国家建筑材料测试中心检测，创造了零VOC、零甲醛、零苯系物、零重金属以及耐擦洗超过五万次等，创造了行业又一个新记录，真正实现了对环境零污染。公司主要有干粉内墙涂料、干粉外墙涂料、干粉艺术涂料（硅藻泥）、干粉地坪涂料、真石漆、质感漆、工业漆等。新产品、新科技、新生活为您带来前所未有的新净界
象棋这项休闲活动古往今来一直都是十分受到大家的喜欢的，但是在现实生活当中随时随地来一局并不是很方便，而这款开心象棋就可以实现这一快乐，这里就来分享一下开心象棋下载地址，让大家在游戏中进行象棋的棋艺交流，还能对各种残局进行破解，领会象棋的魅力，开心象棋，最新版预约，下载而该游戏的画面设置精美，走棋的时候十分的流畅，能够让大家在游戏里进...。
procreatepocket怎样恢复示例作品，procreatepocket初次打开的时候是会有示例作品的，用户可以在这里感受作品达成的效果，如果一不小心就删除了，那么应该怎么找回呢，还不清楚的小伙伴一起来看看吧！...。
赚大钱其实最后靠的还是势，通俗一点说是机会、运气，每个人都有赚到大钱的可能，只是你的选择有问题，你要说赚钱是一门玄学，我倒不这么认为，毕竟会赚钱的人会一直赚钱，赚不到钱的人会一直赚不到钱，到底是什么拉开了人和人在赚钱方面的差距呢?其实是对商业的敏感，习惯了上班的人，是缺少对商业的敏感的，可能他们也知道有打工以外的其他挣钱方式，但他们会...。
在卢松松博客十周年之际！闲鱼平台可谓多事之秋，继闲鱼平台最近爆出贩卖妇科检查视频的丑闻后，网友又在闲鱼平台上发现了另一个惊人的售卖产品——国外泄露的信用卡以及制造假卡的工具，据了解，在闲鱼平台上搜索，CVV，，即可看到许多贩卖各国信用卡信息的商家，价格从50，200元不等，许多商家除了贩卖信用卡信息以外，还另外出售盗刷，制作假卡的教程...。
继6月，天选之子，、10月，中国锦鲤，之后，双11支付宝和天猫又要搞个大的，就在明天，天猫双11组委会官方微博宣布，你们最期待的活动，来了，全世界的‘天选之子，‘中国锦鲤，们，11月1日11时11分，我们天猫官方微博见，今年618，南京一位97年小姐姐@不二的碎碎念，幸运地成为，天选之子，，在618当天收到了来自618个大牌的礼包...。
李建丨我要把一辈子的经验留下来，笑声爽朗、精神矍铄、兴趣广泛……看着眼前这位老大哥，你很难将，退休，二字与他联系在一起，李建，今年59岁，是海淀公安分局中关村西区派出所退休民警，18岁从警，李建在基层岗位上干了37年，其中从事接处警工作就有20年，李建说，虽然岗位平凡，但我干出了职业尊严！，李建丨我要把一辈子的经验留下来...。
现在人们生活水平不段提高，又是二胎政策，所以很多父母都想给孩子买好的，就拿儿童推车来说，不少父母就考虑给孩子买进口的推车，这样孩子坐起来即舒服又安全，那么，推车品牌很多，宝妈不知道儿童推车品牌哪个好，所以下面就来了解一下，好孩子每个孩子出生都需要用到小推车，因此小推车是宝妈必买的东西，所以市场需求量比较大，好孩子品牌自创立以来有29的...。
现如今众多的快餐行业非常受当今消费者的喜爱与认可，因为随着人们生活节奏的不断加快，越来越多的人已经无法进行正常的就餐活动，因此也就促进了快餐行业的发展，吉祥馄饨面是成立于1999年，总部位于上海的一个非常知名的快餐品牌，该品牌自推出以来，就非常注重于所有种类混沌产品的研发以及推广工作，因此在市场上也取得了非常巨大的成就，拥有着极高的知...。
春节假期结束，三大运营商相继公布2018年1月份运营数据，披露最新的用户数和增减情况，特别是4G用户数最为业界关心，从披露的数据情况来看，截止到2018年1月中国移动的4G用户数已达到6.5亿，虽然仍以64%的份额占据着市场绝对领先地位，但相比一年前已经有了6%的降幅，而中国电信与中国联通过一年时间的紧追慢赶正在逐步收复失地，其4G用...。
活受罪，，生活中就有这样一种顽疾要不了命但让人过着难熬的日子，它就是被人称为不死癌症的风湿，提到风湿，很多人都是心有戚戚焉，肩膀酸，肌肉疼痛，后背不对劲……骨病之痛，苦不堪言，多少人深受其痛，家住信阳的程女士就是其中的一员，她有一家开了多年的早餐店，工作辛苦而又忙碌，多年的操劳累弯腰，颈椎压迫神经，肌肉僵硬引起右大手指活动受限麻肿现...。
[全球时报驻英国特约记者纪双城]刚赢得大选成为新任英国首相的斯塔默，国际政治，首秀，便是参与在华盛顿举行的纪念北约成立75周年的特意峰会，他在北约参与军费开销、合力打击，独特死敌，以及增强与传统盟国协作等方面的舆论，取得了西方盟国的认可，不过，英国经济重振压力重重，英国国外在报道这位新首相在美，风景有限，的同时，也质疑他指导的工党政府...。
外地期间7月9日，也门胡塞武装发言人叶海亚·萨雷亚宣布申明，称该武装今日袭击了阿拉伯海上的船只，MaerskSentosa，号和，Marthopolis，号，以及亚丁湾上的船只，MSCPatnaree，号，总台记者朱云翔，也门和胡塞武装的关系也门，位于阿拉伯半岛南端的国家，与沙特阿拉伯和阿曼为邻，濒临红海、亚丁湾和阿拉伯海，地...。
如何将鹰王PE启动安装到本地硬盘Windows启动管理器？
雷锋网按，随着百度Robotaxi在北京的全面开放，一如6月份，滴滴自动驾驶车辆出现在上海街头，，自动驾驶，再次成为破圈话题，不可否认的是，随着自动驾驶企业在各个城市的落地，一场原本在企业之间的角逐之战，已然扩散到以城市为中心，今年2月，国家11个部委联合出台了，智能汽车创新发展战略，，将智能网联汽车的发展视为汽车行业的头等大事，这一...。
7月17日，国行版的三星GalaxyZFold6大折叠、GalaxyZFlip6小折叠、GalaxyBuds3半入耳耳机、GalaxyBuds3Pro入耳式降噪耳机、GalaxyWatchUltra智能手表、GalaxyRing智能戒指等多款新品的正式发布，两台手机的价格比先行者计划低1000元，智能硬件则是低100元，三星Galax...。
腾势D9的市场占有率能做到30%的水平，Z9GT的目标销量也是要在45000台里做到30%，比亚迪腾势销售事业部总经理赵长江近日在腾势Z9GT的品鉴会上表示，Z9GT是腾势即将上市的D级猎装轿跑，在设计上对标保时捷帕拉梅拉，在豪华感上则对标迈巴赫，不过，腾势Z9GT的售价将聚焦在，56E，长期霸榜的40万，60万元的价格区间，，5...。
外地期间11月9日，英国国王查尔斯三世率领包含安妮公主、威廉王子在内的王室初级成员，出如今了白厅加入，阵亡将士纪念日，的优惠，往年更是产生了九任英国首相站在一同的稀有画面，九任首相包含了约翰·梅杰、托尼·布莱尔、戈登·布朗、大卫·卡梅伦、特蕾莎·梅、鲍里斯·约翰逊、利兹·特拉斯、里希·苏纳克以及现任首相基尔·斯塔默，这其中布莱尔执政期...。
