解决AI手机和AI PC落地端侧大模型的三大难题 (手机ai技术)
在感受了ChatGPT和文生视频模型Sora接连带来震撼之后，所有人都会好奇，生成式AI与普通人的生活有什么关系？
手机厂商已经展示了生成式AI带来的全新体验，比如小米14系列的图像扩充，OPPO Find X7 Ultra的一键AI路人消除，荣耀Magic6的智慧成片和智慧创建日程。
如果说云端的生成式AI展示了AI的强大，那端侧AI的普及就是激发生成式AI创新的动力。
想要在端侧普及生成式AI，需要先 解决算力、内存和生态三大难题。
异构计算和npu解决算力瓶颈
生成式AI模型参数量大，算力是一个核心限制因素。
但大算力往往意味着高能耗，对于使用电池供电的AI手机和AI PC，想要兼顾高性能和低功耗，异构架构的价值十分明显。
异构架构，就是一个处理器当中包含多种不同类型的处理单元。
手机SoC就是典型的异构架构， 包含擅长顺序控制，适用于需要低时延的应用场景的CPU；擅长高精度格式图像和视频并行处理的GPU；还有擅长标量、向量和张量数学运算，可用于核心AI工作负载的NPU。
异构计算的优势在于，可以根据应用的类型调用合适的处理器以达到最佳的能耗比，比如用GPU来完成重负荷游戏，用CPU执行多网页浏览，用NPU提升AI体验。
对于生成式AI，异构计算的优势更加明显，因为生成式AI有多种用例， 比如只需要短暂运行的 按需型用例 ；需要长时间运行的 持续型用例 ，如AI视频处理；以及始终开启的 泛在型用例 ，如PC需要持续监测用户的设备使用情况，不同的用例对处理器的需求不同。
以在高通骁龙平台上实现虚拟AI助手与用户语音互动交流来解释异构计算的重要性。
高通自2015年推出第一代AI引擎，就采用的异构计算的架构， 包含Kryo CPU、Adreno GPU、Hexagon DSP，这是高通保持在端侧AI领域领先的关键。
异构计算对于生成式AI的普及非常重要，其中的NPU又是关键。
比如在持续型用例中，需要以低功耗实现持续稳定的高峰值性能，NPU可以发挥其最大优势。在基于LLM和大视觉模型（LVM）的不同用例，例如Stable Diffusion或其他扩散模型中，NPU的每瓦特性能表现十分出色。
“ 高通NPU的差异化优势在于系统级解决方案、定制设计和快速创新。 通过定制设计NPU并控制指令集架构(ISA)，高通能够快速进行设计演进和扩展，以解决瓶颈问题并优化性能。”高通技术公司产品管理高级副总裁 Ziad Asghar表示。
了解到，高通对NPU的研究也是跟随需求的变化而演进，以Hexagon DSP为基础，进化为Hexagon NPU。
“ 从DSP架构入手打造NPU是正确的选择，可以改善可编程性， 并能够紧密控制用于AI处理的标量、向量和张量运算。高通优化标量、向量和张量加速的的设计方案结合本地共享大内存、专用供电系统和其他硬件加速，让我们的方案独树一帜。”Ziad Asgha说。
Hexagon NPU从2015年时面向音频和语音处理的的简单CNN，到2016-2022年之间面向AI影像和视频处理，以实现增强的影像能力的Transformer、LSTM、RNN、CNN。
2023年，高通在Hexagon NPU中增加了Transformer支持。 能够在终端侧运行高达100亿参数的模型，无论是首个token的生成速度还是每秒生成token的速率都处在业界领先水平。
测试数据显示，第三代骁龙8和三款Android以及ios平台竞品的对比，在MLCommon MLPerf推理的不同子项中，例如图像分类、语言理解以及超级分辨率等，第三代高通骁龙8都保持领先。
同样集成了高通AI引擎的骁龙X Elite，在面向Windows的UL Procyon AI推理基准测试中，ResNet-50、DeeplabV3等测试中，基准测试总分分别为X86架构竞品A的3.4倍和竞品B的8.6倍。
限制生成式AI普及的不仅有计算能力的限制， 内存限制也是大语言模型token生成的瓶颈，这要解决的是CPU、GPU、NPU的内存效率问题。
例如，一个NxN矩阵和另一个NxN矩阵相乘，需要读取2N2个值并进行2N3次运算(单个乘法和加法)。在张量加速器中，每次内存访问的计算操作比率为N:1，而对于标量和向量加速器，这一比率要小得多。
解决内存瓶颈的挑战，高通有微切片和量化等关键技术。
2022年发布的第二代骁龙8，微切片推理利用HexagoNNPU的标量加速能力,将神经网络分割成多个能够独立执行的微切片，消除了高达10余层的内存占用，市面上的其他AI引擎则必须要逐层进行推理。
量化技术也是解决内存挑战的关键。高通Hexagon NPU原生支持4位整数(INT4)运算，能够提升能效和内存带宽效率，同时将INT4层和神经网络的张量加速吞吐量量提高一倍。
在最新的第三代骁龙8中，Hexagon NPU微架构升级，微切片推理进一步升级，支持更高效的生成式Al处理，并降低内存带宽占用。
此外，Hexagon张量加速器增加了独立的电源传输轨道，让需要不同标量、向量和张量处理规模的AI模型能够实现最高性能和效率。共享内存的带宽也增加了一倍。
还有一个非常关键的升级， 第三代骁龙8支持业界最快的内存配置之一： 4.8GHzLPDDR5x，支持77GB/s带宽，能够满足生成式AI用例日益增长的内存需求。
更高性能的内存结合升级的微切片和量化技术，能最大程度消除端侧AI普及内存的瓶颈。当然，生成式AI模型也在变化。
“高通AI引擎中集成了模型压缩等更多技术，以确保模型能够在DRAM上顺利运行。”Ziad Asghar说，“在模型端，我们看到MoE（Mixture of Experts）模型兴起的趋势，这一类型的模型能够将特定部分放在内存中运行，其他的放在内存外，对模型进行优化。”
计算和内存限制的问题之后，是更具挑战性的生态问题。
AI潜力的爆发需要生态的繁荣，生态的繁荣需要足够多的开发者，最终这就变成了一个AI开发门槛的问题。
对于硬件平台的提供者来说，可以最大化降低开发者的使用门槛，能够让开发者用高级语言开发的程序简单高效地运行在AI引擎上。
高通做了非常多的工作，高通AI软件栈（Qualcomm AI Stack），支持目前所有的主流AI框架，包括TensorFlow、PyTorch、ONNX、Keras；它还支持所有主流的AI runtime，包括DirectML、TFLite、ONNX Runtime、ExecuTorch，以及支持不同的编译器、数学库等AI工具。
“我们还推出了Qualcomm AI studio，为开发者提供开发过程中需要用到的相关工具，其中包括支持模型量化和压缩的高通AI模型增效工具包（AIMET），能够让模型运行更加高效。”Ziad Asgha进一步表示，“ 基于高通AI软件栈和核心硬件IP，我们能够跨高通所有不同产品线，将应用规模化扩展到不同类型的终端， 从智能手机到PC、物联网终端、汽车等。”
AI生态的繁荣，还需要多方的共同努力，高通支持Transformer的Hexagon NPU，以及异构的高通AI引擎，已经提供了很好的基础。
还需要看到的是，终端侧AI处理有成本、能效、可靠性、性能时延、个性化方面的诸多优势。了解更多终端侧生成式AI的资料可以查阅《通过NPU和异构计算开启终端生成式AI》白皮书。
原创文章，未经授权禁止转载。详情见 转载须知 。
微词云是一款实用性强、简单的在线文字云、在线词云图生成器，相对于其他产品，我们的产品功能更加强大，不仅支持在线分词，还支持词频统计、词频分析。无论您是设计、运营、学生老师、数据分析师，都可以简单的做出令人眼前一亮的文字云设计。
华声论坛,
捷径库是苹果快捷指令规则的分享网站。快捷指令是Apple官方出品的iPhone内置效率应用，通过快捷指令可以快捷高效的完成多项任务。捷径库精选了一系列富有创意且实用的快捷指令，探索捷径库可获取快捷指令的最新功能和构建方式。在捷径库中轻点「获取捷径」即可将快捷指令添加到iOS设备中使用。
桂润环境科技股份有限公司（简称桂润环境）是一家从事环境保护的专业公司，致力于废水、废气噪声、固体废弃物、土壤及生态修复等市政和环保项目的投资、环保工程的设计、施工、安装调试、运营维护等专业服务。
中国财经观察网秉承中国财经观察报理念,提供7X24小时财经资讯及全球金融市场报价,覆盖股票、债券、期货、基金等专业财经服务及独家的中国财经观察新闻报道。
江苏北亚装饰工程有限公司常州装修公司常州北亚装饰,常州别墅设计,常州别墅装修,常州装修公司哪家好，服务热线：0519-86302890
全国服务电话：400-155-8796，百腾科技（苏州）有限公司是一家新加坡独资企业。为广大客户提供纳米真空镀膜解决方案。派瑞林镀膜技术广泛用于航空航天、电路板、磁性材料、传感器、硅橡胶、密封件、医疗器械、珍贵文物等领域；欢迎广大客户选购本公司真空涂敷设备及派瑞林原料或来料涂层加工。公司宗旨:质量一流,服务满意!
人人汇信息科技有限公司（简称“人人汇”）成立于2017年，坐落于美丽的鹭岛厦门，是一家以智能科技技术为核心，为金融创新产品、软件工具、运营管理等提供全方位服务的公司。
3G壁纸（www.3Gbizhi.com)免费提供各类高清好看的手机壁纸图片下载.同时增加了桌面壁纸图片,图片大全，明星图片大全,性感美女图片大全等好看的图片栏目分享与下载-三桌图片网，收录分享生活的美。
欢迎来到以用户体验为优先的雨云，我们提供稳定高速的国际虚拟主机，云服务器产品，强大的功能，高效率的客户支持，简洁易用的面板，值得您的信赖
乐优易练字是全国十佳练字品牌，集教材研发、出版，教学模式创新、整校输出，招生、宣传、教师培训、校区运营管理于一体的练字课程加盟体系，专注汉字规范书写，以独创练字法为教学核心，提供书写培训整体解决方案。
广西九魁环保科技有限公司致力于环保涂料的研究与全新升级产品“九魁”系列干粉涂料的招商与推广，九魁干粉涂料选材讲究，结合了几年的经验积累，工艺更加精湛，类别丰富，服务保障。经国家建筑材料测试中心检测，创造了零VOC、零甲醛、零苯系物、零重金属以及耐擦洗超过五万次等，创造了行业又一个新记录，真正实现了对环境零污染。公司主要有干粉内墙涂料、干粉外墙涂料、干粉艺术涂料（硅藻泥）、干粉地坪涂料、真石漆、质感漆、工业漆等。新产品、新科技、新生活为您带来前所未有的新净界
加盟政策好的产品立足骨病，覆盖慢性病亚健康，四位一体全息调理，全面提升人体自愈力，产品质量安全可靠，政策到位考核六个维度——以能力为中心、以行动为中心、以日报月报为中心、以客户体验为中心、以人为中心、以事为中心加盟支持30天开业直通车——选址建议→装修设计→招聘人才→5天培训→过关考核→试营业→正式开业太常商学院全年免费学习培训——太...。
北京时间11月7日，2024年度，世界智慧城市大奖，于西班牙巴塞罗那揭晓，中国深圳市凭借卓越的智慧城市建设成果，作为中国唯一代表城市摘得，城市大奖，这一重量级奖项，为全球智慧城市发展树立了新的标杆，世界智慧城市大奖，自2011年启动，被誉为世界智慧城市领域的，奥斯卡，其中，城市大奖，为大会最高荣誉，由全球智慧城市大会、联合国人居署...。
席卷全球的缺芯大潮，让芯片、缺芯几乎举国皆知，在轰轰烈烈的国产替代浪潮中，除了备受关注的后端处理器芯片，作为数据的直接来源，前端传感器芯片也将成为未来的重头戏，传感器芯片领域，长久以来都是国外半导体巨头的盛宴，中国严重依赖进口，中高端产品的进口占比达80%，这让传感器芯片的国产替代这条路，虽然步履稍显蹒跚，但也更加笃定，籍由此，AI掘...。
我觉得男子的行为很勇敢，也很有责任感，初中时期当时应该还未成年，放到如今，这个年龄的孩子还在沉迷于打游戏，根本就不知道责任是什么，男子看到母亲生病，宁愿自毁前程，也要让母亲脱离苦海，这种精神只有少部分人才会拥有，这名小伙的具体经历，这名小伙名叫郭子孝，出生在陕西一个小山沟里面，父母都是农民出身，从小郭子孝对读书都很珍惜，然而天不如人愿...。
近年来随着我国经济快速腾飞，各行各业呈现出蓬勃的发展势头，许多人选择下海经商，以期凭借辛勤的努力早日实现人生愿景，一些人士经过数年时间的打拼，在事业上取得了傲人的成就，前景一片坦途，从开店角度来看什么行业比较有前景，下文将作出具体说明，给有需要的朋友提供必要的支持，餐饮与大众生活存在紧密联系，其存在庞大的市场需求量，行业也一直保持着平...。
中华人民共和国国务院令第795号，国务院对于修正〈全国年节及纪念日放假方法〉的选择，曾经2024年11月8日国务院第45次常务会议经过，现予发布，自2025年1月1日起实施，总理李强2024年11月10日国务院对于修正，全国年节及纪念日放假方法，的选择国务院选择对，全国年节及纪念日放假方法，作如下修正，一、将第二条第二项修正为，二，...。
申明，1.以上内容仅代表揭发者自己，不代表黑猫揭发立场，2.未经授权，本平台案例制止任何转载，违者将被清查法律责任，3.黑猫揭发处置揭发不收取任何费用，凡以黑猫揭发名义不要钱的均为混充、诈骗行为，请及时报警并与黑猫官网反应，揭发邮箱heimaotousu@vip.sina.com，4.请大家选用官网渠道处置生产纠纷，不要轻信第三方机构...。
4.98万，6.87万指点价，5.39万，6.89万二手车，2.51万起排量，1.3L1.5L变速箱，手动QQ飞车手游新宠物丘比特多少钱QQ飞车手游新宠物丘比特多少点券能出，由于玩家们刚刚抽完针尖，元气大伤，手上的点券也所剩无几，所以假设QQ飞车手游的官网够兽性话就不会太贵，小编估量1万，2万点券之间就可以拿到这个宠物，QQ飞车手游新...。
甲方，卖方，乙方，买方，甲方欲将所属，卡特320d型，开掘机转让于乙方，，开掘机型号，卡特320d型，发起机品牌，CAT0215，发起机型号，3067，5E2T，排气量TR，为此经甲、乙双方协商，达成以下协议内容，第一条，开掘机品质鉴定该车于，年，月购进，原价值为贰佰陆拾捌万元，凭购入发票现场核查为买卖挖的掘机，因双方买卖车...。
可以在网络官方或各大运行商店下载网络影音播放器，具体解释，下载网络影音播放器的环节相对繁难，首先，你可以关上你的阅读器，输入，网络影音播放器，，而后在搜查结果中找到网络官方或各大运行商店的下载链接，确保你下载的是正式版本，以防止或许的安保危险，网络影音播放器是一款盛行的视频播放软件，允许多种视频格局，具备良好的用户体验和丰盛的配置，它...。
CCleaner浏览器是基于Chromium的Web浏览器，专注于安全性和隐私性。它具有一个特殊部分，用于管理您的在线隐私，身份和个人数据。
源码简介老牌而且功能相当强大，早在2009年的时候reishi就和一群SE爱好者在用这个程序。最早的时候语言和程序是分离的，由单独的语言文件控制，后来就讲语言写入到数据库中了。当时SE和PHPFOX是非常流行的两款P...
腾讯总部，中国，深圳，苏宁易购总部，中国，南京，支付宝，蚂蚁金服，总部，中国，杭州，甲骨文总部，美国加州，雷德伍德，谷歌总部，美国加州，山景，IBM，国际商用机器公司，总部，美国纽约州，阿蒙克，微软总部，美国华盛顿州，雷德蒙德，三星美国总部，美国加州，圣何塞，亚马逊总部，美国华盛顿州，西雅图，苹果总部，美国加州，库比蒂诺，看完小编只有...。
语音播放文章内容由深声科技提供技术支持您的浏览器不支持audio元素，雷锋网AI科技评论按，2019年12月8日，14日，机器学习领域国际顶级会议NeurIPS2019于加拿大温哥华拉开帷幕，此次大会共吸引了全球1万余名专家学者共赴盛会，本年度，自然语言处理领域在深度学习浪潮下取得了显著成就，成为大会重要议题之一，百度举办了自然语言处...。
2022年底以来，以ChatGPT为代表的大模型集中爆发，实现了从无到有，从0到1的跨越，而经过近一年的发展，算力资源吃紧，成本居高不下，数据隐私泄露等问题导致行业开始迷茫，大模型接下来从1到10甚至到100的规模化部署似乎还很遥远，各家普遍认识到，AI要想走进千家万户，就不能仅仅是一个停留在网页里面的助手，而应拥有改变现实世界的四肢...。
5月31日，招商证券新一期研究报告显示，阿里巴巴正加速推进全球化战略，其中，国际站业务持续完善平台优质供给能力，通过数字化供给实现多元商机场景匹配，在为优质厂商提供机会的同时提升了买家选品效率，长期发展前景广阔，建议投资者积极关注，研报分析认为，中国商家和品牌的全球化布局呈加速态势，阿里巴巴在全球多地进行多业态、多平台、多品牌布局，不...。
发表在行业动态2022，9，2715，459月26日，当贝投影官宣成为CCTV体育赛事频道投影仪独家合作伙伴，在黄金频道高频次、多时段全方位露出，为2022世界杯加油助威！据悉，CCTV5，作为中央电视台的第二个体育频道，其影响力不言而喻，当贝作为智慧大屏生态领域的领先者，此次与央视体育黄金频道合作，一方面基于当贝自身与体育赛道的高契...。
