Diffusion终端侧展示 全球首个运行在Android手机上的Stable (diffuse)
作者：高通技术公司工程技术副总裁侯纪磊，高通技术公司产品管理高级副总裁Ziad Asghar
上图为Stable Diffusion利用文本提示：“穿盔甲超级可爱的毛绒绒猫战士、逼真、4K、超细节、V-Ray渲染、虚幻引擎” 生成的图像
基础模型正在席卷AI行业。基础模型指基于海量数据进行大规模训练的大型神经网络，进而能以高性能表现适应广泛的后续任务。流行的基础模型Stable Diffusion是一个非常出色的从文本到图像的生成式AI模型，能够基于任何文本输入，在数十秒内创作出逼真图像。Stable Diffusion的参数超过10亿，迄今为止主要限于在云端运行。接下来我将介绍高通AI ReseArch如何利用高通AI软件栈（Qualcomm AI Stack）执行全栈AI优化，首次在Android智能手机上部署Stable Diffusion。
通过全栈AI优化，完全在终端侧高效运行Stable Diffusion
高通AI软件栈支持的全栈AI优化
在“AI首创”博客文章中，我们提到过高通AI Research不仅在开展全新AI研究工作，也率先在商用终端上展示概念验证，为在现实世界中的技术规模化应用铺平道路。我们的全栈AI研究指跨应用、神经网络模型、算法、软件和硬件进行优化，并在公司内进行跨部门合作。针对Stable Diffusion，我们从Hugging Face的FP32 1-5版本开源模型入手，通过量化、编译和硬件加速进行优化，使其能在搭载第二代骁龙8移动平台的手机上运行。
为了把模型从FP32压缩为INT8，我们使用了高通AI模型增效工具包(AIMET)的训练后量化。这是基于高通AI Research创造的技术所开发的工具，目前已经集成入新发布的Qualcomm AI Studio中。通过让模型在我们的专用AI硬件上高效运行，并降低内存带宽消耗，量化不仅能够提高性能，还可以降低功耗。自适应舍入(AdaRound)等先进的高通AIMET量化技术能够在更低精度水平保持模型准确性，无需进行重新训练。这些技术能够应用于构成Stable Diffusion的所有组件模型，即基于Transformer的文本编码器、VAE解码器和UNet。这对于让模型适合于在终端上运行至关重要。
高通AI软件栈将最优秀的AI软件产品集合到一个软件包中，帮助OEM厂商和开发者在我们的产品上创建、优化和部署他们的AI应用，充分利用高通AI引擎的性能。
对于编译，我们利用高通AI引擎Direct框架将神经网络映射到能够在目标硬件上高效运行的程序中。高通AI引擎Direct框架基于高通Hexagon处理器的硬件架构和内存层级进行序列运算，从而提升性能并最小化内存溢出。部分上述增强特性是AI优化研究人员与编译器工程团队共同合作的成果，以此来提升AI推理时的内存管理。高通AI引擎中所做的整体优化能够显著降低runtime的时延和功耗，而这一亟需的趋势也同样存在于Stable Diffusion上。
凭借紧密的软硬件协同设计，集成Hexagon处理器的高通AI引擎能够释放行业领先的边缘侧AI性能。支持微切片推理的最新第二代骁龙8移动平台有能力高效运行像Stable Diffusion这样的大模型，并且下一代骁龙预计还将带来更多提升。此外，由于构成Stable Diffusion的所有组件模型都采用了多头注意力机制，为加速推理而面向transformer模型（如MobileBERT）所做的技术增强发挥了关键作用。
这一全栈优化最终让Stable Diffusion能够在智能手机上运行，在15秒内执行20步推理，生成一张512x512像素的图像。这是在智能手机上最快的推理速度，能媲美云端时延，且用户文本输入完全不受限制。
Qualcomm AI Studio 将我们目前的所有工具整合到一个全新的GUI中，同时还有可视化工具，以简化开发者的使用体验。
上图为Stable Diffusion利用文本提示：“野外河谷和山脉间的日式花园，高细节，数字插图，ArtStation，概念艺术，磨砂，锐聚焦，插图，戏剧性的，落日，炉石，artgerm、greg rutkowski和lphonse mucha的艺术作品”生成的图像
边缘侧AI的时代已经到来
随着AI云端大模型开始转向在边缘终端上运行，高通打造智能网联边缘的愿景正在我们眼前加速实现，几年前还被认为不可能的事情正在成为可能。这很有吸引力，因为通过边缘AI进行终端侧处理具有诸多优势，包括可靠性、时延、隐私、网络带宽使用效率和整体成本。
尽管Stable Diffusion模型看起来过于庞大，但它编码了大量语言和视觉相关知识，几乎可以生成任何能想象到的图片。此外，作为一款基础模型，Stable Diffusion能做的远不止根据文字提示生成图像。基于Stable Diffusion的应用正在不断增加，例如图像编辑、图像修复、风格转换和超分辨率等，将带来切实的影响。能够完全在终端上运行模型而无需连接互联网，将带来无限的可能性。
扩展边缘侧AI
在智能手机上运行Stable Diffusion只是开始。让这一目标得以实现的所有全栈研究和优化都将融入高通AI软件栈。凭借高通的统一技术路线图，我们能够利用单一AI软件栈并进行扩展，以适用于不同的终端和不同的模型。
这意味着为了让Stable Diffusion在手机上高效运行所做的优化也可用于高通技术公司赋能的其他平台，比如笔记本电脑、XR头显和几乎任何其它终端。在云端运行所有AI处理工作成本高昂，因此高效的边缘侧AI处理非常重要。由于输入文本和生成图像始终无需离开终端，边缘侧AI处理能在运行Stable Diffusion（和其它生成式AI模型）时确保用户隐私，这对于使用消费级和企业级应用都有巨大的好处。全新AI软件栈优化还将有助于减少未来在边缘侧运行的下一代基础模型产品的上市时间。这就是我们如何能够实现跨终端和基础模型进行扩展，让边缘侧AI真正无处不在。
在高通，我们在基础研究领域实现突破，并跨终端和行业进行扩展，以赋能智能网联边缘。高通AI Research与公司所有团队通力合作，将最新AI发展成果和技术集成到我们的产品之中，让实验室研究所实现的AI进步能够更快交付，丰富人们的生活。
版权文章，未经授权禁止转载。详情见 转载须知 。
本文地址： https://www.gpxz.com/article/a04c6769c499bcfaf5fb.html
杭州多协信息技术有限公司，致力于用物联网、人工智能、大数据等先进技术赋能冷链产业，助推冷链企业数字化、智能化转型，保障食品、药品品质安全，为供应链领域内的企业实现安全、成本、时效、体验上的价值提升。
里山龙生态绿道全体系服务商，是彩色路面、透水混凝土、彩色沥青防滑路面材料生产源头厂家及专业的施工主体。在全国范围承接彩色防滑路面、海绵城市路面、环保健康步道等路面工程。
武汉创驰蓝天专注于中小企业信息化技术开发与服务，具有扎实的技术研发能力和丰富的项目实施经验。把“关注细节、创造精品、服务客户、专业高效”作为公司的经营宗旨。
买了苹果手机，怎么手机搬家，将安卓手机上面的资料，传输到苹果手机上，我们带来了轻松一键换机工具。您可以通过手机数据搬家一键将旧手机的联系人、照片、视频、迁移到新手机,轻松换机。
贵阳视窗网是一个时事新闻聚合平台，致力于为用户提供全面的头条新闻。我们实时更新全球范围内的政治、经济、科技、文化等领域的新闻资讯，让您轻松掌握天下事，洞悉时事动态。
上海迪璞电子科技股份有限公司是一家以计算机软件开发、系统设计和相应技术服务为主要业务的科技型企业。公司主要面向汽车行业，致力于各类控制系统、检测系统的开发和技术服务。公司作为大众和奥迪配套供应商，为大众和奥迪总装车间提供生产线汽车ECU电检系统和配套检测设备、自动化生产和控制系统、高精度模型组件等产品。上海迪璞电子科技有限公司是上海市高新技术企业，是国内汽车生产的关键领域即车载网络和ECU电检系统的专业的设备供应商，公司多项产品打破德国厂商的垄断，应用于大众总装车间生产线，取得客户的满意。公司坐落于浦东新区盛夏路570号703室（近广兰路地铁），注重人才的培养，为引进软硬件开发人才，公司提供研究生和本科生的人才引进名额，为公司优秀的人才提供沪籍申请，期待软硬件人才加盟。
爱好歌音乐下载网分享提供好看的高清MV、最新音乐下载地址及车载MV在线播放,支持手机HTML5在线播放,使用音乐MV解析工具快速获取高清MV音乐下载地址,高清MV下载,车载音乐高清MV,最新车载MV免费下载。
BeatsbyDre为你带来顶尖的蓝牙头戴式耳机、耳塞和扬声器。探索最新产品，款款兼具时尚舒适和标志性音质。
上海市浦东新区装饰公司:统帅装饰,是上海地区排名前三的装修公司,拥有建筑装修设计施工二级资质,主要承接中高端整装住宅装饰设计与施工服务.找统帅装潢,免费量房+免费设计+免费预算,满意再付款!
汇率网为您提供最新、最准确的货币汇率查询服务。我们24小时不间断更新,让您随时掌握市场脉搏,轻松进行汇率换算和追踪。无论是个人旅行还是企业金融决策,全球实时汇率网都是...
山东省滨州市黄河消防工程有限责任公司，成立于2001年，是滨州市最早的消防设计与施工企业，是最早的滨州市消防协会会员，也是监管局直属的消防工程专业承包企业。
Rolex劳力士售后服务中心，是劳力士维修保养服务网点，为大陆用户提供劳力士售后维修保养服务，我们在北京、上海、广州、深圳、天津、成都、重庆、长沙、武汉等68个一二三线城市均设有劳力士售后服务网点，本站为您提供劳力士售后维修服务中心介绍、劳力士地址查询及客户服务电话，欢迎访问！
*文章转载自深圳市大数据产业协会，雷锋网已获得授权，在人工智能、大数据、5G、工业互联网的时代背景下，深圳市宝安区智能制造企业的新产品、新技术正在迸发新的能量，近日，由宝安区科技创新局主办、宝安区科技创新服务中心承办、深圳市大数据研究与应用协会执行的，融合共建数造宝安——中国大数据行业主题展，将于2020年11月17日—21日在湾区新...。
9月7日，2022中国民营企业500强峰会盛开举行，会上全国工商联发布了2022中国民营企业500强榜单及调研分析报告，据了解，今年共有8602家年营收收入5亿元以上的企业参加评选，民营企业500强的入围门槛达到264亿元，比上年增加28.66亿元，从榜单看，2021年我国民营企业500强营业收入总额为38.32万亿元，其中，京东集团...。
苹果前员工承认跳槽小鹏汽车前窃取商业机密信息，小鹏汽车发声，与苹果案件无关联8月23日，据报道，被控在跳槽小鹏汽车前窃取苹果汽车部门商业机密的苹果前员工张晓浪向美国圣何塞联邦法院认罪，法庭文件显示，张晓浪与美国政府达成的认罪协议为保密状态，在承认盗窃商业机密的重罪后，他将面临最多10年刑期以及25万美元罚款，本案的量刑宣判计划于11月...。
今日头条宁德时代工厂部分岗位，强制双休，，有工人嫌工资低离职据报道，宁德时代成立子公司四川时代的员工王鹏，化名，称，去年宁德时代的订单很多，当时他们靠着加班，一个月工资到手七八千，但到了年底，形势急转直下，2022年11月、12月工厂开始降薪，一些岗位开始限制工时或强制双休，甚至推出了，五天八小时，的工作制，不少工人嫌工资过低选择离开...。
发表在当贝投影仪2024，6，613，41当贝X5SPro是当贝X5S系列的最新产品，在当贝X5S的基础上有了不少的升级，具体当贝X5SPro和当贝X5S区别有哪些呢，下面就通过详细的参数配置对比分析看看两者有什么不同，当贝X5S对比X5S提升多少，一、当贝X5SPro和当贝X5S区别有哪些1.光学参数对比当贝X5SPro和当贝X5S...。
牛肉汤属于京菜，主要原料是牛肉，口味是鲜，工艺是炖，烹饪难度属于中级，牛肉富含蛋白质，氨基酸组成比猪肉更接近人体需要，能提高机体抗病能力，对生长发育及术后，病后调养的人在补充失血、修复组织等方面特别适宜，寒冬食牛肉可暖胃，是该季节的补益佳品，...。
前言，该方法仅在，湖南移动九州PTV，8508，测试通过，其他地区未做测试，大家也可以自己试试看；一、通过扫描盒子端口，再利用ADB进行远程连接盒子，推送安装软件，达到免拆破解的效果！经过测试，湖南PTV，8508的端口号为，8278，，其他地区可以自行扫描端口，并且逐个尝试能否使用该端口进行登录连接；端口扫描器下载地址，http，...。
外地期间12日，以色列国防军宣布申明称，今日下午以色列北部、中部包含特拉维夫在内的多地拉响防空警报后，以色列空军阻拦了三枚从黎巴嫩方向发射的炮弹，申明未提及人员伤亡及财富损失状况，总台记者王寅，...。
电脑好用的第三方播放器有，potplayer、金舟影音、kmplayer电脑版、kodi电脑版、完美解码播放器，1、potplayerpotplayer是一款极度低劣的视频播放软件，内置性能弱小的解码器，轻松解析高清大片，用户在观看环节中可以享遭到高清、流利、稳固的体验，同时支持了市面上干流的视频格局，均可完美兼容，2、金舟影音金舟影...。
2024年6月30日，西藏阿里革吉县境内中铁十一局原日盐公路施工现场，树立者们抢抓施工黄金期，极速推进工程树立，金伟摄，人民图片网，2024年6月30日，西藏阿里革吉县境内中铁十一局原日盐公路施工现场，树立者们抢抓施工黄金期，极速推进工程树立，金伟摄，人民图片网，2024年6月30日，西藏阿里革吉县境内中铁十一局原日盐公路施工现场，树...。
逍遥模拟器——一款强大的安卓模拟器软件，软界面简，功能强大，完美适配键鼠，支持软件多开，流畅稳定，全面兼容安卓9，可以直接导入外部app格式的安装文件进行安装，安装软件更加自由，不在受手机存储空间的困
腾讯软件中心提供2022年最新3.1官方正式版护眼宝高速下载，本正式版护眼宝软件安全认证，免费无插件。
走绳子的游戏哪些值得玩，这类游戏不仅操作简单，而且极富挑战性，能够有效提升玩家的反应速度和手眼协调能力，它们各具特色，无论是繁忙的工作间隙，还是悠闲的居家时光，都能为你带来无尽的乐趣和放松，准备好了吗，一起揭晓这些游戏的神秘面纱，看看其中是否有你的心头好！1、，绳子达人，玩家的任务是巧妙地操控绳索，将所有角色安全送达彼岸，从而宣告胜利...。
近年来，以花甲米线为主的海鲜粉面类美食受到了食客的热烈追捧，对创业者而言，这是个难得的商机，不仅因为花甲米线新奇、美味、健康，可以吸引不少的顾客，还因为这个项目可以兼顾中餐、晚餐、夜宵三大市场，从而实现多时段，说了这么多，不少人加盟商可能已经跃跃欲试了，那么，花甲米线加盟店多少钱，花甲米线加盟哪家好呢，请看下文回答，花甲米线加盟店多少...。
知乎官方发布消息，为了保护用户的合法权益，知乎将对用户隐私做升级保护，主要措施为，针对除信任的搜索引擎外的第三方机构，将采取白名单许可的方式，开放知乎内容的使用，第三方必须在尊重知乎用户隐私权、版权等关键权利的基础上，通过官方合作渠道申请加入白名单，具体合作原则包括但不限于，知乎表示，将在近期升级用户隐私协议，进一步向使用知乎产品的用...。
对于广大女性消费人群来说，美容是人们日常生活中花费较高的项目，高品质的美容品牌是当下消费者的刚需，法澜娇人品牌的出现为数以万计的消费者带来福音，公司开展智能护肤、科技护肤的模式，根据消费者的年龄和肌肤状态提供相应的服务，让人们的肌肤得到很大的改善，变得越来越多光滑、富有弹性和光泽，在市场上得到万千消费者的好评，接下来小编为大家介绍法澜...。
25岁男士发型1、露额头小卷毛烫发已经不再稀奇，适合年轻人的露额头小卷毛发型潮又帅，即使自然黑，也能显得时尚洋气，这样的发型还能让你看起来更加阳光，2、利落的寸头25岁的男生可以尝试寸头，这不仅适合年轻人的胶原蛋白，还能彰显男性魅力，寸头展现的是一种man的个性，3、侧分大背头侧分的大背头相比全往后梳理的更有型，显得更加帅气，适合所有...。
