从云到端 而至 离客户更近的端侧AI 涌现 (云到端是什么意思)

文章编号:52183 最新资讯 2025-02-01 端侧AI AI大模型 广和通

AI发展正酣,随着终端芯片算力越来越高、端侧模型能力越来越强、实时响应及隐私保护的端侧应用需求增加,端侧AI已然具备落地的条件。端侧AI离客户和应用场景更近,也是具象化AI的重要方式。可以看到,端侧AI的浪潮“涌现”而至,原有的用户体验和生态格局将迎来革命性重塑。

从云到端:离客户更近的端侧AI「涌现」而至 端侧AI是指在终端设备(如车载智能座舱、智能除草机、机器人等终端场景或设备)上进行人工智能计算和处理,运行端侧模型。相较于云端大模型,端侧大模型在资源有限的设备上高效运行,需进一步对模型进行压缩、推理加速及能耗优化。目前轻量化模型技术包含模型剪枝、知识蒸馏和量化,以上技术往往组合使用,以达到最优的轻量化效果。将大模型部署在端侧设备中,可高效赋能智能终端,如降低延迟,更快地响应用户请求;隐私保护,减少数据传输,从而降低隐私泄露的风险;减轻云端服务器的计算负担,降低对中心化计算资源的依赖,从而降低成本;根据用户的具体设备和使用习惯进行定制化优化,提供更加个性化的服务;无网络连接的情况下也能使用,提高了应用的可用性和灵活性。

基于大模型在端侧部署的特点和优势,已落地或即将落地的应用场景包括:智能手机、智能家居、可穿戴设备、自动驾驶汽车、工业自动化、医疗设备等。随着AI技术的进步和芯片产业的发展,端侧部署AI的挑战正逐步被克服,更多的端侧应用场景正在落地实现并逐渐成熟。

从云到端:离客户更近的端侧AI「涌现」而至

首先,大模型本身的算法逐步在优化,在众多细分行业,模型的计算效率相较上一代均有一定量级的效率提升。模型参数变得更小,用户体验却更加智能。再者,更多参数较小的大模型被开源,且AI能力日趋成熟,例如智谱AI、阿里千问等大模型厂商都开源了亿级(0.xB左右)到百亿级(x0B)的大模型预训练模型。这大大降低了大模型应用开发者的使用门槛,同时加速端侧AI部署。此外,算法层级的技术,包括模型量化、剪枝、蒸馏为基础的模型压缩算法,以及专为端侧部署设计的软硬件平台,都正在快速发展,这使得大模型在端侧设备的部署变得更加高效。以上模型变化趋势使得端侧AI在本地所需算力、部署成本、运行效率得到大大提升,将助力各行各业智能升级。

目前,端侧AI芯片厂商、中游模组及软件厂商、下游终端厂商的产业链上下游正积极推动AI在端侧部署落地。多个芯片厂商已推出最新处理器,支持终端侧多模态生成式AI,并完成多款大模型的适配。广和通持续为AIoT产业提供模组及解决方案,正积极探索端侧AI相关技术,并已推出多款可应用于机器视觉、具身智能、智能割草等场景的端侧AI解决方案,满足不同终端对算力及模型的需求。

在端侧AI应用上,广和通深度布局视觉与听觉计算,推出高算力和轻量化机器视觉解决方案,融合了先进的处理能力与边缘计算优势,采用了目标检测、关键点检测、图像分割、超分辨率、图像增强、360环视拼接等高效的视觉处理算法。此外,广和通机器视觉解决方案支持蓝牙、Wi-Fi等多种无线通信连接方式,在高端智能影像终端、工业视觉终端、车载终端、机器人均具有广泛应用场景。 从云到端:离客户更近的端侧AI「涌现」而至

AI大模型作为当前人工智能领域的重要技术,是孕育新质生产力的重要手段。作为大模型应用的一个重要的实践领域,端侧AI大模型的全面落地发展需要全产业链推动,包括芯片算力增强、模型优化、软件厂商适配以及终端厂商的落地应用。广和通积极整合产业上下游资源,为产业提供融合通信、算力、AI算法、AI引擎、模型等能力的端侧AI解决方案,加速AI商用至终端。

版权文章,未经授权禁止转载。详情见 转载须知 。

从云到端:离客户更近的端侧AI「涌现」而至


本文地址: /article/0d8592996d83516b4514.html
全局中部横幅
全局中部横幅
中枣网_红枣,灰枣,新疆红枣,红枣价格,红枣行情,枣供求信息,红枣期货,枣业最权威的信息平台。

中枣网为您提供最新红枣价格行情、山东枣价格、河北枣价格、河南枣价格、新疆红枣价格、陕西枣价格、山西枣价格、枣供求信息、批发市场价格、市场动态分析、红枣期货、枣业经纪人、枣商、枣企业等全方位信息和枣网论坛社区服务。

群乐网_个人资源收集_手游下载平台_手机app下载大全_安卓游戏免费下载

爱群乐网-iqunle.com群乐下载是一个专业的手机app下载平台,收集整理了海量的热门手游,实用的软件app。优秀的团队每天第一时间更新最新的版本资源,同时还会推荐一些小众却经典的app,让大家的业余时间更加的丰富多彩。

全国大学生广告艺术大赛

大广赛大学生好创意全国大学生广告艺术大赛

中宇恒泰地理标志综合服务平台

中宇恒泰(北京)地理标志科技有限公司最早成立于2009年,是由我国长期从事地理标志政策研究、保护管理、运用促进的专家学者,组成的区域品牌知识产权服务公司,是推动地理标志产品产业化发展的先行机构。

数控干式喷砂机-数控环保型液体喷砂机-长空日铸(辽宁)喷砂设备有限公司

长空日铸(辽宁)喷砂设备有限公司专业生产数控干式喷砂机,数控液体喷砂机,喷砂机专用配件,液体喷砂机,吸入式干喷砂机等各类喷砂设备

宜昌PVC排水管厂家|PE管价格|HDPE双壁波纹管|宜昌联塑代理商|湖北冠页科技

湖北联塑宜昌代理商(湖北冠页科技有限公司,电话13997666660)是联塑管道与汉塑管业在宜昌的总经销,主营产品:PVC管、PVC排水管、PE管、HDPE双壁波纹管等,价格实惠,欢迎选购。

Rotork: 电动、气动及液动阀执行器-深圳市众信仪器仪表发展有限公司

Rotork:电动、气动及液动阀执行器-深圳市众信仪器仪表发展有限公司

免我网 - 一个有质量的游戏知识网站

免我网是一个有质量游戏知识的网站,包含游戏攻略、百科知识等,免我网可以让玩家的学习到有质量的游戏知识!

温州阀门厂家|龙湾阀门厂家-温州鑫荣达阀门管件有限公司

浙江鑫荣达阀门管件有限公司是一家专业生产加工过滤器、闸阀、球阀、止回阀、截止阀等各类阀门产品的个体经营责任有限公司,我公司的诚信、实力和产品质量获得业界的认可。欢迎各界朋友莅临我厂参观、指导和业务洽谈。

农业农村部农产品质量安全中心

农业农村部农产品质量安全中心(农业农村部优质农产品开发服务中心),农业农村部农产品质量安全中心,中国农产品质量安全网,国家农产品质量安全公共信息平台,质量安全中心,优农中心,

深圳市珠峰国际货运代理有限公司  -  提供全球货物国际快递、海运、空运、铁路运输一站式服务

深圳市珠峰国际是一个跨境物流国际运输托运平台,国际超大件快递,欧洲卡航,美国空派,美国海派,FEDEX等服务,通过珠峰国际快递可以在家中,简单快速的完成跨境物流寄件服务并用非常优惠的价格寄件到全球超过240个国家

全局底部横幅