Google这个项目的背景 Soli 原理以及有趣应用 近距离了解Project (google chrome apk latest version)

文章编号:42315 资讯动态 2024-12-04 NVIDIA Project Google Soli 手势识别 uSens

雷锋网按:本文作者陈哲,现谷歌眼镜部门高级软件工程师。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

去年的Google I/O上,谷歌神秘的ATAP部门((Advanced Technologies and Projects)曾经展示过非常酷炫的Project Soli。因为当时技术还在早期阶段,只是小范围里给60位开发者发放了开发套件,用于内部测试。在今年的I/O 2016里,谷歌除了带来Daydream,Android N等重磅更新,ATAP也低调展示了Project Soli的最新进展。我们今天就来扒一扒Project Soli的来龙去脉,让我们深入了解这项技术的原理和应用。

Soli是什么

Soli是一项运用微型雷达监测空中手势动作的新型传感技术。 这种特殊设计的雷达传感器可以追踪 亚毫米精准度的高速运动 ,然后将雷达信号进行各种处理之后,识别成一系列通用的交互手势,方便控制各种可穿戴和微型设备。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

目前谷歌设计的这些通用交互手势,是基于人们平时所熟悉的一些物理工具和动作,比如按钮,转盘和滑杆:

近距离了解 Soli:这个项目的背景、原理以及有趣应用

近距离了解 Soli:这个项目的背景、原理以及有趣应用

近距离了解 Soli:这个项目的背景、原理以及有趣应用

虽然这些动作都是虚拟的,但是因为是多个手指之间的相互动作,它可以给用户很好的触觉感应和物理反馈。也因为人类有精准的小肌肉运动技能(fine motor skills),它可以让这些虚拟工具通过我们手势运动实现很高的流畅性和精准度。

谷歌相信这些有物理反馈与触感的交互方式是比平面的触摸屏或者语音识别技术更自然的控制方式,为人机界面引入了新的思维与机会。

Soli与其他手势追踪技术的区别

目前关于手掌与手指运动识别与追踪的技术,市面上已经有好种不同的解决方案:

相比这几种常见的解决方案,采用毫米波雷达的Soli技术有以下几种优点:

因为天线技术近年来有不小提高,不到一平方厘米的面积谷歌就可以把传感器和天线阵集成到一起,这方便了该技术应用到可穿戴设备和手机上,而其他的解决方案目前还不能如此小巧:

近距离了解 Soli:这个项目的背景、原理以及有趣应用

这次I/O 2016大会上,谷歌就带来了跟LG合作的智能手表,在表带处继承了Soli技术,用于捕捉用户指尖的微小动作。这样的体积与功耗,传统手势感应技术是无法想象。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

在这个demo里,展示着用手指的按键与滑动两种动作可以发送不同的指令:

近距离了解 Soli:这个项目的背景、原理以及有趣应用

在Soli项目的视频介绍里,也出现了跟智能手表相关的设计概念:

近距离了解 Soli:这个项目的背景、原理以及有趣应用

近距离了解 Soli:这个项目的背景、原理以及有趣应用

是不是很酷炫?智能手表受限于屏幕大小,如果触控操作直接在屏幕上进行的话,手指就会遮挡屏幕;如果设计物理按键或者拨盘也很难操作。而这种空中手势有望解决上面这些问题。

Soli的原理与实现

目前Soli项目公开的技术细节非常少, 目前我们知道的是它可能采取了单发射,多接收的天线设计 。在天线前面的障碍物会反射电波回到雷达天线,而反射信号的能量,延时以及多普勒效应则对应了物体的各项特征,包括物体的大小、形状、材料、距离以及速度。

谷歌在介绍Soli的时候专门强调Soli不像传统的雷达传感器,并没有需要很大的带宽和空间解析度。事实上Soli的解析度比手指可以实现的精细动作更低,所以对手指运动的捕捉需要分析反射信号在时间上的动态变化,这也对手势识别的算法提了更高要求。

从原始的雷达信号到最终的手势控制需要经历下面几步:

Soli SDK为第三方开发者提供了上面每一步的程序接口,同时兼容不同类型的雷达,支持从每秒100到10000的采样帧数。

Soli的雷达采用了调频连续波Frequency Modulated Continuous Wave (FMCW)的调制格式 。这项技术目前已经用在汽车自动巡航等应用,可以同时实现对物体距离和速度的感应。下面我们结合NVDIA最近发表的一篇论文( Short-range FMCW monopulse radar for hand-gesture sensing ) 来解释下这项技术的原理:

FMCW这种格式是由周期性锯齿波函数调制。雷达发射的信号从物体反射回后产生了时间与频率上的差异。其中时间的延时τ是电波往返的时间,频率上的变化fd则是物体运动导致的多普勒效应。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

我们把接收到的信号跟原信号相乘,然后在模拟信号领域进行低通过滤,这样就可以产生明显的beat信号。 然后把二维的时序信号各自做FFT转换,减去静止不变的背景环境,就可以获得所需的Range Doppler Map (RDM):

近距离了解 Soli:这个项目的背景、原理以及有趣应用

RDM的每一格都对应着目标的目前的距离和运动速度。 因为不同的物体可以在不同距离或者在相似的距离但是各自有不同的速度,RDM便实现了同时追踪多个物体的效果。比如下图是一个正在移动的手掌,每一个绿框可以是被识别出来的手指。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

如果我们有多个接收天线,通过比较每个天线之间RDM的相位差,我们可以计算出每个物体的到达角度(Angle of Arrival),配合上之前算出的距离,这样就实现了对物体的空间定位。 如果跟传统的深度感应器进行校准之后,则可以获得三维深度图。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

我们可以把四维的矢量信号(三维空间位置加上径向速度)映射到一个手掌模型上,导入后端的手势学习模型中进行识别。

这是五个不同用户进行四种手势产生的RDM,可以明显看出手势之间的差异是明显的,而不同用户在进行同一手势时是有很多相似点的。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

所以FMCW这种格式相比其他雷达有以下这些优点:

由此可见,Soli采用的这种FMCW技术是它实现微型化雷达和极低功耗的基础。 谷歌网站上展示的2014年的早期产品原型还是一个巨大的机盒,然后仅仅一年多之后就把系统缩小到了不到一平方厘米的面积,其中包含了多种天线和感应器。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

谷歌对Soli的目标是制造出成本低廉,可以大规模量产并且功耗极低的微型雷达芯片,期望可以集成到最小的移动设备里面。通过这两年的发展可以说谷歌离这个目标已经非常近了。

Soli的应用

下面整理了一些过去一年早期开发者在使用dev kit进行的各种有趣的应用:

因为毫米波雷达对部分材质有一定的穿透作用,反射信号也有一些差别,有开发者据此设计出 材质探测器 ,不仅可以识别塑料和多种金属,还能识别水跟牛奶。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

车内手势 是一项有意思的应用,相比可见光和红外光的技术,Soli可以完美解决不同光照环境下传统技术不稳定的问题,而且雷达对捕捉细微运动有很强的优势。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

在Soli的帮助下我们对手机触屏的交互又多了新的一个维度,Hover在屏幕上的手指现在也可以精确地捕捉和预测了。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

既然Soli可以扫描和计算出深度图,为何不拿来做成3D扫描与成像的应用?

近距离了解 Soli:这个项目的背景、原理以及有趣应用

这个应用很酷炫,手指空中划出3D密码,抽屉自动开启!

近距离了解 Soli:这个项目的背景、原理以及有趣应用

利用Soli对手势的捕捉设计出一套乐器如何?

近距离了解 Soli:这个项目的背景、原理以及有趣应用

一个类似的项目号称用Soli设计了全世界最小的小提琴! 精确捕捉手指的每一点动作然后映射到音符上。

近距离了解 Soli:这个项目的背景、原理以及有趣应用

总结

从2014年项目开始,到去年I/O上发布的初期原型到今年I/O带来的各种创意应用,这两年Soli进展很快。谷歌宣称相比去年的版本,目前芯片面积缩小了70%,功耗下降了22倍,从本来就不高的1.2瓦进一步下降到了0.054瓦,算法也得到了256倍的效率提升。

据媒体报道,谷歌年底或者明年会有全新的dev kit提供给更多开发者,相信在不远的未来我们将会看到采用Soli技术的智能手表,VR/AR设备以及智能家电出现在市场中。

另外一个巨大的市场就是可穿戴设备,事实上ATAP的另外一个神奇项目Project Jacquard正在跟Levi牛仔合作一种可触摸布料,用于制造智能外套。Soli采用的雷达技术正好可以穿透许多传统的纺织材料,很可能成为来为智能服装标配的交互途径。Soli这种新颖的雷达技术以后也可以跟其他射频与传感技术进行融合,或许可以创造出更多意想不到的应用。

雷锋网此前针对Soli雷达成像技术也有解读:

《 解读英伟达芯的雷达手势识别,我们对Project Soli有了更多了解 》

原创文章,未经授权禁止转载。详情见 转载须知 。

近距离了解 Soli:这个项目的背景、原理以及有趣应用


本文地址: https://www.gpxz.com/article/332af6dac00085c403dc.html
全局中部横幅
全局中部横幅
相寓

相寓是我爱我家集团(证券代码:000560)旗下的房屋资产管理的平台,始于集团2001年开始的“房屋管家”业务,为业主和租客提供高品质房屋托管、租房产品和综合生活服务,主张回归居住本身,带您进入“美好租+生活”

3322软件下载站

3322软件下载站提供免费的电脑软件下载、APP软件下载、手机应用下载、手机游戏下载、mac苹果软件下载,本站全力打造一个安全、快速、绿色、无病毒的软件和游戏下载平台。

合肥德智航创科技有限公司

公司主要研发中大型垂直起降无人机整机及面向专业客户需求的各类型解决方案

昆山海灵威电子有限公司

昆山海灵威电子有限公司专注于为客户提供全方位可靠电源应用解决方案和相关产品的开发及供应,主要产品包括电源稳压器、电源变压器,可提供变压器维修、稳压器维修等服务.

湖南强泰环保科技有限公司

湖南强泰环保科技有限公司是一家集“三废”治理工程的设计、生产、施工、调试及售后服务为一体的股份制高科技企业,公司专业从事各种污水处理、黑臭水体治理、废气处理、噪音治理及环保器材设备和环保药剂的销售。咨询热线:400-007-3067

芜湖知识产权网

芜湖文广知识产权代理有限公司是一家专业从事商标续展,商标转让,商标复审,商标变更,版权代理,软件著作权代理,专利申请,项目申报等综合性知识产权服务平台。

扬中市江盈化机配套有限公司我公司主要产品有:聚四氟乙烯

我公司是一家以生产氟塑制品、橡胶、工程机械液压油缸用密封件及各种空分设备配件的专业厂家之一,是扬中市轻工系统直属集体企业,现改制为有限责任公司,全国小空分网会员,拥有注册资金人民币伍拾万元整,员工39人,其中技术人员6人,各种生产检测设备齐全,具有研究开发、生产加工各种非标配件的设计生产能力。

锅炉化学清洗

上海蓝浦清洗技术有限公司专注于锅炉化学清洗,装置化学清洗,中性清洗剂销售等业务;我司是行业具有名气的化学清洗服务商,拥有质量可靠的清洗产品.价格透明,技术过硬,值得信赖,全国统一服务热线:13764657492.

豌豆素质教育

豌豆素质教育为全球孩子提供在线益智、口才、编程等素质课程。坚持科技赋能教育,通过在线小班的游戏互动式教学,以教、学、练、测一体的AI系统为支撑,引导儿童主动思考,爱上学习。

鑫美亚文具有限公司

深圳市鑫美亚文具有限公司为专业开发、设计、生产、销售,全套设施运作的企业。公司设为生产部、印刷部、销售部三大部门。拥有齐全的先进设备和经验丰富的技术人员。 产品主要为塑胶笔、拉纸笔(拉画笔)、中性笔(水性笔)、荧光笔、环保笔......,金属笔、电容笔、激光笔、青花瓷笔、多功能笔......等等。除我厂现有模具外,另可按客户不同的需求开模定做其专项用途的各各种款式。 所有产品均采用各种优质原材料制作,外观新颖、手感舒适、笔芯书写流畅,质量稳定可靠,产品远销东南亚,欧美等地。 我们期待新老客户一如既往的支持与建议,努力进取、不断创新,把质量放在第一位。竭诚以最佳的服务,合理的价格,来迎接您的每一次光顾。

全局底部横幅