深入浅出讲解6DoF四种流行方案 还想谈AR 看不懂6DoF (深入浅出讲解FOC算法与SVPWM技术)

文章编号:38447 最新资讯 2024-12-01 SLAM AR 边缘计算 6DoF

雷锋网按:6DoF追踪带给AR眼镜怎样的体验飞跃?如何在设计一款AR眼镜时,实现六自由度追踪?Rokid R-lab研究科学家霍志宇从成本和性能角度出发,对目前流行的四种6DoF追踪解决方案进行了比较。

6DOF追踪的进化:从标识追踪到SLAM定位,带给AR体验质的飞越

好的增强现实体验首先要是一种互动体验,实现现实环境和虚拟世界的结合,而这种体验离不开6 DOF追踪(Six degrees of freedom tracking)的加入。

6DoF追踪为用户提供了前所未有的互动体验和对虚拟世界的控制,可以说,6DoF追踪是虚拟世界与现实世界建立联系的基础,是AR实现颠覆式体验的前提。近年来,随着技术的指数级的增长,这种新型的AR互动体验正在以超出我们想象的态势发展。

AR领域六自由度(6DoF)追踪的应用,最早可以追溯到2003年, 由ARToolKit所支持的首个移动端AR应用就出现在了WinCE平台上,但早期运体验并没有那么优秀。

早期的AR利用标识图来跟踪摄像机的位置和姿态,实现6DoF追踪。使用者必须将标识图保留在视野范围内,虚拟内容也只能覆盖在标识图上,使用者稍微移动便会失去对标识物的追踪,虚拟内容便无法对现实进行覆盖,虚拟与现实的融合停留在比较浅层的阶段,无法给予使用者沉浸式的体验。

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

随着SLAM (simultaneous localization and mapping)技术的普遍应用,6DoF追踪与SLAM相结合,沉浸式的AR体验时代终于来临了。使用者可以摆脱标识图的束缚,进行实时定位与地图构建,从而在虚拟内容上产生更加沉浸和逼真的体验。

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

早期的AR眼镜,为了在任意场景下都能提供最为精确和可靠的追踪体验,需要装备由多个鱼眼摄像头、深度摄像头和其他传感器驱动的高性能追踪系统。不过这会让设备变得沉重且昂贵。即便是功能最为丰富且拥用商用前景的AR眼镜,也会因为其高昂的成本和糟糕的佩戴体验而遭到市场拒绝。

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

因此,想在轻量级AR设备领域取得成功,产品需要结合舒适性、经济性和技术可行性来进行研发。很多AR眼镜研发公司,正在尝试通过有限的视觉设备和更少的算力来实现6DoF追踪。

在AR眼镜上实现6DoF追踪,这4种流行方案到底谁更好?

让我们从成本和性能出发,比较以下四种流行的6DoF追踪解决方案:

1、单摄像头

● 硬件成本低

● 易于集成到多种眼镜设计中

● 需要更专业的优化和定制

● 适用于偏静态场景

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

视频摄像头是AR眼镜的常用组件,主要用于拍摄高分辨率的照片和视频。在外观和可用性方面,将单个相机安装在眼镜上相对简单。

但是,视频摄像机通常以低频率(<60fps,大多数<30fps)运行,无法在运动中捕捉的高质量图像。 “果冻效应”和其他扭曲使得位置追踪失败。

2、单眼鱼眼摄像头

● 为6DoF追踪所预留的传感器

● 持续高频刷新6DoF追踪结果

● 会出现尺度漂移,使得虚拟物体会在场景中意外移动

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

一些AR眼镜会配备用于6DOF追踪的单个鱼眼镜头。此解决方案会产生一些额外的功耗,但通常会为设备提供更好的6DOF追踪效果。鱼眼摄像头的高相机帧更新率(> 90fps)和全局快门功能,可以使得SLAM系统在运动场景中保持可靠的追踪位置。但单个鱼眼摄像机应放置在眼镜前面,这会产生一些设计限制。

单鱼眼摄像头比较不足的的地方在于它所支持的场景规模有限。一旦移动范围过大,SLAM系统就容易产生尺度漂移,导致虚拟对象在场景中意外移动。

3、双目鱼眼摄像头

● 高功耗

● 追踪、尺度估算准确

● 眼镜的工业设计会面临挑战

基于双目鱼眼的6DoF追踪系统已被不同的AR / VR头戴式设备制造商证明是一种可以量产的解决方案,高通已经使用双目鱼眼视觉在其VR头盔上展示了高质量的6DoF位置追踪功能。

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

由于它提供实时的地图初始化、强大的追踪和对环境尺度的准确测量,因此额外增加摄像机所产生的功耗和成本是值得的。与单眼解决方案相比,双目鱼眼摄像头可以更快地扩展场景,并能更准确的测量环境尺度从而防止漂移。即使传感器数量加倍,计算复杂度也不比单眼视觉系统高很多。但该方案的实现需要高质量优化和定制工作,并且功耗高、发热大,需要更强的系统和硬件支持。

4、运用边缘计算

● 成本高昂

● 能实现高质量的6DoF追踪

● 稳定性高,可兼容不同平台

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

英特尔推的定位追踪实感摄像头T265 可在边缘执行计算任务

边缘计算在AR设备中变得越来越流行,例如,HoloLens已经通过边缘计算来运行其SLAM功能,使CPU和OS在用户应用程序上更高效地工作。对于轻量级AR眼镜,通过边缘计算来运行SLAM不仅可以减少计算负荷,还可以使AR眼镜兼容不同类型的主机平台。

这个解决方案的最优之处就在于,它可以在任何主机平台上均衡性能,无需定制优化算法。然而,轻量级AR眼镜通过边缘计算运行6DoF并不容易。这些类型的AR眼镜上的芯片通常仅设计用于驱动显示器并传输传感器数据而无剩余资源用于其他计算工作。因此可行的解决方案是将成熟的6DoF追踪模块集成到AR眼镜板上。

目前还没有关于哪种解决方案对于轻型眼镜“完美”的结论。设计人员需要根据AR眼镜的应用场景,来定义其产品的功能和预期用途,以便做出最佳的软硬件选择。

随着轻量级AR眼镜的逐渐普及,具有6DoF追踪功能的产品是能够给消费者带去优质体验的基础,也是AR产品走向千家万户的关键技术之一。

作者:霍志宇,美国密苏里大学计算机和电子工程系博士毕业,研究机器人及人机交互方向。现就职于位于美国旧金山的Rokid R-Lab,担任研究科学家。

特约稿件,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/81e7eb9bfe1d015779ef.html
全局中部横幅
全局中部横幅
牛片网-短视频交易服务平台-企业影视广告宣传片拍摄制作外包

牛片专注影视广告资源整合,影视公司提供宣传片样片报价,广告片文案脚本策划,短视频拍摄,企业宣传片制作;创作人提供视频制作,mg动画,flash动画,3d三维动画制作;平台为兼职摄影师,后期制作剪辑师提供威客订单,免费配音软件,智能字幕,影视培训,专业效率工具等!

北京大学肿瘤医院 北京大学临床肿瘤学院、北京市肿瘤防治研究所

北京大学肿瘤医院(北京肿瘤医院、北京大学临床肿瘤学院、北京市肿瘤防治研究所)始建于1976年,是一所由北京大学、北京市医院管理中心共管的三级甲等肿瘤专科医院。北京大学肿瘤医院设有34个临床科室,14个医技科室,17个基础研究科室,开放床位776张。全年门诊量66万人次,年收治病人7.8万人次,手术近1.6万例。医院职工近2400人,在编职工中正高级职称124人,副高级职称211人。

恒鑫木业-整木定制 一站式设计

温州恒鑫木业有限公司创立于2002年,坐落于浙南美丽的雁荡山麓。是一家集测量、设计、生产、销售、安装、售后服务于一体的综合性企业。专业生产实木门、原木门、门窗套、酒柜、书柜、衣柜、护墙板、地板等整木定制产品。

聚合氯化铝|聚合氯化铝铁|碱式氯化铝-巩义市浩捷水处理材料有限公司

巩义市浩捷水处理材料有限公司主要产品有聚合氯化铝、聚合硫酸铁液体、聚合氯化铁、碱式氯化铝、河湖净化剂、污泥固化剂等产品。欢迎来厂来电咨询。

爱普科学仪器(江苏)有限公司

爱普科学仪器(江苏)有限公司-公司一直专注于临床疼痛治疗,立足于临床需求,借助集团公司在疼痛领域的优势,利用国内、外前沿技术,运用自身技术开发力量与国内众多三甲医院及科研院校建立了密切的合作关系。

美成达移民留学 - 专注海外移民、留学、签证等出国服务

美成达移民公司是一家26年行业经验的专业移民服务机构,提供投资移民、护照移民、创业移民、购房移民、留学移民等出国服务的国际化公司,已在广大客户中建立良好信誉及口碑,是中国移民行业的专业品牌。业务覆盖全球30个国家及地区,其中美国投资移民、土耳其投资移民、希腊投资移民、爱尔兰投资移民、葡萄牙投资移民等项目成功率高,成功帮助超过数万国内高资产人士移居海外。

蜜蜂职场文库_职场求职面试实用的范文资料大全

蜜蜂职场文库分享各行各业的面试自我介绍范文,包括有求职自我介绍、应聘自我介绍、自我推荐信、简单自我介绍、面试注意事项、简历自我评价、自荐信格式等,还有更多工作范文资料。

试验筛|标准检验筛|实验筛|超声波试验筛|拍击筛-实验室振动筛分设备专业生产厂家

德泰机械是专业设计生产试验筛、标准检验筛、实验筛、标准分析筛、标准筛、超声波试验筛、顶击试验筛、拍击式试验筛、拍击式振筛机、拍击筛磁悬浮试验筛、试验筛框等实验室标准检验分析筛分设备的厂家。德泰牌试验筛设计精巧,分析准确,检验筛分粒度标准,价格优惠,欢迎新老客户来电咨询

小区售水机_社区售水机_自动售水机厂家-山东帝雯实业有限公司

,自动售水机厂家(张经理:13953826111)河北售水机,河南小区售水机,自动售水机,社区售水机,小区售水机,售水机厂家,自动售水机设备,新泰社区售水机,东平小区售水机山东帝雯实业有限公司

全局底部横幅