深入浅出讲解6DoF四种流行方案 还想谈AR 看不懂6DoF (深入浅出讲解FOC算法与SVPWM技术)

文章编号:38447 资讯动态 2024-12-01 SLAM AR 边缘计算 6DoF

雷锋网按:6DoF追踪带给AR眼镜怎样的体验飞跃?如何在设计一款AR眼镜时,实现六自由度追踪?rokid R-Lab研究科学家霍志宇从成本和性能角度出发,对目前流行的四种6DoF追踪解决方案进行了比较

6DOF追踪的进化:从标识追踪到SLAM定位,带给AR体验质的飞越

好的增强现实体验首先要是一种互动体验,实现现实环境和虚拟世界的结合,而这种体验离不开6 DOF追踪(Six degrees of freedom tracking)的加入。

6DoF追踪为用户提供了前所未有的互动体验和对虚拟世界的控制,可以说,6DoF追踪是虚拟世界与现实世界建立联系的基础,是AR实现颠覆式体验的前提。近年来,随着技术的指数级的增长,这种新型的AR互动体验正在以超出我们想象的态势发展。

AR领域六自由度(6DoF)追踪的应用,最早可以追溯到2003年, 由ARToolKit所支持的首个移动端AR应用就出现在了WinCE平台上,但早期运体验并没有那么优秀。

早期的AR利用标识图来跟踪摄像机的位置和姿态,实现6DoF追踪。使用者必须将标识图保留在视野范围内,虚拟内容也只能覆盖在标识图上,使用者稍微移动便会失去对标识物的追踪,虚拟内容便无法对现实进行覆盖,虚拟与现实的融合停留在比较浅层的阶段,无法给予使用者沉浸式的体验。

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

随着SLAM (simultaneous localization and mapping)技术的普遍应用,6DoF追踪与SLAM相结合,沉浸式的AR体验时代终于来临了。使用者可以摆脱标识图的束缚,进行实时定位与地图构建,从而在虚拟内容上产生更加沉浸和逼真的体验。

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

早期的AR眼镜,为了在任意场景下都能提供最为精确和可靠的追踪体验,需要装备由多个鱼眼摄像头、深度摄像头和其他传感器驱动的高性能追踪系统。不过这会让设备变得沉重且昂贵。即便是功能最为丰富且拥用商用前景的AR眼镜,也会因为其高昂的成本和糟糕的佩戴体验而遭到市场拒绝。

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

因此,想在轻量级AR设备领域取得成功,产品需要结合舒适性、经济性和技术可行性来进行研发。很多AR眼镜研发公司,正在尝试通过有限的视觉设备和更少的算力来实现6DoF追踪。

在AR眼镜上实现6DoF追踪,这4种流行方案到底谁更好?

让我们从成本和性能出发,比较以下四种流行的6DoF追踪解决方案:

1、单摄像头

硬件成本低

● 易于集成到多种眼镜设计中

● 需要更专业的优化和定制

● 适用于偏静态场景

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

视频摄像头是AR眼镜的常用组件,主要用于拍摄高分辨率的照片和视频。在外观和可用性方面,将单个相机安装在眼镜上相对简单。

但是,视频摄像机通常以低频率(<60fps,大多数<30fps)运行,无法在运动中捕捉的高质量图像。 “果冻效应”和其他扭曲使得位置追踪失败。

2、单眼鱼眼摄像头

● 为6DoF追踪所预留的传感器

● 持续高频刷新6DoF追踪结果

● 会出现尺度漂移,使得虚拟物体会在场景中意外移动

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

一些AR眼镜会配备用于6DOF追踪的单个鱼眼镜头。此解决方案会产生一些额外的功耗,但通常会为设备提供更好的6DOF追踪效果。鱼眼摄像头的高相机帧更新率(> 90fps)和全局快门功能,可以使得SLAM系统在运动场景中保持可靠的追踪位置。但单个鱼眼摄像机应放置在眼镜前面,这会产生一些设计限制。

单鱼眼摄像头比较不足的的地方在于它所支持的场景规模有限。一旦移动范围过大,SLAM系统就容易产生尺度漂移,导致虚拟对象在场景中意外移动。

3、双目鱼眼摄像头

● 高功耗

● 追踪、尺度估算准确

● 眼镜的工业设计会面临挑战

基于双目鱼眼的6DoF追踪系统已被不同的AR / VR头戴式设备制造商证明是一种可以量产的解决方案,高通已经使用双目鱼眼视觉在其VR头盔上展示了高质量的6DoF位置追踪功能。

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

由于它提供实时的地图初始化、强大的追踪和对环境尺度的准确测量,因此额外增加摄像机所产生的功耗和成本是值得的。与单眼解决方案相比,双目鱼眼摄像头可以更快地扩展场景,并能更准确的测量环境尺度从而防止漂移。即使传感器数量加倍,计算复杂度也不比单眼视觉系统高很多。但该方案的实现需要高质量优化和定制工作,并且功耗高、发热大,需要更强的系统和硬件支持。

4、运用边缘计算

● 成本高昂

● 能实现高质量的6DoF追踪

● 稳定性高,可兼容不同平台

看不懂6DoF,还想谈AR?深入浅出讲解6DoF四种流行方案

英特尔推的定位追踪实感摄像头T265 可在边缘执行计算任务

边缘计算在AR设备中变得越来越流行,例如,Hololens已经通过边缘计算来运行其SLAM功能,使CPU和OS在用户应用程序上更高效地工作。对于轻量级AR眼镜,通过边缘计算来运行SLAM不仅可以减少计算负荷,还可以使AR眼镜兼容不同类型的主机平台。

这个解决方案的最优之处就在于,它可以在任何主机平台上均衡性能,无需定制优化算法。然而,轻量级AR眼镜通过边缘计算运行6DoF并不容易。这些类型的AR眼镜上的芯片通常仅设计用于驱动显示器并传输传感器数据而无剩余资源用于其他计算工作。因此可行的解决方案是将成熟的6DoF追踪模块集成到AR眼镜板上。

目前还没有关于哪种解决方案对于轻型眼镜“完美”的结论。设计人员需要根据AR眼镜的应用场景,来定义其产品的功能和预期用途,以便做出最佳的软硬件选择。

随着轻量级AR眼镜的逐渐普及,具有6DoF追踪功能的产品是能够给消费者带去优质体验的基础,也是AR产品走向千家万户的关键技术之一。

作者:霍志宇,美国密苏里大学计算机和电子工程系博士毕业,研究机器人及人机交互方向。现就职于位于美国旧金山的Rokid R-Lab,担任研究科学家。

特约稿件,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/81e7eb9bfe1d015779ef.html
全局中部横幅
全局中部横幅
跨考教育

跨考教育成立十数年,以个性化考研辅导为特色,为考生量身定制考研辅导培训体系,是考研学子心中跨校跨专业考研辅导培训的择优之选。实时更新2021考研时间,考研大纲,考研复试分数线、考研真题解读等考研信息。

管链输送机,全自动拆包机器人

安丘博阳机械制造有限公司(15306468692李)是全自动拆包机器人、全自动吨袋拆包机、管链输送机、全自动吨袋包装机、全自动吨袋装车机、全自动装车机及智能仓储物流装备定制的“研发+生产+服务”企业,也为工业4.0工业提供技改服务。安丘博阳机械现为工信部专精特新“小巨人”企业、国家知识产权优势企业、国家高新技术企业、山东省制造业单项冠军企业、山东省智能制造系统解决方案供应商。

绍兴市柯桥区慧伦纺织品有限公司

绍兴市柯桥区慧伦纺织品有限公司慧伦绣花工厂拥有近20年办厂经验,是一家专注于高品质绣花布及刺绣工艺的创新型企业。此外本公司还有近干种原创设计版权,几干种各类绣花样品,几十万料时尚新品备货。

分销代发

店管家分销代发系统专业为1688厂家(供货商)提供分销商家代销一件代发批量打单发货,支持阿里巴巴、抖店、快手、拼多多、淘宝、视频号、京东、小红书、微盟等平台分销商家一件代发。支持多平台多店铺一站式管理,订单智能分发,运单号实时同步到分销商店铺后台。店管家分销代发软件工具是一款可免费试用的打单发货erp软件,提供厂家和分销代发教程,一件代发操作视频等。分销代发是什么意思、分销代发怎么回收单号、阿里巴巴怎么申请分销代发、电管家分销代发、一件代发货源免费网、店管家订单分销系统、分销团队、怎样与厂家合作一件代发、1688申请分销怎么弄、分销和一件代发的区别、拼多多免费的代发厂家、分销和一件代发的区别、拼多多开店分销代发啥意思等教程。

定制不锈钢液压快速接头厂家

纳斯特17年专业快速接头厂家,致力于:快速接头/不锈钢快速接头/液压快速接头/定制快速接头/快换接头的研发与生产,所生产的液压快速接头、不锈钢快速接头、快换接头,品质优,寿命长,快速接头厂家咨询热线:19942061105

臭氧发生器

宏奥臭氧发生器占地面积小,运行稳定,款式品类齐全,厂家直供,价格优惠。咨询热线:189-7131-0042~

亚星

亚星代理平台拥有丰富多样的游戏产品,亚星同时为客户提供最新最全最正规的在线娱乐体验官方网站、真诚以现场游戏公开公平公正服务宗旨,亚星游戏官网www.yaxin222.com玩家首选。

焊锡机,自动焊锡机,自动螺丝拧紧机

全自动化设备厂家直销自动螺丝拧紧机、自动焊锡机、焊锡机等非标自动打螺丝机设备、等各种全自动焊锡机器人设备解决方案商家。咨询热线:136-1282-2594

工商注册公司

上海代理注册公司出照快,0元注册,多注册地址选择。同时提供变更、注销、代记账等一站式服务,欢迎咨询。

减速机

山东省德州市金宇机械有限公司是一家生产平面二次包络减速机厂家,减速机,蜗轮蜗杆减速机,蜗轮蜗杆副,平面二次包络减速机,精密减速机,钢厂专用减速机,立式减速机,卧式减速机,圆弧齿蜗轮蜗杆减速机等减速机的生产厂家,电话:13905342183

分辨率测试卡

镜头测试标定板厂家提供分辨率测试卡,棋盘格标定板,镜头测试Chart图卡,模组测试板定制及PCB线路板菲林等菲林制作输出和色差仪、光泽度仪等,并提供色差仪维修服务,可满足客户的不同需求。

全局底部横幅