更是魔法之跃 Leap光场技术 是技术之跃 Magic (更是魔法之跃的上一句)

文章编号:43465 最新资讯 2024-12-09 光学显示 Leap AR Magic

Magic Leap光场技术:是技术之跃,更是魔法之跃

Magic Leap ONE“创造者版本”一出就立马成为媒体焦点。滚石记者的体验报告称ML One现实的虚拟物体不透明,能遮挡物体,还没有颗粒感,这些效果可以说碾压HoloLens。

ML One是如何利用其光学显示技术做到这一点的?这个问题成为业内人士讨论的焦点。不少光学界专家也都出面解读。

但是,除了看到产品图之外,目前ML One并没有就显示技术给出更清晰的信息。雷锋网发现上海科技大学曹煊博士的一篇旧文《Magic Leap光场技术:是技术之跃,更是魔法之跃》对光学显示技术的研究状况,Magic Leap的技术都做了逻辑清晰的解释。其原文于2016年12月发表于《中国电子报》,雷锋网获授权转载。

作者简介:曹煊,上海科技大学虚拟现实与视觉计算中心(VRVC)博士。实验室由虞晶怡教授领导组建,致力于光场虚拟现实平台的研究和应用,以实现人眼无法分辨的虚拟现实为目标,从光场的捕获、压缩、处理、渲染和显示等方面开展基础理论研究与核心技术攻关。

原文如下:

Magic Leap从诞生之初就万众瞩目,凭借其三大核心技术(SLAM、CG、Light Filed)获得了巨额融资,尤其是其号称的“光场(Light Field)”技术更是被奉为黑科技。但由于迟迟没有推出商业化产品,外界对其质疑不断增加。

近日,随着外媒《The Information》公然“叫板”Magic Leap,国内声音也出现一边倒的趋势。Magic Leap的前两项核心技术SLAM和CG发展已经比较成熟,微软HoloLens已经侧面验证了这两项技术是可以商业化的。外界对其最大质疑集中在第三项核心技术——光场。Magic Leap号称的光场技术真的能如其名一样实现魔法之跃吗?该技术到底能不能改变VR/AR未来的技术路线和商业格局?

光场并非水中月

首先可以明确的是,光场并不是Magic Leap凭空构造出来的新概念,光场技术的理论研究已经持续三十多年,光场技术涉及多个交叉学科,技术难度高,但也不至于像超越光速那么遥不可及,国外多个研究机构都曾公开展示过光场样机(MIT、Stanford 、USC等)。

光场技术从1981年开始受到世界顶级科研机构的关注,并展开了持续的研究。类似电磁场的概念,光场是分布于空间中所有光线的集合。简单来说,光场技术的终极目标就是采集空间中所有的光线并投射出来,实现图1中类似《星球大战》中的数字全息显示。而Magic Leap之前公开的视频中也展示了类似的场景,如图 2所示。

Magic Leap光场技术:是技术之跃,更是魔法之跃

图 1 电影《星球大战》中的全息投影

Magic Leap光场技术:是技术之跃,更是魔法之跃

图 2 Magic Leap 展示类似《星球大战》中的全息显示

Magic Leap号称的光场技术并非水中月镜中花,该技术有足够理论研究支撑,至少实验室级的光场样机早已得到验证。

Magic Leap的虚与实

在2014年的CES大会上,英特尔就展示过类似的效果(Intel CES 2014 flying whale),它本质上是一种Video-Based AR技术,将鲸鱼的动态图像叠加在现场拍摄的视频上。

Magic Leap光场技术:是技术之跃,更是魔法之跃 图 3 Magic Leap展示的体育馆的鲸鱼

Magic Leap光场技术:是技术之跃,更是魔法之跃

国内普遍误解Magic Leap已经实现了裸眼空中悬浮成像技术,对其期望值甚高。裸眼空中悬浮成像技术目前进展缓慢,该技术在未来10年都难以实现。然而Magic Leap的研发目标并不是这样的技术,也没有表明不需要佩戴眼镜,而且其CEO Rony Abovitz曾展示过一块透明的镜片,可见Magic Leap仍然是需要佩戴眼镜设备的。

该镜片看似普通透明的玻璃片,Magic Leap称之为硅光电技术(Silicon Photonics),极有可能是Silicon Waveguides技术,光学顶级期刊OE上有大量文章研究过该技术。以色列Lumus以及微软HoloLens采用的是光波导技术(Light Waveguides),可以使显示器件更轻更薄,但只能为单眼投射单幅图像。而Magic Leap却称其采用的技术不仅能轻薄化,还能为单眼提供多幅不同聚焦的图片,从而实现光场显示。

Magic Leap光场技术:是技术之跃,更是魔法之跃

图 5 Magic Leap展示的硅光波导镜片

Magic Leap曾公开过三段Demo视频,都标注“直接拍摄、无后期特效”,而Demo视频中体现的光场显示技术,可以依靠多种技术方案实现。例如Lanman 在NVIDIA展示过Near-eye Light Field Display的VR头盔样机,虽然分辨率比较低,但确实实现了光场显示。另一种光场显示方案是多投影阵列技术,这也正是Magic Leap所采用的技术,美国南加州大学在2016年CVPR上展示过可实现1:1真人秀的裸眼光场显示,如图6所示,而该系统包括了216个投影仪、6台PC主机,占地一个房间大小。裸眼光场不需要用户佩戴特殊眼镜且能满足多人同时从不同角度观看,因此需要更多的投影仪来增加可视FOV 。Magic Leap需要佩戴眼镜,因此需要的投影仪数量和计算量都更少,但仍然是传统2D图像处理的好几倍。

Magic Leap光场技术:是技术之跃,更是魔法之跃

图 6 美国南加州大学基于多投影的Life-Size光场显示

Magic Leap的光场显示也采用多投影阵列的技术方案,并声称采用了光纤投影,如图7所示。如果该光纤投影能像普通投影仪一样稳定输出彩色图像,那么光场显示系统的体积可大大减小,但目前该光纤投影的性能是否达到光场显示要求并没有得到佐证。即使光纤投影达到要求,但光场显示的计算量仍然非常巨大,目前的移动端处理器都难以实现实时的交互式光场显示,仍然需要依赖电脑。

Magic Leap光场技术:是技术之跃,更是魔法之跃

图 7 华盛顿大学模拟的光纤投影

为了减少光场计算量,Magic Leap极有可能采用了眼球追踪技术。如图8所示,RGB光纤输入待显示的图像,I光纤输入红外光并进入人眼,根据红外相机捕获眼球反射的红外光可以分析出当前人眼的注视方向,通过追踪人眼注视方向来对感兴趣区域(ROI)图像进行聚焦处理。

Magic Leap光场技术:是技术之跃,更是魔法之跃

光场显示商业化的拦路虎

总体来说,Magic Leap声称的光场显示在技术原理上是可行的,且多个研究机构都展示过光场显示样机。但Magic Leap要商业化却面临着下列三大挑战:

第一,光场数据量太大,数据存储和传输都将面临问题。未来的AR/MR必然存在内容的分享,就像手机分享2D图片一样,但是现有的网络带宽还无法实现流畅的光场内容分享。近几年,压缩光场技术被提出,利用光场数据的冗余性可大大降低数据存储量。不过,随着5G网络和LiFi技术的发展,这个问题会迎刃而解。

第二,光场计算量大。要实现逼真的光场显示,其计算量是传统2D图像的好几倍,现有的移动端通用处理器难以负担如此大的计算量。微软HoloLens设计了全息处理单元(HPU),成功克服了通用移动处理器性能不足的问题。Magic Leap曾提及光场芯片(Light-Field Chip),该芯片能否实现实时的交互式光场处理,只能留给时间来验证了。现阶段的光场处理仍然依赖电脑。

第三,小型化、便携性。从图 6中可以看出,要实现逼真的裸眼(Glass-Free)光场显示所需要的设备的总体积约占一个房间。当然,Magic Leap通过佩戴眼镜降低了对投影数量和计算量的要求,不至于像图6中那么大。第一台计算机诞生时也占据了整个房间,发展到现在的笔记本电脑历经了六十多年。便携式的高性能光场显示样机在十年内是难以实现的,因此Magic Leap必须在设备体积和光场显示效果之间寻找平衡点,才能在短时间内实现小型化。虽然牺牲了光场性能,但相比其他AR产品仍然迈出了重大的第一步。

光场采集更接地气

光场可以分为“光场显示”和“光场采集”,两方面技术的理论研究都已经比较成熟。Magic Leap属于前者,现有的显示器件(LCD、OLED等)在每个像素点发出的光学是各项同性的,简单来说就是,当你从不同角度去看电脑屏幕时,看到的图像是一样的。而光场显示要求每个像素点在不同方向上发出不同的光线,现有显示器件都无法满足。光场显示现在面临的最大困难就是显示器件的革新,这需要材料学、光学、半导体等多个基础学科的共同努力。近几年,这方面的研究不断取得突破,如图9所示,这是David Fattal等人在《Nature》上展示的用于裸眼3D显示的多方向性背光,相信不久的未来光场显示器件会大量普及。

Magic Leap光场技术:是技术之跃,更是魔法之跃

图 9 David Fattal等人在《Nature》上展示的用于裸眼3D显示的多方向性背光

相比于光场显示,光场采集技术更接地气。因为光场采集不依赖于特殊的光学器件,用传统的单反相机组成阵列即可采集光场,而算法才是光场采集的核心。换句话说,光场显示更依赖于特殊的显示器件(硬件),而光场采集更依赖于算法(软件)。Magic Leap展示的所有Demo中,无论是机器人、太阳系、办公室的邮件等都是计算机渲染的光场,而没有采集真实场景的光场,可见Magic Leap现在还无暇顾及光场采集技术,亦或等待与其他光场采集技术团队合作。光场采集在洛杉矶的好莱坞已经被大量使用,包括《阿凡达》等经典3D电影都采用了光场采集技术,以达到逼真的3D显示效果。电影《黑客帝国》中躲避子弹的镜头也采用了基于相机整列的光场采集技术。相关技术在国内刚刚兴起,上海大剧院与叠镜科技合作拍摄了360°动静态结合的3D话剧,实现了逼真的虚拟现实体验。

Magic Leap光场技术:是技术之跃,更是魔法之跃

图 10 电影《黑客帝国》中采用的基于相机阵列的光场采集技术

Magic Leap提出的光场显示技术是一种终极显示方式,是一场伟大的、革新的技术突破。虽然投入巨大,商业化还面临困难,但仍然值得投入。面对当前产品商业化的困难,Magic Leap不仅需要研究上的技术之跃,还需要工程上的魔法之跃。

雷锋网后记:此文为一篇旧文,待Magic Leap公布更多信息,雷锋网还会邀请曹煊博士以及其他光学界人士对Magic Leap进行深入解读。

解读 Magic Leap One:除了娱乐,AR 眼镜还能怎么用? (二)

多个娱乐消费应用,Magic Leap One和其他AR眼镜有什么不同

解读 Magic Leap One:光学成像是怎么做的?(一)

关于 Magic Leap One,行业人士和读者们都是怎么看的?

Magic Leap 终于揭开神秘面纱!产品将于 2018 年发货

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/c30328726f66eca57e73.html
全局中部横幅
全局中部横幅
搜狐企业邮箱

搜狐企业邮箱分免费企业邮箱和收费企业邮箱,拥有十余年亿级邮箱运营经验,安全,稳定,海外邮件畅通无阻,业内首推“云服务”体系,充分满足企业用户的信息化及个性需求。

武汉市迪渡优品商贸有限公司

我们公司主要的特色服务是:汽车电瓶,汽车配件,汽车音响等,诚信是我们立足之本,创新是我们生存之源,便捷是我们努力的方向,用户的满意是我们大的收益、用户的信赖是我们大的成果。乘风破浪会有时,直挂云帆济沧海,耐驰人相信,面对新科技革命的激烈竞争,一定会创造出更加优秀的成绩,回报家乡、回报社会、回报祖国。

福昕软件-全球用户都在用的PDF编辑器及PDF阅读器

福昕软件为全球7.5亿用户提供高效专业安全的福昕PDF编辑器下载、福昕PDF阅读器下载、PDF转换器下载以及全面的PDF文档产品技术与解决方案,是具有完全自主知识产权的全球领先的PDF文档核心技术与应用服务的国产厂商,为PDF文档的安全保驾护航。

笛升云官网|仓库通官网

仓库通一款面向中小微企业的一站式的云进销存系统平台,为中小企业提供一站式仓储物流,进销存管理、仓库管理、资金管理等SaaS应用与服务,无需安装及维护,直接通过APP或电脑端在线使用。咨询热线:0571-81902717。

中庸环境技术(江苏南京)有限公司-干法VOC治理研发厂-低温干湿法非甲烷总烃治理-双碱法脱硫脱硝

中庸环境技术(江苏南京)有限公司始终致力于研发先进的环保技术以解决各类工业污染问题。公司主要业务范围广泛,涵盖了低温干湿法非甲烷总烃治理、低温湿法脱氨、双碱法脱硫脱硝等核心环保技术。此外,公司还提供水治理服务,以及环保管家、碳补集、碳计算及碳资产管理等一系列综合性服务。

气弹簧-支撑气弹簧-可锁定气弹簧-不锈钢气弹簧-气弹簧厂家

气弹簧-支撑气弹簧-可锁定气弹簧-不锈钢气弹簧-气弹簧厂家

上海帆布袋定制-帆布包定制价格-环保袋定制厂家-上海宏傲箱包有限公司

上海宏傲箱包有限公司主要从事帆布袋,帆布包,环保袋,购物袋,广告袋,手提袋等产品定制与销售业务;厂家直接发货,货源充足,质量有保证,价格合理,按需定制.如有帆布袋,帆布包,环保袋,购物袋等产品定制批发需求,欢迎来电咨询021-5278-8631.

合同范本网_提供原创、优质各行业2024最新合同范本

合同范本网(jht868.com)提供给您2024最新最全最合适您的劳动合同、租房合同、房屋租赁合同、购房、房屋买卖、租赁、劳务、购销、借款、装修、居间、商铺租赁、二手房买卖、销售等等合同范本,供您参考和下载!

智能电视ROM_刷机论坛_机顶盒论坛_电视论坛 - 51电视刷机网

51电视刷机网.提供康佳、海信、TCL、长虹、创维、海尔统帅、暴风、乐视等智能电视ROM刷机包,电视盒子系统固件、电视刷机软件、刷机固件下载以及液晶电视刷机教程,网络机顶盒刷机固件,家电维修资料、电视维修案例等优质行业资讯!

新东方比邻

“新东方比邻”是新东方教育科技集团旗下独资子公司,专为中国学生提高国际综合能力与文化素养,通过独立研发和引进科创、阅读、演讲、戏剧等综合性国际化素养课程,让中国孩子通过互联网提升国际对接力,讲好中国故事。

上士游戏_上士官网_上士福利_上士礼包_上士手游_上士游戏下载_上士客服_上士正版

上士游戏是一家专注于移动游戏发行的网络游戏公司。我们秉承“玩家需求至上,用户体验至上”的运营理念,自成立以来,我们一直致力于手机网游精品的精细运营。

全局底部横幅