厉害了!Adobe新技术可将全景视频变成6自由度视频 (厉害了阿大)

文章编号:46297 最新资讯 2024-12-10 VR视频 全景视频 6自由度视频 Adobe

厉害了!Adobe新技术可将全景视频变成6自由度视频

很早大家就发现,360 度视频和真正的 VR 相比差一些,于是就有很文章站出来说这些都是“伪 VR”。

他们给出的理由是,绝大部分的 360 度视频都不是 3D 拍摄的,更不用说 6 自由度移动。

也正是看出了这一点,包括 FAcebook、索尼、英特尔在内在 VR 领先公司都在尝试 6 自由度 VR 视频。但他们通常需要用到好几个高端相机组合拍摄,产生巨大的数据量,并由于运算量太大还得在云端剪辑。

不过 Adobe 或许可以改变这一点,他们刚刚展示了一项新技术,可以将平面的 360 度视频变成 6 自由度视频。如此,“伪 VR”也可以变“真 VR”了。

Adobe 的这项研究由该公司的首席研究员在本周的National Association of BroadcastersShow(国家广播协会展)上发布。最初由国外媒体独家报道。

所谓的 360 度视频变 6 自由度视频,从用户体验上来看,是指之前用户只能在 360 度视频里转动头部看四周,6 自由度则可以让用户不仅能转动头,还能在视频里上下前后左右地移动头部,就像是在真实世界里看东西一样。

那么 Adobe 是怎么做到的呢?

据该公司的研究员介绍,他们使用了一种新的扭曲算法(warping algorithm),这种算法可以在固定视点的视频里模拟出新的视点,同时保持 120 fps的帧率。

简单来说就是,普通的 360 度视频只有一个视点,就是相机的位置,而要想变 6 自由度,就得在这个位置周围创造新的视点,这样你才能前后左右移动,而周围的画面不动。

实际上,这一新算法不仅可以用在创造 6 自由度体验上,还能用于视频防抖,让一些手持拍摄时抖动造成的动态模糊画面更平滑。

不过,实现这些功能有一个条件,那就是相机必须得动,毕竟只在一个点拍摄是算不出精确深度的。

在 Adobe 发布的 研究论文 [1] 里,研究员介绍了这项功能实现的基本流程:

首先他们采用了一个运动恢复结构(structure-from-motion,SfM)算法来计算相机的运动并创造一个基本的三维重建架构。(雷锋网注:运动恢复结构是基于计算机视觉的三维重建方法之一)

用这个方法推测出三维几何值后,他们把视频的每一帧都映射(map)到一个六面的球体上,然后针对每个面运行标准的计算机视觉追踪算法。

对于将画面映射到六面体时不可避免会产生的失真情况,他们使用大于 45 度的视场角(FOV)产生画面重叠区域来解决。下面这个视频展示了算法实际运行的情况。

虽然很厉害,但这技术也不是万能的。除了要求相机要动外,三维重建的质量也取决于合成视点的位置与初始视点位置的距离。就是说,虽然能产生 6 自由度的体验,但如果你移动得太快太远,效果就会打比较大的折扣。

此外,有些自然现象也会带来问题,比如画面中遇到一大片没什么纹理的区域,遮挡情况以及光照的改变,它们可能会在重建点的画面中造成严重的噪点,以及在 3D 效果里带来“黑洞”(holes)效果。

在固定点的画面中,也会看到一些非静态物体的扭曲,这是由于算法试图将合成的帧和初始帧融合在一起。

俗话说,后期再厉害,不如把素材拍得好一点。所以很多公司直接用光场相机来拍摄 6 自由度视频,比如 HypeVR 带激光雷达(LiDAR)的 6K/60 FPS 相机,还有雷锋网之前报道过的 Lytro 那巨型的 Immerge 相机 。使用这些相机显然可以拍出更高质量的 3D 效果。

不过,话又说回来,这些相机全都是又大又贵的定制化产品,普通人一般用不起。所以,雷锋网认为,Adobe 的这套技术就算不完美,也给了普通用户做出 6 自由度视频的希望。

[1] Huang J, Chen Z, Ceylan D, et al. 6-DOF VR videos with a single 360-camera [C]//Virtual Reality (VR), 2017 IEEE. IEEE, 2017: 37-44.

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: /article/678ef0b6b9563f25dd15.html
全局中部横幅
全局中部横幅
长沙皮肤科医院_长沙皮肤病医院哪家好_长沙湘肤皮肤病医院

长沙皮肤病医院哪家好?长沙湘肤皮肤病医院是湖南一家皮肤疾病专科医院,专业治疗青春痘、脱发、皮炎、湿疹、荨麻疹、疤痕、胎记等皮肤疾病,医院开通网上咨询服务,一对一为您解答皮肤问题。

功夫,功夫小游戏,4399功夫小游戏大全,4399小游戏

4399功夫小游戏大全收录了国内外功夫,功夫小游戏,小龙大功夫小游戏,功夫熊猫小游戏,功夫足球小游戏,世界功夫足球小游戏,功夫小游戏在线玩,双人功夫小游戏。好玩就拉朋友们一起来玩吧!

乐清市思普乐自动化有限公司_全自动无线胶装机,切纸机,压痕机

乐清市思普乐自动化有限公司是一家专业印后设备制造商,拥有成熟的印后设备生产技术。从设计、生产、品质、销售和售后服务的每一个细小环节入手,认真对待、形成了一套完善的研发、生产、质量、销售管理体系。我司自主研发的全自动无线胶装机、切纸机和压痕机等一系列印后设备,类别齐全、功能完善、性能稳定,品质优异,价格适中,并在此基础上不断推陈出新。

理想作文网 - 观后感_作文大全_范文

理想作文网_专业提供各种优质教学文档,学习文档,优秀作文,经典美文,毕业论文,职场文档,古诗文,实用文,个人工作总结范文等优质文章内容资源文档。

智科信地产_山西临汾侯马+房地产开发/金域蓝湾/晋瑞驿都,侯马房地产,侯马,侯马世纪广场,侯马优质房源,金域蓝湾,侯马金域蓝湾

山西临汾侯马+山西智科信房产地产有限公司+房地产开发+金域蓝湾+金域小区+晋瑞驿都,智科信地产_山西临汾侯马+房地产开发/金域蓝湾/晋瑞驿都,侯马房地产,侯马,侯马世纪广场,侯马优质房源,金域蓝湾,侯马金域蓝湾

饺子导航(jzapp.cn) - 全自动秒收录各种电脑手机软件工具源码网址

饺子导航免费自动秒收录各种软件的网址并免费提供各种在线工具、电脑软件、手机软件、网站源码、网络技术、的使用教程与资讯。

提供专业的各类CMS网站建设开发服务,【辣辣建站吧】是你的理想选择,专注于为你打造高品质的定制网站

寻找专业的CMS网站建设服务?【辣辣建站吧】是您的首选。我们是一家专业的CMS网站建设开发工作室,专注于为客户提供定制化的CMS网站建设开发服务。凭借我们的专业技术和丰富经验,我们致力于为客户提供高品质的网站解决方案。联系我们,让我们共同实现您的网站梦想!

墨化MOTZIFY

MOTZIFY墨化,是新媒体艺术团队MOTSE墨子孵化的专注于内容创作与知识共享的荣耀团队。MOTZIFY以高质量的线上培训为入口,即时同步行业前沿技法,激发潜藏的艺术人才;背靠最新的流程与科技,MOTZIFY将在原创游戏和番剧及相关内容创作领域,不断拓展,创作极致内容。---www.motzify.com

- 上海乐章国际贸易有限公司 -网站首页

橡胶,合成橡胶,丁腈橡胶,丙烯酸酯橡胶,氢化丁腈橡胶,氯醇橡胶,混炼胶,硅橡胶,黏结剂,密封圈,胶管,胶辊,导电胶辊,复印机胶辊,橡胶零件,橡胶制品,瑞翁,瑞竹,化工,上海化工,汽车零件,EPDM,三元乙丙,ACM,NBR,HNBR,ECO,ECH,CR,氯丁,油封,垫圈,垫片,耐磨,耐高温,耐寒,硬度,压缩,永久变形,弹性,耐油,耐酸,耐碱,耐溶剂,发动机,汽车,摩托车,油管,隔膜,氟利昂,空调,汽车同步带,瑞翁中国代理,氯醇胶的性能,日本瑞翁公司,日本合成橡胶株式会社,CM580H,nbr,H75抗静电剂,氯醚橡胶生产厂家,上海硅橡胶混炼胶-硅橡胶公司---上海,硅橡胶混炼胶配方,瑞竹化工,瑞翁羧基,瑞翁的材料,

美品树

美品树(MEIPINSHU)是小业态日百快时尚折扣零售品牌,公司致力于通过整合全球优质上游供应链资源和百万家线下零售网点资源,以原创定制和品牌联营为商品驱动,以智能大数据技术为零售引擎,打造10万+家覆盖全国的日百折扣品牌店,满足3亿大众家庭极致性价比的产品需求

全局底部横幅