厉害了!Adobe新技术可将全景视频变成6自由度视频 (厉害了阿大)

文章编号:46297 资讯动态 2024-12-10 VR视频 全景视频 6自由度视频 Adobe

厉害了!Adobe新技术可将全景视频变成6自由度视频

很早大家就发现,360 度视频和真正的 VR 相比差一些,于是就有很文章站出来说这些都是“伪 VR”。

他们给出的理由是,绝大部分的 360 度视频都不是 3D 拍摄的,更不用说 6 自由度移动。

也正是看出了这一点,包括 Facebook、索尼、英特尔在内在 VR 领先公司都在尝试 6 自由度 VR 视频。但他们通常需要用到好几个高端相机组合拍摄,产生巨大的数据量,并由于运算量太大还得在云端剪辑。

不过 Adobe 或许可以改变这一点,他们刚刚展示了一项新技术,可以将平面的 360 度视频变成 6 自由度视频。如此,“伪 VR”也可以变“真 VR”了。

Adobe 的这项研究由该公司的首席研究员在本周的National Association of BroadcastersShow(国家广播协会展)上发布。最初由国外媒体独家报道。

所谓的 360 度视频变 6 自由度视频,从用户体验上来看,是指之前用户只能在 360 度视频里转动头部看四周,6 自由度则可以让用户不仅能转动头,还能在视频里上下前后左右地移动头部,就像是在真实世界里看东西一样。

那么 Adobe 是怎么做到的呢?

据该公司的研究员介绍,他们使用了一种新的扭曲算法(warping algorithm),这种算法可以在固定视点的视频里模拟出新的视点,同时保持 120 fps的帧率。

简单来说就是,普通的 360 度视频只有一个视点,就是相机的位置,而要想变 6 自由度,就得在这个位置周围创造新的视点,这样你才能前后左右移动,而周围的画面不动。

实际上,这一新算法不仅可以用在创造 6 自由度体验上,还能用于视频防抖,让一些手持拍摄时抖动造成的动态模糊画面更平滑。

不过,实现这些功能有一个条件,那就是相机必须得动,毕竟只在一个点拍摄是算不出精确深度的。

在 Adobe 发布的 研究论文 [1] 里,研究员介绍了这项功能实现的基本流程:

首先他们采用了一个运动恢复结构(structure-from-motion,SfM)算法来计算相机的运动并创造一个基本的三维重建架构。(雷锋网注:运动恢复结构是基于计算机视觉的三维重建方法之一)

用这个方法推测出三维几何值后,他们把视频的每一帧都映射(map)到一个六面的球体上,然后针对每个面运行标准的计算机视觉追踪算法。

对于将画面映射到六面体时不可避免会产生的失真情况,他们使用大于 45 度的视场角(FOV)产生画面重叠区域来解决。下面这个视频展示了算法实际运行的情况。

虽然很厉害,但这技术也不是万能的。除了要求相机要动外,三维重建的质量也取决于合成视点的位置与初始视点位置的距离。就是说,虽然能产生 6 自由度的体验,但如果你移动得太快太远,效果就会打比较大的折扣。

此外,有些自然现象也会带来问题,比如画面中遇到一大片没什么纹理的区域,遮挡情况以及光照的改变,它们可能会在重建点的画面中造成严重的噪点,以及在 3D 效果里带来“黑洞”(holes)效果。

在固定点的画面中,也会看到一些非静态物体的扭曲,这是由于算法试图将合成的帧和初始帧融合在一起

俗话说,后期再厉害,不如把素材拍得好一点。所以很多公司直接用光场相机来拍摄 6 自由度视频,比如 HypeVR 带激光雷达(LiDAR)的 6K/60 FPS 相机,还有雷锋网之前报道过的 Lytro 那巨型的 Immerge 相机 。使用这些相机显然可以拍出更高质量的 3D 效果。

不过,话又说回来,这些相机全都是又大又贵的定制化产品,普通人一般用不起。所以,雷锋网认为,Adobe 的这套技术就算不完美,也给了普通用户做出 6 自由度视频的希望。

[1] Huang J, Chen Z, Ceylan D, et al. 6-DOF VR videos with a single 360-Camera [C]//Virtual Reality (VR), 2017 Ieee. IEEE, 2017: 37-44.

原创文章,未经授权禁止转载。详情见 转载须知 。


本文地址: https://www.gpxz.com/article/678ef0b6b9563f25dd15.html
全局中部横幅
全局中部横幅
全国报刊大全和国内报刊大全

全国报刊大全和国内报刊大全-在线看报系统-在线读报-报纸在线阅读系统,无论国内和国外,所有报纸期刊杂志尽在53BK报刊网

四川绿化苗木

四川百泽园林有限公司长年提供各种绿化苗木、绿化苗木价格咨询,苗木基地、苗木品种齐全、价格合理,全国配送,咨询电话:13881977879.

IKEWENNA

过去的十几年间,先后诞生了IKEWENNA和AMOURDETULLE两大美体内衣品牌,推出多款美体内衣,以及家居内衣睡衣与时尚配饰。满足不同功能需求,用专业严谨的态度打造专属东方女性的美体内衣。从重塑到精雕,从整体到局部,从美体内衣到时尚家居。用创新与坚持,以及锲而不舍的突破,聚焦每一个细枝末节,多品类发展。

上海松江IT外包服务/应急上门/综合布线/IT采购

帛言信息奋进14年为为200+企业客户提供上海IT外包、IT采购、弱电工程、系统集成、软件订制等服务,详情咨询136-5198-9880

水幕墙施工厂家

水幕墙制作厂家电话:15930115771专业水景墙、石材水幕墙生产设计及施工,室内水幕系统,庭院水幕墙,石材流水背景墙,假山喷泉鱼池制作,数字水幕,拉线水帘,流水景观墙,创意水景安装,水景墙制作厂家在等各省市完成了诸多大型水幕墙制作,流水墙施工案例,数控水幕安装施工技术精湛,水幕帘价格低。

社保网

社保网提供社保、养老、医疗、五险、公积金网上查询服务。

江山市萝卜贸易有限公司

萝卜日用品网,专业的日用品推荐网站,精心筛选各类生活必备日用品,从家居清洁、个人护理、厨卫用品到文体休闲等各品类,满足您日常生活各种需求。

傲蓝筑动力软件

傲蓝筑动力软件,专业的建材租赁软件、建筑设备租赁软件和铝模板租赁软件。全面规范管理钢管钢材、扣件、铝模板、钢板桩、爬架脚手架等建筑周材及塔吊、施工升降机、吊篮等建筑设备的租出、丢损、租入、租转售和进销存等租赁业务管理。

新广告法违禁词查询

【易胜手】商业营销推广平台提供2021新广告法违规词查询、广告禁用词、敏感词、黑名单词查询,旨在提供适合电商、网络营销推广等行业的在线辅助营销工具,为您的企业提升价值。

首页

南昌市鑫帮企业服务有限公司

昆明钰腾达厨房设备有限公司

昆明钰腾达厨房设备专业设计、生产、销售、维修、承接各种厨房设备工程,嘉速厨房设备经营项目:1.承接宾馆、酒店、食堂厨房设备、工程设计安装及工程改造;2.高中档宾馆、酒店陶瓷餐具、玻璃器皿;3.制造、销售、更新、改造、安装、修理厨房煤气设备;4.经营不锈钢餐具、西餐厨具、客房用品、炊事机械、电热设备、制冷设备;5.维修、销售各类厨房机械设备。


全局底部横幅