VR这10年10大技术变革!虚拟现实离我们还有多远

VR这10年10大技术变革!虚拟现实离我们还有多远视角放大到整个行业 根据维深 WellsennXR 的数据 全球 VR 的销量在 2021 年突破了 1000 万拐点 看起来我们距离元宇宙越来越近了

大家好,欢迎来到IT知识分享网。

VR这10年10大技术变革!虚拟现实离我们还有多远

来源|极果编辑部

年的CES可以说是一场VR、AR行业的盛会了。雷鸟、夏普、HTC都有新品发布;松下的MeganeX、索尼的PS VR 2的产品也都悉数亮相;CES之外,PICO、Meta、Rokid也在最近发布了一些很有竞争力的产品;据传苹果会三月份也要发布MR产品。

VR这10年10大技术变革!虚拟现实离我们还有多远

视角放大到整个行业,根据维深WellsennXR的数据,全球VR的销量在2021年突破了1000万拐点,看起来我们距离元宇宙越来越近了。

VR这10年10大技术变革!虚拟现实离我们还有多远

但这并不是我们第一次有「VR要来了」的感觉:2012年的Oculus Rift发起众筹,30天内募集资金超过240万美元,远远超过其25万美元的集资目标。因此,2012年也被人称作VR元年。

从那以后,2014年,脸书收购Oculus,掀起VR创业潮,2014年是VR元年;2016年,微软推出Hololens和Windows MR,索尼推出了PSVR,这回声势更加浩大,AR和VR概念齐头并进,2016年是VR元年;2021年,字节跳动收购Pico、Facebook改名Meta,2021年也是VR元年。

直到最近有传言说苹果将在今年三月发布VR产品,于是VR元年理所当然地顺延到了2023年。为什么十年过去了,VR依旧在元年?

为了搞清楚这个问题,我们总结了从2012年众筹的Oculus Rift到2016年的HTC Vive,再到最新的Pico4,十年来影响VR产业的10大技术,以及他们对体验的实际影响,看看影响VR体验的最关键的技术是什么?距离VR眼镜普及到每个人还有多远?

VR这10年10大技术变革!虚拟现实离我们还有多远

VR最大的特征是接管了我们全部的视觉,我们只能看到VR显示给我们的内容,所以最影响VR体验的就是我们能看到的内容。

2012年Oculus Rift的分辨率只有800×600,低于同时期的手机屏幕分辨率。这导致Oculus Rift的画面颗粒感明显,你可以看到眼前密布的小小晶格,也因此有不少人出现了晕3D的现象。[1]

既然VR眼镜的分辨率还不如手机,那么为什么不直接用手机屏幕来显示呢?

2014年谷歌发布了Cardboard,同样是这一年,三星推出了Gear VR,2016年开始更是在消费者购买Galaxy S7时赠送Gear VR,国外大厂的大手笔投入开启了一次巨大的VR浪潮。

VR这10年10大技术变革!虚拟现实离我们还有多远

不过VR盒子依旧没解决沉浸感的问题,当时的手机屏幕还没有高刷新率屏幕,检测头部移动都依赖手机内置的陀螺仪,精度严重不足,所以非常容易眩晕。

要想彻底解决眩晕,我们得知道人眼到底是怎么观看内容的。

决定VR设备的显示效果有三大核心要素:视场角(FOV)、角分辨率(PPD)以及视觉暂留(Persistence)

视场角决定了能看到的内容尺寸,人类左眼能看到偏左100°-110°、偏右60°,共计最大可达160°的水平画面,双眼的「水平视角」加起来最大可达200°,两眼重合视域约为120°(左右各60°)。【2】

VR这10年10大技术变革!虚拟现实离我们还有多远

在这120°中,人眼最佳的注视区域约为90°;超过90°以后,就通常会采取转动脑袋的方式去看。因为斜着眼去看视角边缘的东西会增加疲劳感。

所以在VR光学中,90°视场角被认为是VR沉浸体验的及格线,120°视场角被普遍认为是达到部分沉浸式体验的标准,180°视场角则是VR达到完全沉浸的标准。

目前市面上的VR头显设备也都基本采用了90°-120°之间的视场角,介于及格和优秀之间。

VR这10年10大技术变革!虚拟现实离我们还有多远

以上VR眼镜中,Meta Quest 2和Pico 4是销量最好、技术最领先的两款产品,所以我们也重点测试了这两款产品的具体表现。

我们手里的这款PICO 4 的视场角是105°,基本上已经不会注意到四周的暗角,可以专注于画面中心的内容,在这一项指标上,VR已经超过了及格线了。

其实简单粗暴地追求更大的视场角也并不合理,由于VR眼镜(屏幕和内容)的分辨率不足,如果尺寸过大,人眼会直接看到显示屏的像素点,就好像隔着纱窗看东西一样。

VR这10年10大技术变革!虚拟现实离我们还有多远

那么多少屏幕分辨率才无法看出来像素点呢?

根据乔布斯在发布iPhone 4时对视网膜屏幕的定义,视网膜屏幕是指在10-12英寸的距离上,设备的像素密度达到300ppi(每英寸300像素)的水平时的显示效果

但是我们讨论VR这种大屏幕时,一般使用PPD (Pixels Per Degree),每度像素数量来衡量。根据乔布斯的定义,把视网膜屏换算成PPD,VR眼镜要获得视网膜屏幕级别的显示效果,需要至少57ppd。

如果一款VR眼镜单眼横向FOV为110°,纵向约120°。那么它需要一块至少 12540*6840 的屏幕输出双目画面,9倍于市面上主流的VR眼镜。

VR这10年10大技术变革!虚拟现实离我们还有多远

目前行业的VR设备分辨率都集中在4K(4320*2160)左右,计算下来PPD约为20,虽然距离视网膜屏幕的标准57较远。但是实际体验的时候,并没有明显的纱窗效应。

因为相比分辨率,人眼对亮度更加敏感,如果不是刻意盯着一点看,并不会看出明显的像素点,已经达到了及格水平。

VR这10年10大技术变革!虚拟现实离我们还有多远

制约屏幕分辨率提升的一个重要因素是渲染压力,移动端芯片无法计算如此多的内容。因此,VR眼镜必须针对我们的人眼生理结构优化显示效果。

VR这10年10大技术变革!虚拟现实离我们还有多远

由于人眼只能清晰地看到聚焦点周围大概2°的范围,所以我们通过可以降低周围的分辨率来降低对像素数量的需求。

因此,我们需要在VR头显中植入眼球追踪设备,追踪眼球中央凹的移动来获知用户的眼睛正看向哪个点,然后在这一点周围使用全清晰度渲染,其他地方使用低清晰度渲染。

目前HoloLens 2 、PlayStation VR2等设备都采用了眼球追踪技术。不过,因为现在只能生产分辨率均匀的显示屏幕,而且注视点渲染技术需要整条产业链上下游配合,所以注视点渲染对显示清晰度的提升比较有限。

我们在VR上看到眼球追踪的第一个应用恐怕不是降低渲染分辨率、提升使用体验,而是根据你看广告的哪个部分得知你的兴趣点,然后给你显示个性化广告。

在Quest Pro上市以后,国外科技媒体 Gizmodo 发现Meta 公司已经更新了其隐私政策,新增了一个名为「眼球追踪隐私通知」的条目,如果你同意分享额外的数据,Meta 将使用眼球追踪和其它数据点,「以帮助 Meta 个性化你的体验并改进 Meta Quest」。

Meta 公司全球事务主管尼克-克莱格在接受《金融时报》采访时表示,眼球追踪数据可以用来「了解人们是否被广告吸引」。

相信我们很快就能感受到这项技术对我们的影响。

VR这10年10大技术变革!虚拟现实离我们还有多远

相比暂时还没有明显影响的眼球追踪技术,Pancake则是实实在在地改变了了VR眼镜。

以往,限制VR眼镜体积和重量的主要原因是普通非球面透镜的TTL(Total Track Length 镜头总长)至少需要40mm。

VR这10年10大技术变革!虚拟现实离我们还有多远

PICO 4采用了新的Pancake透镜,可以折叠光路,把镜头做得更薄,也能把VR前面的眼睛本体做得更轻薄。

VR这10年10大技术变革!虚拟现实离我们还有多远

相比上一代,PICO 4因为Pancake方案,光学方案模组厚度减少约43.8%,整体厚度减少24%,重量减少28.8%【3】

所以,虽然Pancake透镜的成本相对更高,但是最新的产品几乎都采用了Pancake透镜。

VR这10年10大技术变革!虚拟现实离我们还有多远

Pancake透镜改变光路以后也深刻影响了屏幕材质的变化。

目前Pancake光学方案在光利用率方面仍存在缺陷,受多重透镜及光学膜的影响,透光率仅能达到20%左右。所以Pancake光学方案需要屏幕拥有更高的发光亮度。

MicroOLED技术(即硅基OLED技术)可以在维持相近分辨率水平的基础上显示面积更小的OLED,拥有更高像素密度(PPI),具备轻薄、耗电量少、发光效率高等优点,成为Pancake方案的黄金搭档。

VR这10年10大技术变革!虚拟现实离我们还有多远

光学方案还会影响瞳距调节和屈光度(近视)调节功能,比如多片Pancake方案就可以移动最近的一片Pancake镜片实现屈光度调节。

VR眼镜的显示屏间距需要和用户的瞳距匹配,不匹配的话会导致画面模糊、眩晕等问题,长期佩戴可导致近视。

Pico 4仍是手动电驱调节,即需要用户佩戴头盔后在设置里手动调整瞳距。而Pico 4 Pro会搭载眼动追踪模块,通过摄像头和红外模组定位瞳孔位置,通过电驱动自动适配用户的瞳距。

VR这10年10大技术变革!虚拟现实离我们还有多远

VR这10年10大技术变革!虚拟现实离我们还有多远

VR眼镜的处理器性能长期是体验上的短板。

VR芯片需要链接、处理十余颗摄像头的信息,所以VR眼镜对性能需求非常大,并且与手机芯片的需求并不完全相同。再加上VR头显的出货量只有每年1000万台,是手机出货量的大约1%,所以芯片厂商不会为了VR开发独立的芯片,而是用手机芯片的修改出一个VR版本,也就是骁龙XR1和骁龙XR2。

2018年5月29日,高通推出XR1平台,高通将AR、VR、MR等统称为XR(Extended Reality,即扩展现实),这也是XR1这个名字的由来。

骁龙XR1集成了高通自家的异构计算架构,包括基于ARM的多核心Kryo CPU、 Adreno GPU、向量处理器以及高通人工智能引擎AI Engine。为了配合XR1,高通还发布了包括XR软件服务层、机器学习、XR SDK等一系列软件支持。也就是说,XR1不单是一个芯片,更是一个平台,是一整套VR/AR的解决方案。

XR1可以看作是骁龙845的简化版,但删掉了通讯相关的组件,例如基带、调制解调器;将重点放在了异构计算和AI上面,同时功耗和散热方面也进行了优化,综合硬件性能与骁龙660接近,毕竟VR/AR设备往往会长时间运行游戏,而传统的SoC并不是十分适合VR/AR平台。

VR这10年10大技术变革!虚拟现实离我们还有多远

如果说骁龙XR1作为高通为XR行业带来的首个专用平台,对于这一平台能否为沉寂良久的XR行业打开局面,不少厂商仍保持着观望态度;那么,随着2019年下半年VR产业在设备和内容上袭来的一波巨浪,骁龙XR2平台的问世,恰逢其时地助燃了整个行业。

据官方公布数据显示,相较高通骁龙835,骁龙XR2在CPU和GPU性能上提升了2倍、视频像素吞吐量提升了4倍、单眼分辨率提升了6倍、AI性能提升了11倍。

VR这10年10大技术变革!虚拟现实离我们还有多远

骁龙XR2作为全球首款支持5G的XR平台,不仅支持3K单眼分辨率、8K 360°全景视频,还支持七路并行摄像头,除了支持用户追踪定位、生成景深图的四个朝外的摄像头(其中两个RGB摄像头用于支持MR体验,两个摄像头用于头部追踪)外,还支持两个用于支持眼球追踪的朝内的摄像头,额外的一个摄像头则可以用来进行面部、唇部追踪,或者通过进行手柄追踪。

2022年10月12日,高通发布了骁龙 XR2+ Gen 1 芯片,实现50%的续航表现提升,以及30%的散热性能提升。

只不过,两款芯片实际上都基于高通骁龙 865,这是一款四年前的处理器了,还是无法应对VR眼镜庞大的性能需求,想要玩Half-Life: Alyx这样的3A大作就需要外接电脑。

VR内置算力应该内置还是外置是一个两难选择:

内置算力的话性能永远不够,就算是现在最先进的骁龙8Gen 2也只能在840P的分辨率下运行60帧的原神,也无法满足VR眼镜的性能需求。

根据我们实测,PICO 4运行轻度游戏比较流畅,日常使用中也没有什么问题,距离运行《原神》这种高品质游戏还有很长一段路要走。

VR这10年10大技术变革!虚拟现实离我们还有多远

如果用外置算力的话,倒是可以玩Half-Life: Alyx这样的3A大作,但是VR头显和电脑主机的有线串流永远需要线材连接,很容易绊倒自己;无线串流的话配置极其麻烦,而且不太稳定。

因为VR眼镜出货量小,所以无法获得专属高性能芯片;又因为性能不足,所以体验欠佳,出货量无法提升。要想打破这个死循环,还是需要苹果完全针对VR需求制作一款杀手级别的芯片。

VR这10年10大技术变革!虚拟现实离我们还有多远

虚拟现实系统的高度沉浸,除了视觉方向的逼真感之外,空间的真实感也至关重要。要实现在虚拟空间下的随意漫游、全自由度观看、自然准确的虚实交互,都离不开虚拟现实空间定位。

目前VR主流空间定位方式有两种:

(1)Outside-in(由外而内的定位):顾名思义,需要在环境中布置定位器,实现从外到内的位置计算。

(2)Inside-out(由内而外的定位):由内向外的空间定位不需要额外布置空间定位设备,借助VR设备自身的传感器进行环境的感知与事实位置计算。

HTC Vive的Lighthouse室内定位技术使用的是红外激光定位,基本原理就是利用配套定位光塔(小方盒子)对定位空间发射横竖两个方向扫射的激光,再通过Vive头盔上的接收器接收光束,之后计算两束光线到达定位物体的角度差,解算出待测定位节点的坐标。

VR这10年10大技术变革!虚拟现实离我们还有多远

Oculus Rift也是红外光学定位的一种。Rift设备上隐藏了一些红外灯(即为标记点),这些灯会向外发射红外光,利用配套的摄像机去捕捉头显和手柄上的红外灯,过滤掉头显及手柄周围环境的可见光信号后;再利用PnP算法,即四个不共面的红外灯在设备上的位置信息、四个点获得的图像信息即可最终将设备纳入摄像头坐标系,拟合出设备的三维模型,并以此来实时监控玩家的头部、手部运动。

VR这10年10大技术变革!虚拟现实离我们还有多远

Inside-out是基于环境中设备自身的传感器进行周边环境的实时动态感知,通过视觉算法(SLAM算法)计算出摄像头的空间位置,从而实现对目标的位置跟踪。

而对于在VR/AR设备,主要是利用在VR/AR头显的视觉传感器,让 VR/AR 头显设备自己检测外部环境变化,借助计算机或者自身的算法芯片计算出 VR 头显的空间位置坐标。

因为Outside-in需要事先放置定位点的缺点,现在主流的VR都已经在使用Inside-out的技术方案。

VR这10年10大技术变革!虚拟现实离我们还有多远

比如PICO 4通过头显摄像头拍摄手柄20颗手柄环上的红外LED识别手柄的位置和姿态。实际体验中,PICO 4手柄的指针非常稳定,即使手柄和头显之间有部分遮挡,也可以识别手柄的位置和姿态。

不过即使如此,使用PICO 4之前依然要设定安全区,无法自由走动。关于安全区,全彩透视技术可能是解决这个问题的关键。

VR这10年10大技术变革!虚拟现实离我们还有多远

全彩透视技术属于视频透视技术(Video-seethrough)的一个分支,也就是通过相机捕捉到实时画面,将虚拟世界和真实世界合成后,呈现丰富色彩的显示画面。

首先要说明,全彩透视并不是简单把外置摄像头拍摄到的东西直接传回显示屏就行了,这么做无法显示物体的相对位置和绝对位置。要想做到戴上VR眼镜的全彩透视和摘下VR眼镜看到的内容差不多,就需要把空间中每个物体识别出来,然后计算出人眼应该看到的内容和角度,相当是一个VR版的自动驾驶。

全彩透视主要可以分为四步:透视、空间锚点(放置 AR 物体)、三维重建、环境理解及对象识别。

首先是硬件升级。从黑白透视到全彩透视可能会涉及到摄像头的升级,厂商们可能会将 VR 设备上的 RGB 的摄像头进行升级,甚至部分设备会配备深度传感器,以实现更高精度、色彩丰富的画面效果。

此前业内也有传闻证实这一点。据悉,相较于 Quest 2,Project Cambria(Quest Pro) 搭载了分辨率比 Quest 2 高三倍、专门设计用于彩色透视的深度传感器和摄像头,其能够实现以假乱真的混合现实体验。

VR这10年10大技术变革!虚拟现实离我们还有多远

其次在算法上也提高了一定的要求。由于全彩透视对分辨率、色彩的还原度和准确性要求较高,物体的位置和物体的大小范围一一对应,因此往往需要一套接近实时重构的算法。这提高了对算法和算力的要求,也对头显自身处理计算的能力有了更高的要求。

需要注意的是,Pico并不是把彩色摄像头的内容直接展现在屏幕上,而是把黑白摄像头的内容放在屏幕上,彩色摄像头只补充颜色信息。

根据我们实测,全彩透视可以完全满足出门随便走走的需求,但是还是无法摆脱安全区的限制,而每次使用都需要划定安全区非常影响VR眼镜的使用体验。

VR这10年10大技术变革!虚拟现实离我们还有多远

VR这10年10大技术变革!虚拟现实离我们还有多远

VR没办法搓屏幕,手势也只能做最基础的操作,深度使用依旧离不开手柄。

PICO4手柄主要升级在于结构、红外LED数量和全新的宽频线性马达:PICO4手柄采用全新的星环弧柱的设计更利于抓握,而手柄16颗手柄环上的红外LED与头部4颗LED形成的类拓扑结构保证了无死角追踪,有望提升手部操作识别的准确性。而手柄内置的马达直径20mm,振幅范围50Hz-500Hz,大小上已接近PS5手柄马达,相比Neo3和Quest 2的马达有显著提升。

手柄IMU采用Quest2同款芯片:手柄搭载426P IMU六轴陀螺仪来实现对手柄更准确的定位和追踪机器的运动和姿态,而426P过去仅被用于Meta Quest2的手柄。而PICO搭载426P我们认为从手柄上看PICO4 手柄已经具备一定硬件基础,相关定位和追踪能力有望得到升级,而手势操控或有望在后期成为主流的VR交互方式。

VR这10年10大技术变革!虚拟现实离我们还有多远

所以双手柄是行业主流方案,纯手势识别是厂商在努力尝试的方向,但是现在依旧有体验上的硬伤。

值得注意的是,根据我们的分析,苹果VR有可能没有手柄,直接使用Apple Watch作为VR的手柄。

在Apple Watch S8的发布会上,苹果在介绍车祸检测这个功能时,第一次强调了陀螺仪是「三」轴的。这一次Apple Watch使用三轴陀螺仪,表面上是为了检测车是不是翻了,但是如果仔细想想就能发现,三轴陀螺仪是不是也能检测你的手腕运动轨迹和姿态呢。

苹果从三年前的Apple Watch 从S6开始就加入了U1芯片。按理来说,手表是戴在手腕上的,取下来的时候基本上就是在充电,不太会有丢失的情况,发布会上也没说加入U1芯片能带来什么。

VR这10年10大技术变革!虚拟现实离我们还有多远

但是如果Apple Watch是AR遥控器的话,就能说得通了,U1芯片可以判断Apple Watch距离其他苹果设备的距离,也就是空间中的相对位置。

VR这10年10大技术变革!虚拟现实离我们还有多远

如果AR眼镜中放了一盆花,我们把手伸过去,U1芯片就可以检测我们的手是不是靠近了花盆。而触控是最符合直觉的选择交互目标的交互方式。

VR这10年10大技术变革!虚拟现实离我们还有多远

你有可能不知道,苹果在去年夏天发布会发布的watchOS8,里面新增了一个帮助残障人士使用手表的功能:辅助触控

这个功能Apple Watch增加了四个手势:

  • 食指拇指互点一下是前往下一个项目
  • 点两下是返回上一个项目
  • 将手握拳相当于确认
  • 握拳两下可以调出操作菜单

操作菜单里面有滚动、按下数码表冠这些功能,可以用捏手指上下选择,然后用握拳来确认,利用这两个手势你可以完全控制Apple Watch。这个功能现在可以用来操控智能手表,那么未来是不是也能用来操控智能眼镜呢?

VR这10年10大技术变革!虚拟现实离我们还有多远

VR这10年10大技术变革!虚拟现实离我们还有多远

用三轴陀螺仪识别我们手腕的运动轨迹,用U1芯片识别我们的手腕位置,用手势识别我们的操作,然后AR眼镜的操作就非常优雅了。

我们的点击操作既不需要隔着空气乱戳,也不需要在手上捏一个手柄,眼神注视就可以选择我们需要选取的物品,招之即来、挥之即去,只需要捏一下手指或者握一下拳就可以单击确认,操作AR眼镜会和操作智能手机一样优雅。

VR这10年10大技术变革!虚拟现实离我们还有多远

除了手部动作,身体其他部位如果有动作捕捉,就可以让你在元宇宙中拥有立体形象。而在动作捕捉背后能看到字节跳动更深的布局。

A-SOUL是于2020年末上线,由字节跳动与乐华娱乐联合企划的虚拟偶像团体,由字节跳动提供底层技术支持,而乐华提供中之人、内容策划运营等。

在B站的虚拟主播当中,「舰长数」最多的5位虚拟主播,全部出自A-SOUL。一场生日会,A-SOUL队长「贝拉」成为了虚拟主播区第一个达成万舰成就的主播。(注:B站的大航海也称直播舰队,是B站开发的月票机制,获取主播一定直播间权益和相关皮肤装扮等)

做个简单的乘法,舰长的连续包月价格为138元/月,仅仅大航海收益(不算充电、直播打赏等),「贝拉」一个月已经创造近200万元的收入。

VR这10年10大技术变革!虚拟现实离我们还有多远

目前,A-soul也会在Pico固定直播,VR直播可以完全发挥虚拟偶像的技术潜力,获得更好的直播效果。当直播发生在VR里时,有可能会完全重构内容的生产和消费逻辑,简单来说就是增加了互动维度和更丰富的信息。

举例来说,传统情况下,我们观看演唱会或者体育直播,只能跟随摄影机和导播的视角,看千篇一律的内容。但是如果我们在VR场景里,我们可以自由转动头部,查看其他角度的内容。此时,我们拥有了3DOF(Degrees Of Freedom)的自由度。

而现在的VR拥有6DOF的自由度,也就是说你可以前后左右上下自由移动,探索整个演唱会场景,在任何你想去的地方享受内容:感受球星在你面前踢球、偶像在你面前演唱。

VR这10年10大技术变革!虚拟现实离我们还有多远

6DOF的自由度对内容制作提出了更高的要求,因为它需要内容在任何角度都能经得起审视,但它也赋予了内容更高的表现能力,比如Pico和李玟的演唱会设计很多互动场景,增加了观众的沉寂感。

因为字节跳动在A-SOUL身上取得的商业成功和不断更新迭代,在VR需要完全动捕的时候,字节PICO也能提供一个非常完善的解决方案。

另一方面,整个行业也在快速进步,以往的动捕极其依赖大型设备,诺亦腾把设备做到了小型化,甚至一套设备只需要200美元,一个人就能操作使用。

这里有一个容易忽视的地方:用户在元宇宙世界的化身一般被叫做Avatar(《阿凡达》)。而正是当年的《阿凡达》电影借助头戴式摄像头以及改进的软件算法,完美解决了演员面部表情高精度采集的问题,凭借将3D、虚拟与动作捕捉技术结合,近乎完美的创造了潘朵拉星球,从而创造了电影史上最为绚烂的画面。

2022年,《阿凡达2》上映;《阿凡达》系列制片人乔恩·兰道近日透露《阿凡达3》的拍摄工作已完成了95%;而《阿凡达4》已完成了第一幕的拍摄;阿凡达有可能变成元宇宙领域最重要的一个IP,我们有可能像是逛迪士尼乐园一样体验潘朵拉星球。

VR这10年10大技术变革!虚拟现实离我们还有多远

整体来看,动捕技术已经处在爆发前夜,并且利用虚拟主播行业快速迭代,一旦有杀手应用出现,动捕就能快速落地,普及到每个人身上。

VR这10年10大技术变革!虚拟现实离我们还有多远

面部捕捉和动作捕捉一样重要,Meta希望未来人们在虚拟环境中见面就像在现实中一样真实。为此,Meta正在展开了名为虚拟化身(Codec Avatars)的研究项目,该项目致力于为人们在虚拟环境中创建3D数字化身。

目前,VR头显可以实时读取VR用户的面部表情,并将其转移到虚拟现实中。据悉,即将推出的Quest Pro或将成为Meta第一款提供面部跟踪(face-tracking)的设备。

Meta的目标是让一起打牌的人根据你的虚拟形象的微表情就能猜出你的牌是什么。但是目前的效果还非常简陋,扎克伯克发了下图的自拍到网上,被疯狂嘲讽。

VR这10年10大技术变革!虚拟现实离我们还有多远

苹果在面部捕捉上同样有技术积累,早在2017年发布的iPhoneX上,苹果就支持根据个人形象设计Memoji,并且Memoji可以模仿手机使用者的动作,整体体验比较逼真。

VR这10年10大技术变革!虚拟现实离我们还有多远

Memoji技术也会应用到苹果VR上,随着Face ID组件的小型化,苹果的VR设备大概率会支持扫脸解锁,然后根据你的表情动态调整你的虚拟形象。

VR这10年10大技术变革!虚拟现实离我们还有多远

另一个苹果布局已久的产业是空间音频功能。VR的3D空间是有位置信息的,所以声音也应该有位置信息。

正如Meta首席执行官马克-扎克伯格所指出的那样:

获得正确的空间音频将是我们为元宇宙所构建的东西中提供”令人惊叹”体验的因素之一。我很高兴看到它的发展。

为了带来更真实的AR和VR体验,Meta公司正在开发新的空间音频工具,以响应视觉中显示的不同环境。Meta的设想是,当人们可以戴上AR眼镜,重温全息记忆,其外观和声音与他们从有利位置所经历的完全一样,或者当他们在虚拟世界中玩游戏时,不仅能沉浸在画面中,而且也能沉浸在声音里。

在这方面苹果早在2019年发布的第一代AirPods Pro上就内置了陀螺仪,当时大家都不理解这个陀螺仪的作用是什么。直到一年后,系统更新让AirPods Pro支持了空间音频。

VR这10年10大技术变革!虚拟现实离我们还有多远

要做到空间音频,我们得知道人耳识别声音来源的原理:人耳识别物体方位依靠的不仅仅是声音到达两耳的时间差,还有声音到达两耳的相位差,相位差和时间差会被我们的头部和耳廓影响,用数学来表示就是HRTF (Head-related transfer function)头部相关传输函数。

VR这10年10大技术变革!虚拟现实离我们还有多远

苹果发布会上,AirPods Pro2支持用iPhone扫描你的耳朵就是为了这个。

VR这10年10大技术变革!虚拟现实离我们还有多远

在VR眼镜上放置扬声器不仅会让别人听到你在干啥,还会占用宝贵的体积,更不容易根据HRTF做空间音频功能,但是用AirPods Pro的话就没有这些问题了,所以苹果AR眼镜很可能没有内置扬声器,它的扬声器就是AirPods Pro。

VR这10年10大技术变革!虚拟现实离我们还有多远

以上就是十年来十大硬件升级。一部分硬件,比如屏幕,已经达到了及格线;而另一部分硬件,比如性能、全彩透视还有肉眼可见的进步空间,更有空间音频、面部捕捉、动作捕捉这种就快要实现的硬件巨大革新。

但是我们都知道,硬件上的升级还依赖软件上的配合,而要做到数字孪生,我们在元宇宙中的虚拟化身的动作就要和现实中一样逼真。

人类对于两足生物的运动可以说非常熟悉,一些动作细节上的问题例如错误的姿势/重心切换会很快打破画面带来的沉浸感。Half-Life: Alyx展示了通过一种经过改进的思路来解决这些问题。

首先,虚拟房间中的每一个物品都变得可以触摸,这些物件需要经得住近距离的审查。同时,人物发出、查看到的光线也更加复杂,所以硬件上就需要更多的光线追踪性能。

这里插一句,年前发布的骁龙8 Gen 2是高通第一次在硬件上支持光追,苹果的A16芯片本打算在硬件上支持光追,但是因为能效表现较差被砍掉,光线追踪可以确定是接下来一段时间移动芯片的主要升级点。

Half-Life: Alyx的枪械相比普通射击游戏也有很大不同。在普通的射击游戏,会有一个准星光标,你只需要用光标瞄准敌人,就可以射击。

而在Half-Life: Alyx里,你必须和现实世界一样,闭上一只眼睛,用枪支的准星瞄准。寻找掩体、探出头射击时也需要你的身体产生真实的移动,增加沉浸感。

VR这10年10大技术变革!虚拟现实离我们还有多远

当你在传统射击游戏中更换子弹时,你需要按键盘上的「R」或者是手柄上的「X」。而在Half-Life: Alyx里,你需要把弹夹从手枪中弹出、把手伸向肩膀处拿一个新弹夹插进去以后上膛才能继续战斗。

因为这一细节,你可以拔出弹夹观察弹夹剩余子弹数量,然后插回枪支中,这是以前的射击游戏不可想象的。

相比于以往只有拿起、放下两个状态的游戏,Half-Life: Alyx里你可以把物品拿在手里仔细查看,所以在房间中搜寻物品也变成了实际上的「翻箱倒柜」,而不是在每个地方都按一下键盘上的搜刮键。

VR这10年10大技术变革!虚拟现实离我们还有多远

因为这么多场景上的复杂性,所以想要生成足够有沉浸感的世界,只依靠人力的成本会变得高得不可接受。

VR眼镜的游戏售价对标主机游戏,Quest上一款游戏的售价约为25-50美元,在售价相同的情况下,VR眼镜的出货量相比主机要少一个数量级。

作为对比,PS4全生命周期出货量1.172亿台,而截至2022年7月28日,Quest 2系列累计出货量达1770万台。就算这个数据毫无水分,也只相当于PS4销量的15%。

再看收入,根据Sensor Tower数据显示,《原神》在2022年收获了15.6亿美元。而2022年VR游戏整个行业的收入也仅有18亿美元,仅相当于《原神》一款游戏的收入。

VR这10年10大技术变革!虚拟现实离我们还有多远

而在成本方面在2019年6月,原神项目组大约300多人,其中包括100多位美术,30多位策划,60-70位程序和其他协助人员,2021年7月,据传《原神》开发团队人数已突破1000人。

即使米哈游投入上千人,原神中的有些任务、剧情依旧没有配音,只有文字对话;对同一NPC的多次对话也不会有什么变化;在对话、剧情时,也无法交互,只能看着剧情发生,对话中的不同选项也不会对最终结局产生影响。

对于用户来说,就算Pico商店把价格降低到五六十元人民币,游戏价格也偏贵,尤其是在不提供免费试用的情况下,极大阻碍了用户购买游戏的动力。

所以,如果想要在VR平台需要投入比手游、主机更高的成本;但是产生的收益又远不如主机端和手机端,所以一直没有《原神》这样的高品质游戏。

VR这10年10大技术变革!虚拟现实离我们还有多远

在仔细盘点了VR眼镜的十年十大技术以后,对于VR行业的发展,我们也有了十条比较明确的观点和判断:

  1. Pancake技术的应用让VR的显示效果达到了及格水平;
  2. 眼球追踪技术可以进一步提升显示效果,不过这项技术的第一个应用场景可能是给我们显示个性化广告;
  3. 因为VR眼镜出货量小,所以无法获得专属高性能芯片;又因为性能不足,所以体验欠佳,出货量无法提升。要想打破这个死循环,还是需要苹果完全针对VR需求制作一款杀手级别的芯片,满足VR庞大的性能需求;
  4. VR平台的高品质游戏短期内不会有,因为它不仅需要VR拥有强大的性能,还需要针对VR重新设计交互逻辑和方式,成本高于传统游戏;
  5. AIGC可以极大降低VR的开发难度和开发时间,VR平台的高品质游戏需要AIGC技术的参与;
  6. 云游戏技术把游戏的运算放在云端,不需要VR设备有很强的性能,云游戏的发展有可能绕过VR的性能瓶颈;
  7. 现在VR平台的游戏和应用都比较贵,而类似XGP一样的订阅服务既可以降低用户的花费,也可以给予开发者稳定的收入,VR平台需要推出自己的订阅服务;
  8. 因为《阿凡达》和虚拟主播的探索,动捕技术正在变得越来越廉价,很快我们就会在虚拟世界中拥有自己的阿凡达;
  9. 综合以上几条,VR的技术要么已经基本成熟(显示、眼球追踪、动作捕捉)、要么苹果有很强的技术和布局(性能、面部捕捉、空间音频),苹果今年3月发布VR产品大概率是真的,可以把行业往前推进一大步;
  10. 苹果的VR很有可能没有手柄和扬声器:Apple Watch就是苹果VR的手柄、AirPods就是苹果VR的扬声器

市场上期待一个杀手应用还是一个全能硬件?

可以说都缺。

硬件上,现在需要苹果做出一款超级硬件,在性能上可以满足重度游戏需求;在体积上可以戴三五个小时没有明显不适;在操控上要简单好用;以及最重要的,需要支持自由移动,解决掉「安全区」这个痛点。

在软件上,需要一个米哈游一样的厂商,制作一款原神一样成功的作品,这中间可能需要用到AIGC技术、可能需要上千人的团队、需要VR每年上亿的出货量。

不过,知道了我们需要什么,我们就可以大概知道未来什么时候会到来。

苹果今年3月会发布一款VR产品;米哈游也表明了自己进军元宇宙的决心,并且开始布局云游戏;AIGC行业也出现了chatGPT这样的优秀产品,可以称得上是万事俱备,只欠东风。

引爆行业的有可能是苹果VR、有可能是一款像原神一样成功的游戏、有可能是云游戏技术、有可能是虚拟主播应用。

无论这个产品是什么,我们都已经听见元宇宙到来的声音了。

免责声明:本站所有文章内容,图片,视频等均是来源于用户投稿和互联网及文摘转载整编而成,不代表本站观点,不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益,请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权,请联系删除,如若转载,请注明出处:https://yundeesoft.com/96545.html

(0)

相关推荐

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

关注微信