30多年前，钱学森先生提议将 “Virtual Reality”翻译为“灵境” ，并预言VR技术将成为促进人机结合以及人类社会进化的一个技术路线。世纪之交上映的 《黑客帝国》三部曲 ，向观众展示了Matrix虚拟空间中真假难辨的虚幻与现实。
2023年6月的WWDC（苹果全球开发者大会）上，研发了7年之久的 苹果Vision Pro面世。
Vision Pro是一款AR（Augmented Reality，增强现实）与VR（Virtual Reality，虚拟现实）融合的混合现实设备。从人机交互、硬件规格到操作系统，它的多项指标都为近年来处于探索阶段的XR行业带来了新的产品质量标准。因此，Vision Pro的面世也被行业评价为 “XR（XR，extended reality，扩展现实）的iPhone时刻”。
从科幻电影中真假难辨的虚拟空间，到苹果的突破性XR设备Vision Pro，在本篇报告中，我们将层层深入，聚焦XR行业，探讨如下问题：
30多年前，钱学森在一封写给时任“863计划”智能计算机专家组组长汪成为的信中，提议将“Virtual Reality”翻译为“灵境”，并在后续的信件中预言，VR技术将成为促进人机结合以及人类社会进化的一个技术路线。
世纪之交上映的《黑客帝国》三部曲，向观众展示了Matrix虚拟空间中虚幻与现实的交织。在科幻电影中，人们通过脑后“插管”等脑机接口技术，进入完全拟真的虚拟环境，与钱老对未来“人机融合”的“灵境”畅想不谋而合。
从科幻回到现实，2012年，勇于探索商业模式的公司Oculus首次在Kickstarter完成众筹，将VR设备带入了大众视野。Oculus后被Meta的前身Facebook收购。2016年，Oculus Rift发售，头戴显示器搭配上体感手柄的设计，成为了2016年VR元年前后业内主流的设备形态。HTC、索尼，以及国内的Pico纷纷入局推出各自的产品。
讨论虚拟现实，我们绕不开AR、VR、MR、XR这些概念，它们究竟指什么，区别在哪？
AR（Augmented Reality）通常被直译为增强现实。与虚拟现实VR不同，AR是将虚拟内容与现实物理世界叠加的技术。Google在2012年发布了Google Glass的原型机，是消费级AR设备较为早期的商业化探索。
MR（Mixed Reality）被译为混合现实，最早由科学家Paul Milgram 和 Fumio Kishino研究引入。2015年，微软发布HoloLens，让MR的概念进一步具象化，强调虚拟世界与现实世界的混合以及可交互。
MR与AR和VR似乎听起来都有类似之处，下图能够比较直观的体现三者的区别。
2017年，高通提出了XR（extended reality）扩展现实的概念，涵盖了VR、AR、MR的范 围，成为了虚拟现实交互类技术的统称。此后，高通还推出了XR的专用平台和基础硬件平台。
苹果Vision Pro的面世被行业评价为 “XR的iPhone时刻”。 虽然目前Vision Pro尚未在市场上正式面向消费者发售，但无论是相关的媒体测评还是官方披露的技术参数，都为整个行业“打了个样”，展现出了过硬的技术和产品水平，也吊足了人们的胃口。
在外观上，Vision Pro的设计酷似潜水镜。边框在面部周围微微弯曲，更加贴合脸型，提升了佩戴的舒适度。此外，Vision Pro以 VST（video see through）的方式实现XR功能。用户并非直接透过“眼镜片”观察外界，而是先由摄像头采集外部环境画面，再通过低延时把画面显示在眼前的屏幕上。
在系统上，Vision Pro采用的visionOS操作系统被苹果称为 “第一个为空间计算而设计的操作系统” 。visionOS与iPhone的iOS操作系统看上去有些相似。与iPhone不同的是，它的系统界面以立体空间感的形式呈现，能轻松实现眼睛、双手、语音交互的空间操作。
在硬件上，Vision Pro更是被业内称为 “不计成本，极限堆料”。 Vision Pro拥有12个摄像头、一个激光雷达传感器（LiDAR），再加一个M2芯片和一个R1芯片作为双处理器。其中M2负责图形计算，R1负责对旁边的环境和用户手势的感知协助。设备是采用Micro OLED显示屏，拥有双目2300百万像素，这也是业内最高规格的显示水平。
通过软硬件的创新，Vision Pro提升了用户的体验，无论是在办公的地方还是家里，用户眼前的显示面板和数字内容都能与所处环境相匹配。
具体来说，Vision Pro 从空间视听、五感交互、空间OS及内容生态三个方面 重构了以往的XR体验。
首先，在空间视听方面 ，Vision Pro的屏幕像素密度达到3386PPI，估算空间分辨率（Pixel per degree）约为35左右，即视场角中平均每1°夹角内填充的像素点的数量为35，这相当于每只眼睛分到的像素比4K电视还多。基于苹果Airpods耳机积累的空间音频技术，用户都能够通过Vision Pro辨别声音从哪个位置传来，获得更精准的空间视听体验。
其次，在交互方式上， Vision Pro采用了“眼动焦点交互”和“手势交互”两种人机交互设计，无需手柄等其他外接设备。这种基于人类本能设计的交互方式被称为五感交互，也叫自然交互。
最后，在空间OS和内容生态方面， 苹果一贯擅长将软硬件开发相结合，用软件系统的创新帮助打造更好的产品体验。这一次，苹果推出了空间操作系统visionOS。未来，或许会有更多应用接入visionOS系统，成为苹果产品体验的重要组成部分。
从Vision Pro公布的信息和目前媒体评测的反馈看，无论是Micro OLED带来的视觉体验，还是软硬件有机整合带来的良好交互和应用体验，都将用户视角下的XR体验带到了一个新的高度。并且，Vision Pro实现了VR与AR的无缝切换，相比于近年来的VR头显以及AR眼镜，实现了突破性的创新。
如果我们跳出当前现有的技术水平，使用户得到满足预期的理想XR体验应该是如何的呢？
VR和AR的目标体验是有差异的。前者追求虚拟世界对真实世界的 完全替代， 后者追求虚拟世界与真实世界的 无缝融合。
单从科学幻想的效果来看， 未来的VR 也许像电影 《头号玩家》， 让用户沉浸到一个全新的世界，完全用虚拟世界替代现实世界。这需要以视觉、听觉为主的完全拟真的感官体验。而 未来的AR 也许像电影 《钢铁侠》 ，在现实世界中和虚拟面板进行交互，侧重于虚拟跟现实之间的无缝融合。
接下来，我们基于使用者真实的体验，将评价XR所需的技术指标进行拆解：第一是视觉空间维度的指标，即单帧画面质量；第二是视觉时间维度的指标，即动态响应速度；第三是交互与佩戴的体验 。
目前，智能电子设备屏幕的技术发展已十分成熟，显示效果接近于人眼视觉的极限。但VR设备与手机不同，屏幕距人眼仅在3-5厘米之内，是非常近场的显示。因此，评价VR的单帧画面质量时，我们一般采用的指标是空间分辨率（Pixel Per Degree，PPD）
空间分辨率指视场角中平均每1°夹角内填充的像素数量，由显示屏分辨率和光学系统共同决定。理想情况下，每1°夹角的像素数越高越好。
人眼正常视力的分辨能力极限在50PPD-60PPD，PPD小于50，就可以感觉到视觉上的网格感，也是所谓的 纱窗效应。 目前主流的VR产品PPD大约在19-25，比如PICO 4的PPD是20.6，距离理想值还有较大差距。
苹果Vision Pro则预估在35左右，虽然已经远超其他厂家的产品，但它的 空间分辨率还需要提高75%以上才能满足拟真需求。 目前为止，还没有消费级产品的空间分辨率达到40以上，而达到60以上才能对应普通屏幕单眼8K、双眼16K的分辨率。因此，显示芯片技术还有很大提升空间。
左上、右上、左下、右下依次展示了空间分辨率（PPD）分别为10、20、30、40的显示效果；图片来自：ANSYS-HFSS
相信游戏爱好者一定不会对“渲染质量”感到陌生，它直接影响到游戏画面带来的沉浸感。对于主打沉浸式体验的XR来说，渲染质量同样重要。
渲染的四要素包含渲染对象的 材质贴图、几何体模型、光照、采样精度等 。这些参数越高，渲染质量越高，用户能看到的虚拟环境就越真实，沉浸度就越高。
虚拟物体以及环境的渲染，依赖计算机图形学中的 实时渲染管线（Real-time Rendering Pipeline）。 目前业内最先进的实时渲染技术是 混合光线追踪渲染管线。
与下图Meta元宇宙公布的渲染效果相比，2020年出品的游戏《Cyberpunk 2077》中，已经用上了业内最先进的混合光线追踪渲染管线。
从用户的视角来看，画面渲染质量如果不够好，会使虚拟环境的体验与现实差距过大，带给用户巨大的割裂感。
既然我们已能看到十分精美的电影动画，为什么渲染质量还会成为XR的技术难题？
电影特效采用的是离线渲染方式，每一帧都提前花费大量时间渲染完成，再呈现到荧幕上。一部电影甚至需要数月的渲染时间，花费几亿资金。而XR却需要实时渲染，渲染后每个画面都会直接推流到屏幕上，对图形GPU的算力要求极高，需要极高性能的显卡。但高规格的显卡不仅数量较少，移动端的设备也无法支持，因此短期内， 渲染质量仍然受限于算力。
视觉的时间维度即动态响应速度。帧率是否够高，延时是否够短，必然的联系到设备显示出的画面是否流畅丝滑，用户带上设备会不会“头晕眼花”。
帧率代表画面每秒重绘的次数，以Hz为单位。帧率越高，意味着显示内容动态越流畅清晰。目前主流VR头显的帧率在90Hz左右。而手机与显示器的帧率已经向120Hz以上发展。
XR的 “动作画面响应延迟”也就是MTP（Motion To Photons）， 是指画面数据在传输、渲染等过程中的时间差和输入指令处理的时间差造成的延迟。
过高的延迟易引起用户的 “3D眩晕症”。 若用户眼动、头动甚至身体移动后，画面在100毫秒之后才发生明显的变化，用户就会明显感到仿佛醉酒的眩晕状态。理想状态下，延迟短于20毫秒才不可能会引起人体的敏感。
图片展示了，在XR设备中，由于运算造成的延迟。图片来自：ResearchGate
目前主流的XR产品仍旧依靠手柄这类外接设备作为交互方式，在操作便捷度和直觉匹配上仍有较大提升空间。比如，当用户戴上VR或者AR眼镜，看到眼前的物体，会本能地伸出手去抓。但受限于多数设备的技术水平，用户经常会感觉够不到眼前的东西，或者手直接从影像穿过去了。
自然式交互是指用户以自然、基于直觉的方式与设备做交互。最符合自然交互的方式是 手势结合眼动，以及语音交互 ，因为不需要额外配置控制器。Vision Pro走的就是自然式交互的路线。
触觉传感器也是一种自然交互的解决方案。但目前触觉传感设备相对昂贵，且不够稳定。所以，苹果Vision Pro在研发过程中放弃了触觉传感器的方案，选择了手势、眼动和语音结合的自然式交互。下面的图片是visionOS支持的一些操作手势。比如，通过放开和捏起手指，就能实现图像的放大缩小。
当前VR类设备的重量平均在500g左右，尽管产品设计在人体工学上投入大量精力，佩戴时间过长仍然会造成不适。与之相对，AR眼镜的设备重量已经能降低到200g以内。
值得注意的是，轻量化应当是在前述几项技术指标完善之后，进一步追求的目标，如果以现有的技术水平一味追求轻量化，用户的综合体验就没办法得到保证了。
目前来看，XR行业面临的巨大挑战在于，用户期待更好的产品体验，但当下的技术暂时还满足不了用户的高期待。 和台式设备不一样，XR设备只能借助移动端有限的算力和显示设备，并且XR设备功耗又偏高。
站在科技创业投资的角度，峰瑞一直关注关键技术点的突破，及其带来的爆发性商业机会。XR行业在2016年经历过一波热潮后，逐步沉淀下一些有商业化价值的B端需求，例如教育、工业巡检。而在C端，更好的产品体验背后，离不开关键技术迭代。
拆解了相关的技术指标，我们大家都认为技术研发的关键挑战在于 提升XR的视觉体验。 这背后不仅涉及到 硬件端的显示模组与光学系统方案 ，也依赖 软件层面CG实时渲染技术 的逐步发展。此外，如何 改善画面运动延迟、提升沉浸感 也是目前XR设备的一大痛点。
人们在XR设备里看到的屏幕主要是由显示模组构成的。目前显示模组主要有 Fast-LCD、Micro OLED和Micro LED 这三种技术方案。
Micro OLED 具备高像素密度、高对比度的特性。但OLED是一种有机材料，容易老化，并且亮度比LED低不少。
相比于Fast-LCD和Micro OLED， Micro LED 或许是下一代显示模组更理想的方案。根据智东西报道，苹果已投入大量资金开发Micro LED。苹果于2014年5月收购LuxVue，该公司主营Micro LED 业务，拥有多项可用于苹果设备的Micro LED专利。
Micro LED兼具了LCD和OLED的优势，同样具有拥有高像素密度，高对比度，高分辨率等多重特性。Micro LED的亮度理论上能够达到10万尼特以上，高于Micro OLED两个数量级。并且，由于Micro LED在生产的全部过程中不易受到污染，因此良品率更高，寿命也更长。
目前，全彩色Micro LED还处于研究阶段，没有实现大规模量产。如果要制备全彩色Micro LED，主要有三色集成和量子点转色两种路径，两种方案都处于技术早期，存在不同程度的挑战。
三色集成方案对微观制造工艺的要求非常高，需要所有单色器件具备较好的一致性。三色集成方案中，红光器件在尺寸缩小到微米级别甚至更小时，发光效率远低于绿光和蓝光器件。量子点转色方案则可以规避三色集成方案中的工艺难点，直接用相对较成熟的蓝光器件作为光源，使用量子点材料转色得到红光与绿光。
然而， 不吃工艺的苦，就要吃材料的苦。 目前的量子点材料容易老化，常规使用的寿命较短。另外，量子点器件的变色层有时会漏光，产生相互串扰。
由于工艺相对简单，量子点转色是目前大部分创业团队的主流选择。但从投资角度来看 ，两种技术路线仍处于竞争中，还需等待一个相对更成熟的关键点。 不管哪一种路线最终胜出，都将推动Micro LED技术的产业化。我们将持续关注Micro LED相关的工艺、材料以及设备等方向的技术创新。
XR设备屏幕离人眼很近，人眼很难聚焦。所以，人们要设计一套独特的光学系统，让光线在狭小的空间内多次传导，使人眼能够清晰聚焦显示面板上的内容。
目前，在VR领域，Pancake超短焦折叠光路方案慢慢的变成了新款头戴设备的主流选择。当前苹果Vision Pro、字节旗下的Pico4均采用此方案。据财联社报道，Pancake解决了VR模组过于厚重的痛点，可将机身厚度降低约50%。
而在AR领域，衍射光波导方案将成为AR主流的光学设计，整体结构轻薄，视场角FOV与分辨率比较高。但目前衍射光波导技术的整体成熟度还不够高，存在色散（由于光线的折射和散射现象导致的色彩偏移现象）和光损控制（光在传播过程中的亮度损失）的问题。
往前沿的方向看，超透镜（Metalens）与微透镜阵列是行业预期的下一代XR光学技术路线。超透镜是使用超表面（一系列亚波长厚度的平面二维结构材料）聚焦光纤的平面透镜，能轻松实现对入射光线振幅、相位、偏振等参量的灵活调控。
微透镜阵列在概念上与超透镜类似，是由一系列微米级别的微小透镜构成的阵列，能轻松实现传统单光学镜片没办法实现的复杂功能。Intel基于异构微透镜阵列技术研发出了180°FOV的小型紧凑VR头显设备。
超透镜（Metalens）与微透镜阵列这两个技术路径的优势就是集成度更高，可以用更小更轻薄的光学系统，满足XR设备的显示需求。尽管这两种方案尚处于研发初期阶段，但已经展示出很强大的应用潜力。
我们在上文提到，移动端设备算力有限，XR设备难免受限。如果能将渲染挪到“云端”，也就是“实时云渲染”，可能会突破算力约束、实现高质量实时渲染。当前，实时云渲染最直观的应用就是云游戏。
首先，实时云渲染仅局限于单GPU，暂不兼容分布式运算，这一点和AI大模型天然支持分布式计算不同。
目前，业界正在探索在XR领域实现多卡分布式渲染，提高算力，但进展较为缓慢。如果未来分布式渲染可以在一定程度上完成突破，可能我们在使用VR设备时，就像我们今天能够在手机上使用AI相关的应用，体验到远超移动端本身的算力性能。
实时云渲染的另一个难点在于，它增加了基于网络的视频推流环节，更难控制画面延迟的问题。针对视频的网络延迟控制，视频编解码优化与端云异步渲染是当前主要的发展方向。
视频编解码优化是指，在视频推流时用一套云端专用的编解码定制芯片替代CPU和GPU，来优化延迟。它可以把整个编解码的时间降到1毫秒以内，并尽可能压缩所有的环节的时间。
端云异步渲染是指将画面渲染与终端显示并行执行。云端渲染好基础画面，终端按照每个用户位置和姿态二次计算得到实时画面，由此减少延迟。
所以，渲染的技术进步中，不仅有移动端硬件的机会，比如在更高节点进行网络通讯和数据通讯；在软件层面，也有更适合云端渲染的新渲染技术的机会。
从2023年上半年开始，主算力芯片加协处理芯片的双芯片方案慢慢的变成了XR业内的主流处理器方案。通过一个XR协处理专用芯片为主芯片排忧解难，两个芯片共同配合工作，可以有明显效果地提升使用效果和计算效率。
作为负责空间计算和感知的专用芯片，用于XR的协处理芯片相当于以前手机上的M系列芯片，它能轻松实现前端摄像头加传感器数据的感知合成、SLAM建图、Mapping及手势跟踪等复杂功能。主处理芯片则只需进行核心逻辑运算。
苹果Vision Pro中，R1芯片作为协处理器，负责处理来自12个视觉摄像头，5个传感器，6个麦克风输入信号的数据处理工作，实现空间计算所需的姿态跟踪、眼动跟踪、3D环境感知以及手势跟踪等核心功能，动态延迟仅有12毫秒。
目前协处理器所执行的任务仍相对简单。未来，分区渲染、双眼焦点的渲染等更复杂的功能或将逐步转移到协处理器上运行，我们大家都认为，随着苹果的示范效应，未来协处理器的定义和功能仍有机会拓展，并解决更多面向XR的专有需求。面向XR行业的双芯片架构将会在未来成为主流趋势。
站在科技创业投资的角度，峰瑞一直关注关键技术点的突破，及其带来的爆发性商业机会。苹果的Vision Pro既为XR行业打了个样，也将助力XR领域吸引更加多的关注与创业资源。
而XR设备想要实现更好的产品体验，离不开 关键技术迭代 。当技术不断成熟后，XR设备能应用到更多场景，为更多用户所带来实打实的核心价值。
我们认为，技术研发的关键挑战在于 提升XR的视觉与交互体验 。这背后不仅涉及到硬件端的显示模组、光学系统、交互模组，也依赖软件层面CG实时渲染技术的逐步发展。此外，如何改善画面运动延迟、提升沉浸感也是目前XR设备的一大痛点。
我们也会持续关注在 MicroLED、新型光学系统，以及CG实时渲染等相关软硬件技术的突破。 这些技术革新将助力XR设备未来成为下一代移动计算设备，甚至有可能创造出类似于智能手机替代传统PC的大变革机会。
畅想未来，可能在几年内，用户戴上XR设备之后，就能像钢铁侠那样去体验各种各样XR带来的一些有意思的新应用。这些新应用不仅是提升生产力的应用，还包括娱乐应用。也许那时候，我们无需攒人品去抢一张周杰伦的演唱会，通过XR设备，就能沉浸式地从家里的沙发，瞬移到鸟巢体育场的座位。
