为了结合数字世界和真实物理世界交互和展示优点，人们已经开发了多种混合现实技术，诸如空间增强现实技术(SAR)[1]等等。为了解决现有多种MR设备相互结合的困难，以提高用户沉浸式探索体验，降低注意力转移的代价，本文[2]提出并实现了一个结合多种混合现实方法的概念框架，将现实空间到虚拟空间之间依据增强等级划分为6个阶段，同时使用两个案例解释整个框架的工作流程。
本文中提出的6层次模型如图1所示，随着对现实世界增强程度的提高，分别是物理世界（Physical World），增强表面（Augmented Surfaces），空中数字内容（Mid-air Digtial Content），物体解耦合（Object Decoupling），身体解耦合（Body Decoupling）和虚拟世界（Virtual World）。本文中介绍的两个场景分别是火山模型协同探索和机械工件维修：前者希望探索者能够物理感知场景，围绕模型观察讨论，深入内部视角探索；后者希望探索者能够从特殊视角观察工件，并对其进行增强标注。
图1，本文提出的6层概念模型
Level1增强表面是指使用数字投影的空间增强现实，将对场景的补充文字，标记，注释，图像等信息投影在被追踪的真实物体表面。利用被追踪的笔或指针可以在物体表面进行绘制，绘制的内容会实时体现在其表面，如图2中投影在机械工件上的红光。在这一过程中，通常利用将图像投影在被追踪的纸上的方式展示内容，称为”interactive pictures”。
图2，实用SAR技术和追踪系统实现的Level1增强表面
Level2空中数字内容是指不依赖HMD的方式在物体表面之外的空间附加信息。如图3，通过向被追踪的interactive pictures上进行投影展示画面，利用追踪笔在纸上绘制文字等信息，如同透镜一样，将内容增强在投影画面中。相比于如HoloLens的HMD，这种方法不需要佩戴设备，并且可以增加视线在不同模型之间的转换速度，降低注意力转移代价，弊端是无法解放双手，且操作区和视野较小。
图3，通过interactive pictures的方法在“空间”中绘制红色的文字和箭头对工件进行说明
Level3物体解耦合和Level4身体解耦合依赖VR头戴式设备，为物体增加更加灵活的交互，并且在虚拟现实场景下改变物体的形状，复制出额外的虚拟物体进行交互模拟，并可以改变视角，旋转或深入场景内部，对场景加深理解。从Level1到Level4，对现实的增强和扭曲程度逐渐加强，使得用户利用这个系统交互时，能够体验到由现实平滑过渡成虚拟世界的过程。
图4， 左图为佩戴者视角钻入火山模型内部查看岩浆流动和森林的相互作用，右图为转换视角到工件背面查看同伴的操作
该框架使用的设备如下：VR头戴式设备HTC Vive；多种追踪检测、动作捕捉设备，诸如Microsoft Kinect，Optitrack Flex；以及多台数字投影设备。这些设备悬挂在130cm*80cm的工作台上方，如图所示。
图，本系统中追踪和增强设备的设置
本文提出的概念模型很好地将现实-虚拟空间划分成6个等级，并利用不同的设备组合成了一个完整的系统。对于沉浸式可视化来说，本文的可取之处是可以依照框架提出的不同层级思考对应的场景，投影设备可以由置于桌面上的显示屏替代，此时可以适当依赖追踪设备对探索者的动作进行捕捉反馈，并可以提供等效interactive pictures的手持设备画面，以提高没有佩戴头戴式设备的用户的交互体验。
[1] Ramesh Raskar, Greg Welch, and Henry Fuchs. 1998a. Spatially augmented reality. In First IEEE Workshop on Augmented Reality (IWARâA˘Z98) ´ . Citeseer, 11–20.
[2] Roo J S, Hachet M. One Reality: Augmenting How the Physical World is Experienced by combining Multiple Mixed Reality Modalities[C]// The, ACM Symposium. ACM, 2017:787-795.
评论关闭。