在混合现实中2D和3D数据可视化之间变换的设计空间(A Design Space For Data Visualisation Transformations Between 2D And 3D In Mixed-Reality Environments)

在可视化设计中的指导原则中, “慎用三维”一直是重要而经典的一条原则[1]。三维可视化在许多场景下并不是合理的选择,其原因包括三维场景下遮挡问题与透视畸变的现象会较为严重地影响人们对三维可视化的认知。但三维可视化并不是一无是处,相较于二维可视化, 多出的一个维度可以一次性地编码更加丰富的信息,增强用户对数据整体的感知与理解。将二维可视化与三维可视化进行结合,同时发挥二维与三维可视化的长处才是最为合理的手段。

在经典的Rolling the Dice[2]和GraphDice[3]等一系列工作中,作者使用三维可视化作为过渡动画,展现不同属性的二维散点图之间的切换,帮助用户在视图切换时保持对数据的心理模型,增进用户对不同散点图之间关系的理解。在近年来,新的沉浸式可视化技术(VR,AR已经MR等)将可视化的显示技术从二维的平面转移到了通过双目视觉成像的三维空间,这毫无疑问给予了三维可视化更加合适的展示设备,带给了三维可视化新的机会。在论文《A Design Space For Data Visualisation Transformations Between 2D And 3D In Mixed-Reality Environments》,Tim Dywer实验室的研究人员基于他们长期研究的大量沉浸式可视化工作,希望对混合现实(MR)中二维可视化与三维可视化之间的变换进行一个总结,给出一个设计空间。

在本论文[4]中,作者使用了先明确定义研究问题,然后自上到下由整体到细节的逐步分析的方式,给出了混合现实中二维与三维可视化之间变换的总体设计空间。

首先作者对研究问题中的“3D”一词进行了辨析(图1),因为此处的“3D”既可以是在描述数据可视化本身的性质(数据可视化中使用了三个空间维度对信息进行了编码
) ,也可以描述数据可视化显示的载体形式(数据可视化在一个三维空间/双目视觉的沉浸式环境中显示)。作者明确地使用2D/3D和表面/空间来分别指代可视化自身编码性质与可视化显示性质的不同。

图1:作者明确了“3D”可视化的具体定义

在解决了研究问题中的模糊性之后,作者从粗到细地分析设计空间。首先由于变换(transformation)是从一个状态到另一个状态的变化,为了简单的分析情况,作者对状态进行了细分。在可视化状态中,维度数(Dimensionality)这一属性是研究问题自然导出的,作者根据自身的经验,选择了多重性(Multiplicity)这一属性进一步细分可视化状态(图2)。

图2:根据相关经验,作者将可视化的多重性(Multiplicity)单独列出,作为一个重要属性考虑。

然后作者对不同种类的状态之间的变换进行了一个粗略的总结(图3),作者使用许多不同的低层次任务来描述不同状态之间变换的可能性。例如从单个二维可视化到单个三维可视化,有filter, aggregate, project三种任务,filter代指广泛的对数据量或数据维度进行削减过滤的操作,aggregate则指使用某种计算函数将数据维度整合,project则分为orthogonal project和perspective project两种,orthogonal project的效果类似于filter,而perspective project则可以通过透视投影,保留大部分原有的三维可视化中的信息。在这部分的任务分类中,虽然作者提出的框架并不能全面覆盖所有的情况,但作者提供的14种任务能够使我们大致了解二维与三维可视化间变换的基本作用。

图3:作者对不同状态之间的变换的粗略分类

最后,作者额外考虑了状态变换之间的内容,包括用户的交互行为和可视化的具体变换形式,并对整体框架进行了具体的分析。总体框架包含三种模块。(图5)

  • 可视化状态(visualization state)(包含初始状态,中间状态与终止状态)分为schema和geometric state两个部分。
    • schema描述可视化本身的状态,包括之前强调突出的两个属性multiplicity和dimensionality,以及其他可视编码相关属性。
    • 而geometric state描述可视化在设备环境中显示的状态,为了强调二维到三维的变换,作者单独列出了可视化与特定表面关系(surface relation)这一状态,包括正交相切,非正交相交和相离三种情况。
  • 用户交互(user interaction)包含描述总体交互动作情况的交互技术(interaction techinque)和描述具体交互内容的交互参数(input paramters)(图4)。如下图用户进行了一个drag动作:
    • 在交互技术层面,则drag的方式(鼠标,VR控制器,触摸)是动作模态(input modality),drag操作的对象类型(一个圆,一个坐标轴)是动作对象(target)。
    • 在交互参数层面,drag操作的对象所绑定的数据是对象值(target value),而drag的具体方向, 轨迹等式动作几何数值(geometric value)。
图4:作者将用户交互部分分为了交互技术与交互参数
  • 可视化变换(transformation),由于可视化变换的复杂性,作者仅仅从一些较高层次的面上讨论了可视化变换动画的控制属性,包括任务分类,变换方式(连续或者分阶段),变换动画时间(固定时间或依据用户交互),变化持久性(保持稳定状态的永久变换或变换结束后马上复原的临时变换)。
图5:论文中给出的设计空间总览

在介绍了设计空间之后,为了展示设计空间的表达性,作者通过使用设计空间对已有可视化工作进行了分析,同时也针对设计空间开发了新的二维到三维可视化的变化形式。例如在下图展示的是overplotting extrusion变换(图6),我们可以读取图片底部的图标来识别其对应的设计空间参数,可以发现这是一个从单个二维可视化到单个三维可视化的变换,当用户使用空中手势(mid-air)拉去可视化的绘制区域(substrate)时,该可视化会更具用户拉动的距离,将scatterplot对应的密度分布绘制在第三个维度上。

图6:一个交互示例,用户通过手势拉取,检视过度绘制的散点图的具体密度

下图则展示了另一种根据用户手势拉取的两个图上的点(nodes on the network),来将两点之间的最短路展示在三维空间中的变换(图7)。

图7:一个交互示例,用户通过手势拉取,检视图上两点之间的最短路

作者同时也在几篇已有的工作基础上,应用自己的设计空间,分析了这些工作中三维到二维可视化的变换是如何用该设计空间进行理解。最后,作者就一些启示与未来的方向进行了讨论,比较有趣的是,作者认为二维可视化到三维可视化变换中的“ 变化持久性 ”(临时变换或永久变换)是一个有趣的问题,正如先前提到的,三维可视化的缺陷导致其往往是作为一种辅助可视化帮助用户理解二维可视化,所以三维可视化在很多场景下不需要一直保持,而只用在必要的情况下让用户看一眼
(peeking) 即可,这种非永久性的变换在此时就非常有用。

总的来说,本篇工作基于作者先前的大量沉浸式可视化的研究经验和广泛收集的文献总结了一个设计空间,指导在混合现实中二维与三维可视化之间的变换设计。虽然沉浸式环境中的变换与交互空间是极为复杂的,但作者还是在一定程度上化繁为简,对变换的设计空间进行了剖析,同时在作者还开发了许多非常有趣的交互实例来辅助说明这一设计空间,这些都帮助读者更好地理解沉浸式环境中的交互设计。

参考文献:

  1. Tamara Munzner: Visualization Analysis and Design. A.K. Peters visualization series, A K Peters 2014, ISBN 978-1-466-50891-0, pp. I-XXIII, 1-404
  2. Niklas Elmqvist, Pierre Dragicevic, Jean-Daniel Fekete: Rolling the Dice: Multidimensional Visual Exploration using Scatterplot Matrix Navigation. IEEE Trans. Vis. Comput. Graph. 14(6): 1539-1148 (2008)
  3. Anastasia Bezerianos, Fanny Chevalier, Pierre Dragicevic, Niklas Elmqvist, Jean-Daniel Fekete: GraphDice: A System for Exploring Multivariate Social Networks. Comput. Graph. Forum 29(3): 863-872 (2010)
  4. Benjamin Lee, Maxime Cordeil, Arnaud Prouzeau, Bernhard Jenny, Tim Dwyer: A Design Space For Data Visualisation Transformations Between 2D And 3D In Mixed-Reality Environments. CHI 2022: 25:1-25:14

评论关闭。