GRASP: 结合移动设备和大屏幕与图可视化交互(GRASP: Combining Spatially-aware Mobile Devices and a Display Wall for Graph Visualization and Interaction)

除了传统的桌面显示环境,研究者们也在思考用其它的显示设备和更自然的交互方式设计可视化。这篇工作[1]将可被检测位置的移动设备和大屏幕结合起来支持图可视化的交互和分析;作者设计了一套全面的交互模型支持对图的交互、分析任务,包括选择、展示细节、焦点转换、交互式透镜、数据编辑等。已有许多工作支持在桌面环境下利用鼠标、键盘对图可视化探索、分析,但是这种方式需要用户待在桌面前,限制了移动范围,并且鼠标、键盘交互的方式不够直接;移动设备的发展让用户可以通过触摸、点击、移动等肢体交互方式探索可视化,但是移动设备显示面积小,展示的信息内容有限;大屏幕显示能够展现出丰富的信息,但是传统的交互方式又难以直接应用到大屏幕上。因此,这篇工作充分利用了移动设备交互自然和大屏幕显示信息丰富的优点,利用丰富的交互方式,对图可视化探索、分析。

图1 系统构成

如图1所示,该交互系统由大屏幕、追踪系统、移动设备构成。通过在移动设备上安装红外标记,追踪系统可以实时检测到移动设备的位置、角度。在这套系统的支持下,作者根据From Overview To Detail的分析流程设计相应的交互方式,包括探索和选择、展示细节、编码和编辑、节点连接性、过滤。

图2 探索和选择

首先,大屏幕上会通过点边图的方式展现一个大图,比如作者合作网络。用户可以通过点击大屏幕上的节点(图2-A)或者刷选一个区域(图2-B)选择要分析的目标,在移动设备上会展示已选择节点的具体信息。系统还支持通过移动设备远距离定位大屏幕上的区域,被定位的区域在大屏幕上通过矩形框高亮(图2-C),该区域的子图会在移动设备显示。用户可以在移动设备上直接选择节点(图2-D)。

图3 改变编码方式和编辑子图

用户选择了一个子图之后,在移动设备上可以改变点边图布局为邻接矩阵方式,这样可以快速知道一个作者和其它作者的合作情况。用户可以对子图的拓扑结构进行修改,同时会从大屏幕上得到相应的反馈。

图4 邻居显示和基于属性过滤

当一个节点的邻居没有完全在移动设备上显示时,为了观察节点的合作者情况,作者使用了’Bring Neighbours’技术[2],点击节点,它的所有邻居会在节点周围显示(图4-A)。系统还支持基于属性对节点过滤,满足过滤条件的节点将被放大显示(图4-B)。

图5 通过身体移动过滤节点

系统充分利用肢体活动的灵活性,提供了图5所示的过滤操作。子图上的节点根据其属性值落在某区间内,用户通过左右平移可以改变选择的区间,通过上下移动可以在全局和细节之间切换。

图6 筛子过滤

另一种过滤方式如图6所示。通过在竖直方向旋转移动设备,子图节点将变成小球落入相应区间,堆叠起来构成了柱状图,可以看出节点在不同属性区域的分布情况。

总而言之,该工作结合了移动设备和大屏幕的优点,设计了一系列交互方式支持对图可视化的交互和探索。优点是交互方式新颖,且支持的任务丰富。缺点是硬件成本高,相应技术难以推广。随着AR/VR技术的发展,可视化又多了一种显示环境,已有的可视化工作利用了AR/VR技术[3],但如何将AR/VR技术与已有的显示环境结合起来也是一个有趣的问题。

[1] Kister U, Klamka K, Tominski C, Dachselt R. GRASP: Combining Spatially‐aware Mobile Devices and a Display Wall for Graph Visualization and Interaction. In Computer Graphics Forum 2017 Jun 1 (Vol. 36, No. 3, pp. 503-514).

[2] Tominski C, Abello J, Van Ham F, Schumann H. Fisheye tree views and lenses for graph visualization. In Proceedings of the Conference on Information Visualization, IV ’06, IEEE Computer Society, pp. 17–24.

[3] Kwon OH, Muelder C, Lee K, Ma KL. A study of layout, rendering, and interaction methods for immersive graph visualization. IEEE Transactions on Visualization and Computer Graphics. 2016 Jul 1;22(7):1802-15.

评论关闭。