超越鼠标与键盘:拓展信息可视化交互的设计考虑 (Beyond Mouse and Keyboard: Expanding Design Considerations for Information Visualization Interactions)

交互,作为人与计算机之间的媒介,连接着现实与虚拟,具象和抽象的两个世界。在过去的近半个世纪里,从命令行输入,到图形化界面,再到现在的触摸式交互,人机交互技术快速地发展。然而在信息可视化领域,大部分交互,仍局限于在鼠标和键盘构建的二维平面中。这篇文章[1]是从人机交互领域角度重新审视信息可视化中的交互,总结了人机交互领域中的四种交互模型,从而提出了设计信息可视化交互时的考量维度,并基于那些尚未被深入的维度讨论了其中的机遇与挑战。

interaction

图1  新型交互系统: 从左往右依次为CoCoNutTrix[4] Tangible View[6] PaperLens[3]

四种交互模型

WIMP是Windows窗口、Icons图标、Menus菜单和Pointer箭头的组合。自Xerox Star交互模型开始,WIMP以极其简单的“点击”交互操作赢得了用户的青睐。我们最熟悉的WIMP模型应用是微软开发的Windows桌面交互,通过鼠标运动来驱动箭头,点击在多个或重叠或并排的窗口中自由地选择图标和菜单来完成操作。
直接操作(Directed Manipulation)模型是上世纪80年代,有Ben Shneiderman教授提出。通过对感兴趣内容的具象表示,用户通过物理操作(如移动,变形等)来对感兴趣内容进行直接的操作,同时系统根据这些直接的操作给出实时的反馈。与这个理念相配合的是HomeFinder[2]系统原型。这个系统是Ben Shneiderman和他的同事开发帮助用户查询租赁房屋信息。在这个应用中,将房屋的地理信息表示成地图上具象的点,当抽象的属性使用条形图表示,用户在操作时,直接可以在地图上选择考虑的地理范围,拖动条形图进行动态查询(dynamic querying)。这个模型仍是基于鼠标和键盘所构成二维空间。
当我们引入一些别的输入,如声音、手势等,另外两种模型被延展出来:后WIMP模型和后直接操作模型。
后WIMP模式是基于WIMP,使用其他输入代替传统的鼠标。苹果公司所开发的iPad系列就是典型的后WIMP模型。虽然仍是窗口、图标、菜单和箭头这些操作控件,但以手势作为输入使得交互更为自然。
后直接操作模型(Post Directed  Manipulation)基于直接操作模型。它尝试着借助人们在现实世界中的体验经验,在交互中采用仿真工具进行交互操作。PaperLens[3]是,人们使用放大镜观察物体的体验,开发了使用类似镜片的交互工具在体数据中的交互。
目前,在自然人机交互技术上已经有了很多的发展,关于信息可视化的交互却很少能跳出可视化流程,从用户的角度来考虑。这篇文章总结出3个主维度和1个复合维度作为在信息可视化中设计交互的考量:个体用户、技术和协作,以及人与技术之间的相互影响。在每个主维度下,由细分了几个子维度对其进行描述。表1详细地列出了这些维度及对应的例子。这个总结可以作为我们将来设计信息可视化中交互技术的参考。

table

表1 信息可视化中设计交互的考量维度

在表一中,许多未曾被深入探索过的维度,这正是挑战和机遇所在。

挑战一:超越鼠标和键盘
信息可视化系统为提供用户更为复杂专业的功能,常规地做法是引入繁杂的菜单和按钮控件,这虽能保证功能上的完整,但有悖于人们自然交互的理念。我们可以考虑如何提供高自由度的交互手段来减少图形界面的控件。例如,以手势为输入,通过自然、复合的手势来完成不同的功能。

挑战二:让交互具有高的表达自由度
一个关于交互表达自由度的例子是匹配时序数据子数据段。当定义目标子数据段时,一种交互是用户通过输入一些参数来定义欲查询目标的方程,另一种是用户通过手绘描述查询目标。后者具有比前者更高的表达自由度。与前者只限于能用方程建模的目标不同,后者用户可以自由地定义任意的查询目标。但是,高自由度意味着相对低得输入分辨率。因此,如何权衡交互自由度与输入分辨率需要考虑。

挑战三:将协同操作考虑在内
面临的数据越来越大,任务越来越复杂,多个用户协同分析是趋势。当考虑从一个用户交互的应用拓展到多个用户协同交互的应用是,需要考虑交互之间的干扰,软硬件的异构性等。CoCoNutTrix[4]是NodeTrix[5]的一个多用户协同版本。

挑战四:缩短用户与技术之间的距离
使用形象的物体来辅助我们在虚拟世界中的操作。Tangible View[6]以及之前介绍的PaperLens是两个这个方面的例子。通过使用一些形象的、可触摸的交互工具,能够帮助用户更好地完成交互。

挑战五:更好地理解用户行为
随着交互技术的发展,与以往的相对固定、有限的交互可能性不同,对于更加自由自然的交互平台上,对理解用户交互操作行为提出了更高的要求。

[1] Lee, B.; Isenberg, P.; Riche, N. & Carpendale, S. Beyond Mouse and Keyboard: Expanding Design Considerations for Information Visualization Interactions Visualization and Computer Graphics, IEEE Transactions on, 2012, 18, 2689-2698
[2] M. Spindler, S. Stellmach, and R. Dachselt, PaperLens: Advanced Magic Lens Interaction Above the Tabletop,  Proc. ITS,  pp. 69–76, 2009
[3] C. Williamson and B. Shneiderman, The Dynamic HomeFinder: Evaluating Dynamic Queries in a Realestate Information Exploration System, Proc. Research and Development in Information Retrieval, pp.338–346, 1992
[4] P. Isenberg, A. Bezerianos, N. Henry, S. Carpendale, and J.-D. Fekete. CoCoNutTrix: Collaborative Retrofitting for Information Visualization,
CG&A, vol. 29, no. 5, pp. 44–57, 2009.
[5] N. Henry, J.-D. Fekete, and M.J. McGuffin; NodeTrix: a Hybrid Visualization of Social Networks, IEEE TVCG (Proc. InfoVis), vol. 13, no. 6, pp. 1302–1309, 2007.
[6] M. Spindler, C. Tominski, H. Schumann, and R. Dachselt, Tangible Views for Information Visualization, Proc. ITS, pp. 157–166. 2010

1 条评论。

  1. 协同操作及用户界面表达在人机交互上是极大的延伸和挑战。