主动墨迹:手写笔与数据的交互式探索(ActiveInk: (Th)Inking with Data)

在日常工作和生活中,为了进一步地理解关注的事物,人们往往会进行主动性的阅读,从不同渠道选取数据来分析。而数据通常形态各异,文字、图片、图表等等不一而足,这为分析和记录带来了困难。本文提出一种基于数码写字笔的多模态数据分析交互技术:ActiveInk。它能够使用户在传统书写标注的基础上,对多模态的内容流畅地执行高亮、关联等交互,更为自如地验证猜想、获取洞见。

设计原则

ActiveInk的设计初衷是挖掘数码写字笔在做标记层面超越传统纸笔的独有功能。其目标在于让用户在数据探索的过程中能够自如地切换于“观察”以及“外推”,使他们既可以同时整理、浏览已有的资料,也可以适时地在屏幕上用笔和触控来实现他们的猜测和想法。它的设计原则主要围绕着三个层面:

  • 提供思维的空间。由于认识的构建是个非线性的过程,人们通常需要交叉地参考各种资料,抓住一个个稍纵即逝的奇思妙想并加以检验,逐渐地定下最终的结果。ActiveInk提供了一个无限大的画布,支持数据与文档的导入。用户可以自主选择画布内容的组织形式,即时删改。
  • 增强数码写字笔的交互性。ActiveInk共提供了两种交互模式来支持灵活的是数据交互以及用户灵感具象化。
    • Prefix:即先细化再书写。用户先用一只手选择笔的模式(如标注、涂抹、删减等)以及属性(如颜色、笔触大小等),再用另一只手绘制。双手配合,能够更大地提高效率。
    • Postfix:即先书写后细化模式。用户先用数码写字笔进行书写绘制,再轻点墨迹,在触发的选项盘中激活预期的功能。

      Prefix模式与Postfix模式对比。

  • 避免要求记忆新手势。不同的人有不同的标注习惯,因此ActiveInk不额外添加非自然的交互形式。
  • 提高墨迹的实用性。人们在探索数据时留下的标注以及笔记能在后续的回顾与思考中起到一定的参考作用。ActiveInk试图通过一些实用的交互,让这些标记能更好地发挥作用。

功能概览

在画布上,两只手指可控制缩放;一只手指的移动控制画面中心的移动;而点击左侧的模式选项或轻点墨迹可触发选择接下来的动作。在Postfix模式下,对于不同的选项,用户可拖拽来预览对应的效果,并通过提起手指来执行选项。除了基本的书写墨迹(Ink),ActiveInk的交互可分为以下三个方面。

  • 视觉强调:对于已有的可视化,用户能够通过写字笔的交互来改变图形元素在视觉上的显著性,如高亮绘制隐藏移除全部移除
  • 数据展示:添加标签以分类显示数据的分布或取值。
  • 视图操控:不影响其他视图的交互,如裁剪复制

进行了用户调研后,研究者们根据反馈,加入了六个高级交互功能。

  1. 统计信息计算:自动生成散点图的最小二乘拟合线等。
  2. 图例交互化:利用图例对数据进行筛选与分层标记。
  3. 墨迹字形识别:转换手写体图案为字符,便于后序存档与搜索。
  4. 墨水透镜:构建小范围数据连接。
  5. 相似墨迹搜索:显示画布中具有相似墨迹的部分。
  6. 显示与修改对应数据:直接在画布上对低层数据进行修改。

ActiveInk的基本交互与高级交互。

下面的短视频简单介绍了ActiveInk的使用情境。

用户研究

为了定量研究用户在使用数码写字笔来辅助具象化想法的过程,作者招募了8个人进行用户研究,他们都在同一家软件公司工作,而年龄阶段、性别、写字笔使用经验以及职业有所区别。在整个过程中,用户的屏幕录屏、数码写字笔交互历史以及相关录影都会被记录下来作为后序分析的数据。

流程

用户研究共分为三个阶段。第一个阶段是仅仅使用普通的写字和标记功能,起到测评基准线的作用。而第二个阶段是使用相对而言较为简单Postfix模式,最后一个阶段是使用Prefix模式。

  1. 预训练(10分钟):实验员告知用户界面的组成部分并解释各个交互的效果,并指导用户进行约五分钟的简单小练习。
  2. 数据探索(15分钟):用户需要自主使用ActiveInk以完成问卷。
  3. 采访(15分钟):用户向实验员反馈对系统的喜恶和改进建议。
  4. 中途休息(5分钟)。

结果

八名用户在三个阶段对ActiveInk的使用情况。

绝大部分用户会把所需材料集中在一个视图。当用户可以对操纵墨迹时,他们往往更喜欢使用不同的功能来标记数据,而不仅仅是涂画。大部分的参与者都写记下了他们的疑问、假设以及接收或拒绝的证据。他们通过使用相同的颜色或特定的符号在这些记录和数据之间建立了联系。

详细结果可访问项目主页https://hugoromat.github.io/ActiveInk/查看。

小结

ActiveInk有潜力让数码写字笔成为数据探索与辅助思维的有力工具,让人们能够用更流畅的方式来实现他们的想法。它的两种基础交互模式相互补充,Prefix模式长于批量操作,而Postfix模式在交叉多种操作时具有很大的优势。

在未来工作中,提高系统的可扩展性以及探究同步/异步合作时的决策情境下写字笔能够发挥的作用都是值得考虑的方向。

参考文献

[1]. Hugo Romat et al. ActiveInk: (Th)Inking with Data. Proceedings of the 2019 CHI Conference on Human Factors in Computing Systems. ACM, 2019.

[2]. Nathalie Henry Riche. (Th)Inking with Data —— Tapping into the Potential of the Digital Pen. Microsoft Research Blog.

发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>