Touchstone2:探索人机交互实验设计的交互式环境(Touchstone2: An Interactive Environment for Exploring Trade-offs in HCI Experiment Design )

在人机交互领域内,研究员经常需要设计一些实验去探索或验证特定的因素对于交互技术及其效果的影响。然而在实验设计中既要控制诸多表面上看似无关的变量,也要权衡加入更多条件或被试者的成本与得到更优的实验效应结果之间的利弊,这并不是一件轻松的事情。同时,在2016年Nature期刊的一篇调研[1]中揭露了在科学界严重的“reproducibility crisis”,即70%的科学者无法重现他人的实验。因此,本文的作者们设计了Touchstone2来帮助研究者们设计、规范、分享他们的实验方案。

Touchstone2的用户界面

本文作者采访了10位有经验于控制实验设计的研究者。通过记录他们自身在实验设计过程中的体验、克服实验困难的经历和使用到的技术与工具,作者总结了5条在实验设计中的难点与挑战:
(1)时间约束
通常考虑到被试的注意力状态,实验的时间要控制在一定范围内。尤其针对特殊群体如儿童、或在虚拟现实环境下,实验时间会更短。
(2)权衡不同实验选择
许多潜在的、细小的因素都会影响到实验的结果。如果把所有微小的因素都纳入实验,会需要大量的被试者和成本。选择哪些因素放入实验设计很重要。
(3)制衡问题
采用何种制衡策略能够合理制衡实验中的干扰因素很重要。
(4)实验设计表达
需要高效、合适的方式来表达实验设计。
(5)效应分析来决定被试数量
决定适当的被试数量,同时又能取得达标的实验效应结果。

从挑战出发,作者在两个方面总结了对于Touchstone2设计的要求:
(1)在制衡问题方面
实验员设计实验的过程往往是一个反复重复的过程,在一个环节上的调整往往会改变所有后续的实验步骤。因此,实验员希望能在多种不同的实验设计方案之间进行比较。
(2)在效应分析方面
虽然实验效应分析可以帮助实验员有效的验证实验结果,但大量的实验员并未采用这一分析方法,因为它对于统计专业知识的过高要求。实验员希望能便捷的得到合理的效应分析结果,并指导被试人员的数量设定。

Touchstone2的系统由两大部分组成,其一是交互式的用户界面,其二是声明式的语言TSL。

嵌套结构的实验设计表达

Touchstone2采用嵌套结构来表达一个实验设计,用户可以自由编码其中各个自由变量的数量、制衡策略的选择、实验重复的次数、自由变量之间的层次关系。在一个实验设计的下方有简单的文字总结,计算至少需要的被试人员数量。例如在设计1中,两个变量Technique和Item是同层次的,被试要参与所有的组合可能的实验条件并重复3次,所以至少需要2*3*3=18个被试。在设计2中,变量Item嵌套在变量Technique之下,表明一个被试只需要测试Popup或Marking其中一种条件,也就意味着Technique成为了分组变量,将实验被试分为了两组,每一组需要3个被试,一共是至少6个被试。

多个试验表间的比较

在确定实验设计后,Touchstone2给出每个被试的试验表,包含具体的实验条件及实验顺序。在试验表中,实验员可以高亮出相同的实验条件在不同的被试的试验表中的位置帮助实验员比较或调整。由于同一个被试的实验条目往往较多,Touchstone2增加了鱼眼视图的功能来观察细节。

曲线图确定最合适的被试数量

Touchstone2通过简单的线图的形式来向实验员展示复杂的效应分析的结果,来确定被试的数量。实验员只需要在控制板中输入一次实验的变量数量、目标效应和效应分析方法。同时,在图中可以比较多个实验设计的效应-被试数量曲线,例如设计1至少需要18个被试,并且18个被试就可以得到预期的结果,而设计2至少只需要6个被试,但要达到预期的实验目标却至少需要30个被试,成本相较设计1大大上升。
Touchstone2提出了一种声明式的语言TSL来表达一个实验设计。该语言支持4种操作,有12种产生式规则。通过规范化的声明式语言,在多个实验员之间可以快速的分享由Touchstone2得到的实验设计,方便实验的重现和交流。不久的将来,作者会将该语言公布分享在网上。

作者设计了两个评估实验来验证Touchstone2对于设计、重现、分析实验设计的帮助。作者发现Touchstone2能帮助用户在实验设计的过程中探索多种不同的方案,并进行比较取舍,但在参数设置上可能会造成用户盲目地直接采用Touchstone2提供的默认参数,而未结合具体的实验目的分析。同时用户指出在复杂的实验设计的过程中,希望Touchstone2提供注释标注的功能,以及回溯的功能支持用户返回到实验设计方案的一个历史版本,这样可以便于快速在当前版本和历史版本之间进行比较。

总体而言,Touchstone2实现了帮助用户设计、生成、比较、分享实验设计方案,并且通过有效的效应分析-被试数量曲线来指导实验员设定被试数量,也规避了实验员通过错误或不合适的分析手段来验证,反而得到预期实验结果的可能。在Touchstone2的系统中,可视化的内容并不复杂,但却能很好的帮助用户分析理解实验设计的过程和内容,达到理想的效果。Touchstone2的系统设计过程值得学习和分享,并且其结果对于可视化中开展用户实验也有指导意义。

参考文献:
[1] Monya Baker. 2016. 1500 scientists lift the lid on reproducibility. Nature 533, 11 (2016), 452–454.

评论关闭。