成对比较问题很常见，它可以帮助我们进行类比推理、社会比较、决策以及知识发现。然而，我们经常是在比较苹果和橙子（compare apples and oranges）——两个感兴趣的东西不易比较。比如比较北京和纽约，这两个城市在很多方面都有不同之处。本文 [1] 旨在系统地研究成对比较问题。作者们提出了成对比较的分类，开发了一个电子表格应用程序Duo以帮助人们完成成对比较。此外，他们还研究了用马虎规则（sloppy rules）和自然语言来指定成对比较问题的不同。
通过分析从用户那里搜集的成对比较问题，如图1所示，作者们将它们按三个维度进行编码，即重复（repetition）、群组（group）和属性（attribute）。重复维度有两个类别，即单个（single）和重复（repeated）。单个成对比较具有“compare A to B”的形式，重复成对比较具有“compare A to B, C, D, etc.”的形式。人们通常会在对A不了解，并且想通过将A与B，C，D等他们所了解的事物来比较的方式了解A的情况下提问重复成对比较问题。群组维度有三个类别，即一对一（one to one），一对多（one to multiple）和多对多（multiple to multiple）。它们分别是比较两个单对象群组，一个单对象和一个多对象群组，以及两个多对象群组。例如，“比较中国最大的三个城市和美国最大的三个城市的犯罪率”就是一个多对多的成对比较问题。属性维度有两个类别，即属性存在（attribute present）和属性缺失（attribute absent）。当人们在提问时指定了他们想要比较的属性时，这个问题便是属性存在的成对比较问题。有时候人们会不指定比较的属性，他们希望广泛地理解两个事物的相同点和不同点，并且可能不了解哪些属性对他们而言是重要的。
图1 成对比较问题的分类
之后作者们开发了一个电子表格应用程序Duo来帮助用户完成成对比较。Duo从两个方面出发，一是用户指定成对比较问题，二是回答这些问题。在用户指定成对比较问题这个部分，基于自然语言直观易学的特点，作者们想使用自然语言作为输入。然而，在描述长句时，自然语言会变得不方便，有可能会存在表意不清的问题。此外，使用自然语言还无法很好地利用作者们总结出的分类。基于上述考虑，作者们最终选择使用规则来作为输入。作者定义了两类规则，分别是针对群组定义（group definition）和比较的属性（attributes under comparison）。针对群组定义的规则又被进一步分解为基础规则（base rules）、包含规则（inclusion rules）和排除规则（exclusion rules），分别对应于与（and）、或（or）和非（not）三种操作符。为了使得人们能够方便地表述和操作，Duo允许使用马虎规则来进行规则指定。马虎规则具有支持变化、容忍拼写错误、顺序独立性和丰富的视觉反馈等特性。前三个特性保证了用户可以以一种很方便的方式来输入规则，比如“Region is Southeast”，“Region=Southeast”，“Region Southeast”，“rg=s-east”和“reg=southe”都会被认作“Region=Southeast”；第四个特性使得马虎规则值得信赖。如图2所示，用户在输入时，Duo会高亮对输入的属性和值的解释。 对于数值型属性，Duo显示带有密度图的滑块，并根据当前输入调整滑块范围。
图2 马虎规则中的视觉反馈
对于成对比较问题的回答，Duo首先会生成一句话来描述指定的比较，以帮助用户找出指定中的错误（图3b）。之后针对不同类型的问题，Duo采用不同的方式来回答。对于单个成对比较，属性会被分类为高度相似，高度不同和其他（图3c）。用户鼠标悬停在属性上会显示对应的可视化以及简短的文本描述。可视化的形式由比较的类型来确定。对于重复成对比较（图3g），群组会被分成相似群组和不相似群组，并会根据相似或者不相似属性的数量进行排序。点击一个群组会显示相似或不相似属性的列表。对于一对一，一对多，和多对多比较，因为它们都属于单个成对比较，所以回答这些比较的区别仅在于鼠标悬停在属性上时显示的可视化的类型。对于一对一比较，可视化显示两个群组的所选属性的值（图3f）。 对于一对多比较，密度图用于显示多对象群组的分布（图3e）。 对于多对多比较，可视化包含两个密度图，每个密度图显示一个群组的分布（图3d）。
图3 Duo的用户界面
最后，作者们通过一个实验来比较实用马虎规则或自然语言作为成对比较输入的情况。他们设计了四种难度的实验。难度依据包含规则的数目来确定。实验会记录用户使用马虎规则或自然语言完成所要求的成对比较指定所需要的时间。此外，在实验结束后，用户还会被要求回答“哪个界面更容易指定成对比较问题？”和“您更喜欢使用哪个界面执行成对比较任务？”这两个问题。如图4所示，从试验结果中我们可以看出，对于简单任务和中等难度的任务，马虎规则和自然语言在完成时间和易于指定方面都具有可比性；对于困难和更困难的任务，马虎规则更有效且更容易完成指定。
图4 实验结果
总的来说，这篇文章提出了成对比较的分类方法，以帮助回答“成对比较是什么”的问题；开发了一个电子表格应用程序，以帮助用户进行成对比较；设计了一个用户实验来比较马虎规则和自然语言，得出了“对于困难的成对比较任务，马虎规则允许更快的指定且更受用户喜爱”的结论。
[1] Po-Ming Law, Subhajit Das, and Rahul C. Basole. 2019. Comparing Apples and Oranges : Taxonomy and Design of Pairwise Comparisons within Tabular Data. In CHI Conference on Human Factors in Computing Systems Proceedings (CHI 2019), May 4–9, 2019, Glasgow, Scotland UK. ACM, New York, NY, USA, 12 pages. https: //doi.org/10.1145/3290605.3300409.
评论关闭。