Squares: 支持多类别分类器的交互式分析展示(Squares: Supporting Interactive Performance Analysis for Multiclass Classifiers)

对于机器学习来说,对分类器的表现进行分析是很关键的,因为它会影响到应用模型的人的产出。例如,应用模型的人在决定使用哪个参数之前,总是比较不同模型通过不同算法参数产生结果的表现。现在比较流行的工具有两种,第一种是统计学上的总结,例如准确度、精确度、召回率或对数的损失;第二种是混淆矩阵。

但当前的这两种工具也存在一些问题,第一是与原始数据缺乏关联;第二是会掩盖数据中的重要信息,例如分数的分布;第三是对于多分类分类器的支持是很重要的,而现有工具不具备这个功能。

通过调查,这篇工作提出了三个设计目标。第一,通过调查说明,总体的以及类别层面的表现需要显著的表现出来,还要有实体层面的表现细节;第二,这个可视化系统需要帮助使用者易于调试表现的问题;第三,需要将分类器的表现和数据放在同一个屏幕上。

这篇工作提出了Squares这个系统[1],可以用于对多类别分类器表现的分析。以下是Squares的可视化设计说明:

每一列包含一个垂直的轴,轴下标记着这个类别的名称。如图1.

图1 每一列代表一个类别,用颜色标记

图1 每一列代表一个类别,用颜色标记

图二 每个实例用一个方格表示

图2 每个方格表示数据中的一个实例

最左边的轴表示所有实例的预测分数范围。如图3.

图3 实例的排序由预测分数决定

图3 实例的排序由预测分数决定

在每个轴右边的方格代表这个实例被预测为与这个轴相同的类别。每个方格的颜色是它们实际的类别。一个实心的方格和用斜线填充的方格分别代表被分类器预测正确的和被预测错误的实例。

在每个轴左边的方格代表这个实例的实际类别与轴代表的类别相同,但是被分类器错误的预测为其他类别。因此,在轴左边的方格是 false negative 的实例,并且没有填充颜色,它的框的颜色为其被预测为的类别的颜色。如图4.

图4 轴左右方格分别代表的类型及其颜色的涵义

图4 轴左右方格分别代表的类型及其颜色的涵义

通过这个设计,Squares可以帮助用户估计几个常见的,基于计数的总体和类别层面的表现指数。例如,分类器的准确性:预测正确的/所有被预测为同一类别的实例,可以用实心的方格在所有轴右边方格中所占的比重来估计,如图5.

图5 准确度高、低的分布

图5 准确度高、低的分布

类别层面的精度:TP/(TP+FP). 实心的方格在实心方格和用斜线填充的方格的和中占的比重来估计。

类别层面的回调率:TP/(TP+FN). 实心的方格在实心方格和空心方格的和中占的比重来估计。

因为 false positives 和 false negatives 由一个给定的类别被定义,因此在一列的用斜线填充的方格(false positives)和与它们颜色相同的列中的空心方格(false negatives)之间存在一一对应的关系,如图6. 通过这种方式,每个错误都被展示了两遍。这样,Squares 就使得 false negatives 和 false positives 同样显著。

图6 false positives 和 false negatives 一一对应

图6 false positives 和 false negatives 一一对应

对于所有类别的实例分数还会显示类别之间的混淆。当实例的平行坐标系在多个类别上都有高点时会出现类别之间的混淆。这种情况下,如果一个类别与其他类别之间不存在混淆关系,只会有一个高峰。如图7.

图7 每列实例的平行坐标系

图7 每列实例的平行坐标系

Squares 会显示每个实例在所有类别的分数,当用户把鼠标悬停或点击一个方格时。分数会通过平行坐标显示。

图8 一个实例在所有类别的分数

图8 一个实例在所有类别的分数

Squares 还可以扩展到更大的数据集或者更多类别。机器学习经常会处理很大的数据集,在这种情况下,把每个实例都表示成方格就不太现实。Squares 通过将相同类别的方格成组变成一个长方形来展示大数据集,如图9. 为了避免溢出,将方格替换成一个切断的标识。默认每个条块表示10个方格。

图9 大数据集时,方格成组展示

图9 大数据集时,方格成组展示

用户通过点击列,可以在三个不同阶段的视图中切换。

Squares 是一个对于多类分类问题的交互式可视化表现系统。可以帮助用户比混淆矩阵更快、更准确的估计分类器表现。

Reference

[1]. Ren D, Amershi S, Lee B, et al. Squares: Supporting Interactive Performance Analysis for Multiclass Classifiers[J]. IEEE Transactions on Visualization and Computer Graphics, 2017, 23(1): 61-70.

发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>