模型无关的机器学习解释与诊断框架 (Manifold: A Model-Agnostic Framework for Interpretation and Diagnosis of Machine Learning Models)

随着人工智能的发展,机器学习的模型变得越来越复杂,它们难以理解且调试繁琐。迄今为止,几乎所有的可视分析方案均是针对单一模型或是仅仅分析结果,它们要么需要了解内部构造(例如对神经网络隐藏层进行可视分析),要么难以对比不同模型,并将分析结果返回模型中迭代。本文提出了一种可视化解决方案名为Manifold,它不用了解算法内部构造,仅关注输入与输出。该方案以散点图可视摘要+特征细化的方式,为用户提供了假设、推理、验证的工作流程,以帮助用户理解、调试复杂的算法,并且能比对同类问题(分类、回归的有监督学习)的多个算法。

该分析工具可以针对分类、回归两大问题,它的界面如图1所示,由左侧的矩阵散点图与右侧的分类问题特征视图组成,对于回归问题,特征视图如图2所示。

图1:用户界面

图2 回归问题的特征视图

图3 散点图方块

对于散点图方块(如图3),其中点的颜色若为红色,则说明与事实不符(即不属于Ci类),若为蓝色,则说明与事实相符。而其中点的坐标决定方法如下:

分类问题:x轴对应Mi算法的置信度,y轴对应Mj算法的置信度,由于置信度不能为负,所以负半轴对应算法认为该实例不属于Ci类。第一象限中所有的点均为两个算法分类正确的点,第三象限则相反。

回归问题:x轴对应Mi算法的残差值,y轴对应Mj算法的残差值。

用户可以在散点图上进行框选、过滤,当用户选出一个集合之后便会生成特征视图。

对于分类问题,特征视图中红色线(也可能为蓝色,取决于用户筛选的点的颜色)代表算法分出的类的当前特征出现的频度,灰色的线代表实际上该类中当前特征出现的频度。回归问题与之类似。用户可以在特征视图中进行排序,以观察相关性。例如图1中,用户发现M11算法对于C1类几乎全部错误,分析特征发现,C1类Old这个词出现的频度很高,说明可能是该频度对该算法造成了错误的影响。用户进一步发现,M3算法有时比M11好,M11算法有时又比M3好,说明这两个算法可以结合起来进行改进。

可以发现,Manifold使用户能够根据模型的正确性和置信度对实例进行分析,识别产生错误结果的症状实例,解释潜在的原因,并迭代地优化模型性能。在未来,Manifold也可能被建立为一个通用平台,帮助机器学习科学家以可解释的方式调试复杂模型。

Zhang, Jiawei, et al. “Manifold: A Model-Agnostic Framework for Interpretation and Diagnosis of Machine Learning Models.” IEEE transactions on visualization and computer graphics 25.1 (2019): 364-373.

评论关闭。