深度学习在许多领域，比如计算机视觉、自然语言处理，取得相当重要的突破。尽管越来越多公司在他们的产品上，用越来越多深度学习模型。但这些模型依靠非常多的参数，尝试从数据中学习隐藏的非线性的结构。这个特点，使得人们难以理解模型的结果，难以分析模型不好的原因进而采取进一步的措施。
近些年，越来越多研究者研发可视化工具，尝试帮助人们理解深度学习模型的结果。但现有的工具，往往针对某一特定的模型和某种类型的数据，不能满足工业界的需求。在工业界，一方面，使用的模型种类非常多，模型结构非常复杂；另一方面，分析的数据类型非常丰富，数据量也非常的大。
为此，本文提出ACTIVIS[1]，一个支持工业界深度学习模型分析的可视化探索工具。
这个工具具有以下三个主要特点：
- 支持个例分析和子集样例分析
- 支持复杂模型整体结构分析和局部结构分析
- 支持多种深度学习模型和数据类型
图1: ACTIVIS系统界面
ACTIVIS系统界面如图1所示，主要包含三个视图，模型网络视图（图1A），神经元激励图（图1B），样例选择视图（图1C）。
模型网络视图，采用点边形式，展示模型的整体结构，帮助用户理解整个模型，便捷选择感兴趣的神经层，进行更为深入的分析。
神经元激励图包括三大部分，左侧是模型网络的子图，显示用户具体选择的神经层及其邻居；中间采用矩阵形式展示神经元对样例的激励情况。在这里，每一行表示一个样例或训练集的子集，每一列表示神经元，行列交叉处的圆，表示神经元对样例的激励值（或子集的平均激励值），颜色越深，激励值越大。右侧是高维投影图（t-SNE算法），节点表示样例，颜色表示其标签。这个视图，能帮助用户快速获取模型的分类效果。如果视图中，节点的聚类效果明显，且每一类的颜色统一，说明模型的分类效果很好；否则，说明，模型的分类效果并不好。
样例选择视图，采用矩形块模式，展示每个样本分类结果。针对每一类，左侧表示被分类正确的样本；右侧表示被分类错误的样本，每个小矩形块边的颜色，表示其被分类的标签对应的颜色。
为了支持丰富且复杂的学习模型，多样的数据类型和庞大的数据量，研究者在设计ACTIVIS时，采取了以下三个措施：
- 针对多样的数据类型，比如文本数据，数字类型数据等。他们封装并模块化相应的数据处理，提供相应的接口給用户。用户可根据具体分析的数据，选择相应的接口，调用ACTIVIS。
- 针对复杂的学习模型，他们支持用户定义需要分析的模型层次，用于模型结构视图的绘制；支持用户定义感兴趣的神经元，用户神经元激励视图的绘制。
- 针对庞大的数据量，他们采取采样的方法，获取一定数量的样例，用于样例选择视图的绘制。
目前，该系统在facebook内部得到使用。模型开发者，可以在模型训练完成后，调用ACTIVIS，对模型结果进行深入分析。
总的来说，这个文章提出一个适用于工业界深度神经网络探索分析的可视化工具。为处理工业界学习模型丰富且复杂，数据类型多样且数据量大的挑战，他们采取了一系列的措施，增强工具的普适性和可扩展性。
引用：
［1］Kahng, Minsuk, et al. “ActiVis: Visual Exploration of Industry-Scale Deep Neural Network Models.” arXiv preprint arXiv:1704.01942 (2017).
评论关闭。