文本分析中的深度神经网络可视化 (Visualizing Deep Neural Networks for Text Analytics)

如今,深度神经网络(DNN)在许多领域都取得了瞩目的成绩。但是,对于深度神经网络内部行为的了解还有待深入研究。一方面,对于其工作原理的直观理解还十分缺乏;另一方面,对于深度神经网络学习到了什么样的特征也还不清楚。已有可视化工作对于这个问题已经进行了一些研究,但主要集中于图像相关应用中的卷积神经网络(CNN)和文本分析中的循环神经网络(RNN),而对于卷积神经网络和全连接神经网络(FCN)在文本分析中的可视化还没有研究。本文将研究这个问题。

图1展示的是一个研究单词词性的卷积神经网络结构。其输入是一个单词,最多包含27个字母,每个字母由一个长度为5的实数值向量表示。然后,这个词输入到卷积层,产生75个特征图,每个特征图可以认为是若干个矩阵。接着,最大值池化层从每个特征图中选择最大值,从而的到75个值。然后,经过两个全连接层,有100个节点和27个节点,再通过激活函数和SoftMax函数转换为各个词性的概率值。

图1:一种判断单词词性的CNN网络结构

图1:一种判断单词词性的CNN网络结构

在进行可视化设计前,作者首先和领域专家进行了深入讨论,确认了5项设计需求:网络结构概览、节点和边的行为(激活值和权重)、确定有意义的区域(网络层或节点)、单例分析以及多例和模式分析。

对于FCN和CNN,其基本结构可以看作是具有多个层次的图数据,所以基本的可视化形式选择了点边图和矩阵形式。在其可视化中,两种形式的可视化可以组合起来,或者同时使用。图2展示了图1对应的网络结构的可视化结果。

图2:图1网络结构的可视化效果图

图2:图1网络结构的可视化效果图

图3则是图2的网络结构在输入数据后激活的结果。作者在其中提供了多项功能:使用颜色分别表示正、负激活值或边权,设置阈值筛选节点和边,筛选节点相连的边,检查激活节点的字符等等。可视分析系统中还设置了三种分析模式。输入模式对应单例分析,用户输入一个单词,然后查看模型的状态。动画模式主要对应多例分析,用户选择一组词性一样的词做输入,用户查看模型对多个词语的综合反应。比较模式则比较模型在两组不同输入情况下的状态,从而发现不同类别对应的不同模式。

图3:图2在输入数据激活后的可视化效果图

图3:图2在输入数据激活后的可视化效果图

为了让可视化能支持大规模神经网络的可视化,作者还采用了多项概要(summarization)技术来对数据进行聚集操作。对于特征图,其行和列分别支持聚类和压缩操作,两者本质上都是对相近的行或列进行合并。但对于行来说,只允许合并相邻的行,这是因为行的顺序对应输入单词中字符的顺序。对于全连接层,如果相邻的节点的激活值同时大于或者小于这一层的均值,那么可以合并。用户也可以选择直接关闭某些层,这些层直接变为紧密排列的方块,这些层与其他层的边也会简化。图4展示的是图1对应的网络结构进行完全简化之后的可视化效果图。

图4:图1网络结构的简化视图

图4:图1网络结构的简化视图

在案例分析中,作者首先展示了单例分析的结果。图5中分别是模型对visualizing、computation和ideally三个单词在网络最后一层的激活结果,可以看到三者有明显差别。尤其是作者发现这三者的大部分节点的激活值均为负数,而在前面的层则不会。专家解释道,这是因为模型学会了通过去除单词不属于的词性来得到对的结果。

图5:模型在输入visualizing、computation和ideally三个单词之后的激活结果

图5:模型在输入visualizing、computation和ideally三个单词之后的激活结果

作者输入100个个名词,通过动画模式观察模型的反应,发现那些高激活的节点和边会一直保持激活。之后,作者比较模型对名词和动词的不同激活模式。图6中展示了点激活值和边权重的差值,饱和度越高代表差别越大。作者发现这些差异大的边主要集中在倒数第二层,在最后一层就很少。领域专家解释到,越高层的节点因为学习到了更高层的模式,所以只需要很少量的节点就能区分各个词性了。

图6:模型在输入动词和名词之后,激活状态的比较

图6:模型在输入动词和名词之后,激活状态的比较

总结起来,本文提出了一个用于分析CNN和FCN在文本分析中应用的可视分析系统,其中可视化形式上结合了点边图和矩阵,并通过多种概要方法提高可视化的可扩展性,在数据中也得到了诸多新的发现。

[1] Visualizing Deep Neural Networks for Text Analytics. Shaoliang Nie, Christopher Healey, Kalpesh Padia, Sam Leeman-Munk, Jordan Benson, Dave Caira, Saratendu Sethi, Ravi Devarajan. In Proceedings of IEEE Pacific Visualization Symposium (PacificVis 2018), Kobe, Japan, Apr. 10-13, 2018.

评论关闭。