标签存档: 深度神经网络

2018年北京大学可视化暑期学校 – Day 5 (2018年7月21日)

2018年7月21日,暑期学校由来自香港科技大学的麻晓娟教授和来自中国科学院软件研究所的时磊老师授课。上午,时磊老师为我们带来了主题为可视分析在人类脑部网络比较与深度神经网络解释上的应用的课程。 继续阅读 »

文本分析中的深度神经网络可视化 (Visualizing Deep Neural Networks for Text Analytics)

图3:图2在输入数据激活后的可视化效果图

如今,深度神经网络(DNN)在许多领域都取得了瞩目的成绩。但是,对于深度神经网络内部行为的了解还有待深入研究。一方面,对于其工作原理的直观理解还十分缺乏;另一方面,对于深度神经网络学习到了什么样的特征也还不清楚。已有可视化工作对于这个问题已经进行了一些研究,但主要集中于图像相关应用中的卷积神经网络(CNN)和文本分析中的循环神经网络(RNN),而对于卷积神经网络和全连接神经网络(FCN)在文本分析中的可视化还没有研究。本文将研究这个问题。

继续阅读 »

对TensorFlow中数据流图的可视分析(Visualizing Dataflow Graphs of Deep Learning Models in TensorFlow)

对TensorFlow中数据流图的可视分析

TensorFlow是谷歌开发的、当下最流行的机器学习软件库之一。它采用数据流图(Dataflow Graph)来表达机器学习算法的计算过程,用户可以定制不同的数据流图来构建自己的算法。然而,随着深度学习的兴起与流行,各类神经网络渐趋大规模、复杂化。算法开发者仅凭借自身的理解与记忆、很难把握算法的各部分体系结构,相互之间也难以进行沟通。为此,这篇文章[1]提出了可视化工具TensorFlow Graph Visualizer,通过可视分析帮助用户在TensorFlow中进行算法分析与开发。值得一提的是,该文章荣获了IEEE VAST 2017的最佳论文奖(Best Paper Award)。

继续阅读 »

分析深度生成模型的训练过程 (Analyzing the Training Processes of Deep Generative Models)

DGMTracker系统界面

深度生成模型是针对非监督学习和半监督学习的一种强有力的解决方案。通过深度生成模型,深度学习在没有外部数据标签或者带标签数据集过小的情况下仍然能继续工作。与其他的深度模型,比如卷积神经网络,更强有力的深度生成模型,也意味着其训练过程对训练者的要求更高。一方面,生成模型既有着确定性的函数,又包含随机变量;另一方面,生成模型是一种自上而下不断生成细节的过程,而诸如卷积神经网络则是从细节中不断提取高层特征的自底向上的过程。综合这两方面,如果理解深度生成模型的训练过程,以及如何对其过程进行诊断就变得尤其重要。本文就考虑用可视分析的手段来帮着这个分析过程。

继续阅读 »

ACTIVIS: 工业规模深度神经网络的可视化探索 (ACTIVIS: Visual Exploration of Industry-Scale Deep Neural Network Models)

深度学习在许多领域,比如计算机视觉、自然语言处理,取得相当重要的突破。尽管越来越多公司在他们的产品上,用越来越多深度学习模型。但这些模型依靠非常多的参数,尝试从数据中学习隐藏的非线性的结构。这个特点,使得人们难以理解模型的结果,难以分析模型不好的原因进而采取进一步的措施。

近些年,越来越多研究者研发可视化工具,尝试帮助人们理解深度学习模型的结果。但现有的工具,往往针对某一特定的模型和某种类型的数据,不能满足工业界的需求。在工业界,一方面,使用的模型种类非常多,模型结构非常复杂;另一方面,分析的数据类型非常丰富,数据量也非常的大。

为此,本文提出ACTIVIS[1],一个支持工业界深度学习模型分析的可视化探索工具。

继续阅读 »

对人工神经网络的隐式行为进行可视化 (Visualizing the Hidden Activity of Artificial Neural Networks)

图3:训练前后MLP最后一层数据表示的投影图

在许多机器学习任务中,人工神经网络尤其是近些年发展起来的深度学习网络,已经取得了十分瞩目的结果。然而,以前研究者往往将神经网络的内部行为当作黑盒来看待,神经网络到底学习到了什么并不了解。近些年来,研究者们逐渐开始关注这一问题,并通过了解其内部行为来帮助优化模型。而这篇工作则是从可视化的角度出发来对待这个问题。

继续阅读 »

DeepEyes: 用于深度神经网络设计的递进式可视分析系统 (DeepEyes: Progressive Visual Analytics for Designing Deep Neural Networks)

深度神经网络,在模式识别问题上,取得非常不错的效果。但设计一个性能好的神经网络,需要反复尝试,是个非常耗时的过程。这个工作[1]实现了用于深度神经网络设计的可视分析系统,DeepEyes。该系统可以在DNNs训练过程中,提取数据,从网络整体效果,神经层和神经元角度,分析神经网络运行状态,进而协助用户更新DNNs。

继续阅读 »