标签存档: 深度神经网络

分析深度生成模型的训练过程 (Analyzing the Training Processes of Deep Generative Models)

DGMTracker系统界面

深度生成模型是针对非监督学习和半监督学习的一种强有力的解决方案。通过深度生成模型,深度学习在没有外部数据标签或者带标签数据集过小的情况下仍然能继续工作。与其他的深度模型,比如卷积神经网络,更强有力的深度生成模型,也意味着其训练过程对训练者的要求更高。一方面,生成模型既有着确定性的函数,又包含随机变量;另一方面,生成模型是一种自上而下不断生成细节的过程,而诸如卷积神经网络则是从细节中不断提取高层特征的自底向上的过程。综合这两方面,如果理解深度生成模型的训练过程,以及如何对其过程进行诊断就变得尤其重要。本文就考虑用可视分析的手段来帮着这个分析过程。

继续阅读 »

ACTIVIS: 工业规模深度神经网络的可视化探索 (ACTIVIS: Visual Exploration of Industry-Scale Deep Neural Network Models)

深度学习在许多领域,比如计算机视觉、自然语言处理,取得相当重要的突破。尽管越来越多公司在他们的产品上,用越来越多深度学习模型。但这些模型依靠非常多的参数,尝试从数据中学习隐藏的非线性的结构。这个特点,使得人们难以理解模型的结果,难以分析模型不好的原因进而采取进一步的措施。

近些年,越来越多研究者研发可视化工具,尝试帮助人们理解深度学习模型的结果。但现有的工具,往往针对某一特定的模型和某种类型的数据,不能满足工业界的需求。在工业界,一方面,使用的模型种类非常多,模型结构非常复杂;另一方面,分析的数据类型非常丰富,数据量也非常的大。

为此,本文提出ACTIVIS[1],一个支持工业界深度学习模型分析的可视化探索工具。

继续阅读 »

对人工神经网络的隐式行为进行可视化 (Visualizing the Hidden Activity of Artificial Neural Networks)

图3:训练前后MLP最后一层数据表示的投影图

在许多机器学习任务中,人工神经网络尤其是近些年发展起来的深度学习网络,已经取得了十分瞩目的结果。然而,以前研究者往往将神经网络的内部行为当作黑盒来看待,神经网络到底学习到了什么并不了解。近些年来,研究者们逐渐开始关注这一问题,并通过了解其内部行为来帮助优化模型。而这篇工作则是从可视化的角度出发来对待这个问题。

继续阅读 »

DeepEyes: 用于深度神经网络设计的递进式可视分析系统 (DeepEyes: Progressive Visual Analytics for Designing Deep Neural Networks)

深度神经网络,在模式识别问题上,取得非常不错的效果。但设计一个性能好的神经网络,需要反复尝试,是个非常耗时的过程。这个工作[1]实现了用于深度神经网络设计的可视分析系统,DeepEyes。该系统可以在DNNs训练过程中,提取数据,从网络整体效果,神经层和神经元角度,分析神经网络运行状态,进而协助用户更新DNNs。

继续阅读 »