MotionExplorer:基于层次化聚类的人体运动捕捉数据探索系统 (Exploratory Search in Human Motion Capture Data Based on Hierarchical Aggregation)

运动捕捉数据在体育、医疗和影视行业十分有用,已有的运动序列被用来做运动合成。然而这类数据因为其本身数据量非常庞大,同时具备高维与时序性质,对它们的浏览、分析和关键动作序列提取是一个难点。以往的分析工具中,专家会用手动提取的方法对数据库检索,然而这些建立在文本检索之上的工作实在繁琐,为此,来自德国的一批可视化研究者们开发出了系统MotionExplorer系统用于对运动捕捉数据的可视化方法的浏览与分析,这个直观的可视分析系统为运动捕捉数据的分析提高了效率和方便。

MotionExplorer的界面示意图。左上的树形图展示了层次聚类的动作捕捉数据概览,右上的节点连接图展示了聚类的分布和之间的关系,下方的搜索界面让用户搜索已知开始和结束的所有动作序列。

MotionExplorer的界面示意图。左上的树形图展示了层次聚类的动作捕捉数据概览,右上的节点连接图展示了聚类的分布和之间的关系,下方的搜索界面让用户搜索已知开始和结束的所有动作序列。

MotionExplorer系统的界面如上所示,包含三个基本的窗口:浏览层次化结构的树形图(左上)、浏览运动聚类和转换的点链接图(右上)、查询与结果分析窗口(下)。运动数据被系统智能地按照空间相似性聚集成一个个类别,以便展示庞大数据库的全貌,让专家分析动作的种类和差异。

人体运动数据获取之后,系统会每个标记点的具体坐标作为测量动作的相似程度。比如,模特穿戴了16个标记点,每个标记点记录了动作过程中在三维空间中的坐标记录,这些坐标合起来组成的48维向量作为这个动作的表现。

运动数据被展示成火柴小人的形状,前处理使得小人的头永远朝上,便于用户在使用过程中识别不同姿势。这个设计灵感来源于著名的达芬奇人体结构示意图。一个类别中含有相似的姿态用半透明叠加起来表示,请看图中每个圆圈中的姿势。圆圈的大小和类别的大小成正比,圆圈的颜色是按照聚类结果分配的,也就是说,相近颜色的圆圈所代表的两个类别也就越相似,相反颜色的圆圈所代表的类别差别越大。

动作聚类的可视化方法:头朝上的火柴小人,不同的肢体动作可以用半透明重合表示。外部的圆圈大小表示该类的大小,圆圈的颜色表示类别的相似程度。

动作聚类的可视化方法:头朝上的火柴小人,不同的肢体动作可以用半透明重合表示。外部的圆圈大小表示该类的大小,圆圈的颜色表示类别的相似程度。

层次化结构图刻画动作聚类之间的层级关系,用户可以通过调节垂直方向的滑块改变聚类被展开的程度。节点连接图窗口也用圆圈表示动作的聚类,每个圆圈的位置是这些聚类在高维空间投影到二维空间的投影位置(此处采用了PCA降维投影技术)。位置越靠近表示两个类别越相似。

树形结构图画出了动作聚类的结构,用户可以通过垂直的滑动条来控制展开的程度,图中从左到右是聚类程度分别是5,15,30的结果。

树形结构图画出了动作聚类的结构,用户可以通过垂直的滑动条来控制展开的程度,图中从左到右是聚类程度分别是5,15,30的结果。

查询和结果分析的窗口让用户用可视化的方法来向数据库发出查询动作序列的请求。用户可以通过拖拽的方式来定义其实动作和结束动作,系统自动将查询转换成SQL语句,之后返回的动作序列结果展示在下方中间的行上,每行是一个动作序列,缩略图的方式让用户直观地看到查询结果,并且随时分析这些结果。通过可视化的方法,这种搜索只需要几次拖动和点击就完成,比之前的手动输入算法搜索要快捷很多。

查询界面,用户通过拖拽来定义起始和结束的动作,之后返回的结果用条带展示。拖动时间滑块,用户可以看到某一个搜索结果的动画演示。

查询界面,用户通过拖拽来定义起始和结束的动作,之后返回的结果用条带展示。拖动时间滑块,用户可以看到某一个搜索结果的动画演示。

本文的作者在设计和开发系统的时候一直保持与领域专家合作的亲密关系,从考虑专家的分析需要为出发点,并且仔细评估了系统使用时数据和使用心得。从用户的反馈看来,系统为他们节省了很多的时间,提高了效率,并且很直观很容易熟悉。同时,这个系统也支持专家自己的运动捕捉数据。

touch

[1] Bernard, J., Wilhelm, N., Kruger, B., May, T., Schreck, T., & Kohlhammer, J. (2013). MotionExplorer: Exploratory search in human motion capture data based on hierarchical aggregation. Visualization and Computer Graphics, IEEE Transactions on, 19(12), 2257-2266.

评论关闭。