Labels on Levels: 稠密的多尺度多实例的三维生物环境的标注 (Labels on Levels: Labeling of Multi-Scale Multi-Instance and Crowded 3D Biological Environments)

对于大规模介观生物数据,其往往具有稠密、多尺度、多实例三种特性。稠密,即数据具有很少空白空间;多尺度,即数据跨越许多不同长度尺度;多实例,即数据中含有许多相同种类的物体。本文[1]首次提出了一种对具有上述特性的数据进行实时标注的方法,且此方法中,标签位置随用户对体数据的缩放、平移操作可以连续地变化。

图1 拥挤的多尺度多实例的三维生物环境的标注

本文的工作流程图如图2所示。具体可分为渲染、多尺度步(multi-scale step)、多实例步(multi-instance step)、标注步(labeling step)四个步骤。

图2 工作流程图

本文改进了Le Muzic等人工作[2]中考虑细节层次的体渲染方法,对具有多尺度层次的体数据进行渲染,并在过程中获得最终渲染结果中每个像素的类别、物体ID、物体深度、颜色属性。

多尺度步使用上述类别缓存图像,物体ID缓存图像、物体深度缓存图像,及多尺度层次结构信息作为数据,输出标签层级缓存图像(label levels buffer)。具体地,依据深度缓存图像获得每个像素与屏幕间距离。对于同一类物体,距屏幕越远,将其标为越高层级的类别;距离越近,将其标为越细节层级的类别,如图3所示。

图3 根据物体与屏幕距离决定物体标注层级

多实例步以上述包含物体深度的标签层级缓存图像作为输入,在每类物体中选出一个作为代表作为标注对象。对同一类别的物体,对其在显著性、与屏幕距离、与边界距离、与上一帧中位置四个方面进行打分,选取四项得分乘积高者作为代表,在下一步中进行标注。

标注步中,选取待标注物体的中心作为标签中心,根据标签层级及待标物体距屏幕距离决定标签文字大小,将标签标注于物体表面。标签可不包含其标注物体的深度信息,也可包含此信息,如图4所示。其中包含深度信息的标签可以增强标签作为3D对象的感知,也有助于标签与标注对象之间的关联。此外,为使用户探索过程(缩放、平移、旋转)中标签的变动具有连续性,与每一次交互前相比,对于新增及需要删除的标签采用淡入淡出的过渡形式;对于交互前后均存在的标签,固定其与标注物体的相对位置,于交互后重新计算并平滑地更新位置。

图4 不包含(左)与包含(右)深度信息的标签

本文使用血浆中HIV病毒数据作为输入体数据。此数据包含39个种类的多于30000个蛋白质,并具有6级的层级结构。标注效果如图5所示。

图5 HIV病毒数据在不同尺度下的标注效果

总的来说,本工作首次实现对多尺度多实例的稠密生物数据进行标注,并在交互中,标签可实时重定位。

参考文献

[1] Kouřil D, Čmolík L, Kozlíková B, et al. Labels on Levels: Labeling of Multi-Scale Multi-Instance and Crowded 3D Biological Environments[J]. IEEE transactions on visualization and computer graphics, 2018.

[2] M. LeMuzic, L. Autin, J. Parulek, and I. Viola. cellVIEW: a tool for illustrative and multi-scale rendering of large biomolecular datasets. In Eurographics Workshop on Visual Computing for Biology and Medicine, pages 61–70, sep 2015.

评论关闭。