使用上下文显著性驱动的射线剖面分析算法对于感兴趣特征进行直接体绘制(Feature of Interest-Based Direct Volume Rendering Using Contextual Saliency-Driven Ray Profile Analysis)

现今的科学研究中,体数据的存储形式被广泛应用于各个领域,对于体数据的研究占据了非常重要的地位。其中直接体绘制技术可以通过设计传递函数(TF),来引导用户关注体数据特定子集,从而十分有效地地帮助用户深入理解体数据。在传递函数的设计问题中,有两个主要讨论的问题。其一是对于感兴趣的特征区域(FOI)的定义问题,这在研究复杂的体数据的场景下较为困难,同时特征区域选取的准确性也难以较好地保证。其二是在特征区域上施加视觉强化的效果,这可以通过对于特征区域设定恰当的光学参数来实现。但这样的过程常常会涉及到一个重复的错误尝试的过程,同时会引入很多十分低效的手动的参数调整。因此需要考虑一定的策略来有效的进行传递函数的设计。本文提出一种使用上下文显著性驱动的射线剖面分析算法对于感兴趣特征进行直接体绘制,有效地解决了这一问题。

在以往的工作中,已有有很多方法被提出来分析该问题。本文将主要将方法分为三类。第一类是基于图像的方法,该类方法通过允许用户直接在可视化结果上定义FOI,例如允许用户进行圈选、涂色等方式。这样的方法引入了过多的交互,同时由用户定义的区域很难精确地被映射为特征区域。第二类方式是基于重要性的方法,这一类方法需要较为精准的先验知识,根据预先定义的FOI,根据不同区域的重要度映射光学参数的设置。第三类方法即为基于射线剖面分析的方式。该方式要求用户交互式的选择一条射线穿过体数据,隐式地定义特征区域,然后沿着射线的方向分析剖面的信息。该类方法适用于领域专家,他们对于数据的结构有充分的理解,但对于传递函数的设置缺少经验,可以通过简单的交互来自动地为他们提供较好的直接体渲染结果。在以往的工作中,这一类方式缺少一些上下文的信息,因而效果有所欠缺,本工作基于该类方法进行了改进。

为了引入上下文的信息,本工作引入了上下文显著度的概念,这是一个受启发于生物学的特性,用于定义视觉系统对于一片区域相较于周边区域的重要性。可以通过引入多尺度来丰富这一概念。显著度驱动的射线剖面分析算法引入区域的上下文信息来进行射线剖面分析。该方法沿着射线的方向将各个体素分组,并自动地把FOI映射到光学的参数空间。这样的方式大大减少了引入的交互,同时相较于其他的基本算法在表现上有较好的优越性。

上图的本工作的流程图。以下的部分将具体的分析各个部分的算法。

2D图像切片的构建
用户定义的射线穿过体数据交于两个点,由这两点可以确定平行于交汇面的边的线段,从而确定两个图像切面。在本工作中,我们选择面积较大的切面作为上下文信息的切面,由于其具有较多的信息量。如图可知我们最终提取的两个切面。

颜色映射
我们将构建的2D图像切面映射为彩色图像。最低和最高的灰度值分别映射为蓝色和红色。进行这样的灰度映射的原因有三点。首先彩色可以增强不同显著度的区分度,从而提升之后的算法的效果。同时,彩色的渲染是在许多医学应用中十分常见的分割方式。最后,显著度的计算是模仿视觉感知的方式,多种颜色更加有利于分析和理解。

显著度图的提取
显著度图的提取算法流程分为四步骤,借鉴了层次化的显著度检测的工作[1]。
首先,对于彩色的图像,算法采用类似于分水岭算法的方式生成初始的分割。
接着,算法在不同层次进行区域的融合,即区域尺度小于一定阈值的区域会被融合到具有相同颜色的临近区域。区域的尺度由区域所能够容纳的最小的正方形边长来度量,这样可以避免将一些狭长的带状区域认为是具有较大尺度的区域。对于400*300图像,三种不同尺度下原工作设置的尺度阈值为3,17,33。


然后,算法在每一个层次尺度上进行基于区域的显著度计算,由每一个区域与其他所有区域的颜色距离与施加空间距离和区域内元素个数的权重相乘并求和得到,具体公式如下。

最后,算法融合所有尺度上每个区域的显著度信息,得到最终的显著度分布。融合的方式为优化一个树状结构所定义的代价函数。代价函数为两个独立项的求和,分别为显著度的一致性度量和平滑性度量。一致性度量为所有尺度上每个区域最终显著度与步骤3中计算得到显著度距离的求和。平滑性度量为不同尺度中多个区域之间存在互为父子关系的区域的距离求和。具体公式如下。通过最小化这个代价函数,我们最终得到了信息整合后的基于区域的显著度值。

基于上下文显著性驱动的射线剖面分析的特征定义
在计算得到显著性图之后,算法通过沿着射线的方向采样获取关于显著度和体素强度两方面的曲线并进行特征定义。对于显著度施加平滑算法,将显著度差异小于阈值差异的相邻两点设置为一致的显著度值。对于强度值曲线的多个强度值差异小于阈值差异的峰,采用合并算法,除非其显著度具有不同的值。有显著度曲线的多个“平台”,我们可以分别定义不同的FOI。

传递函数的生成
本文关注于一维的传递函数设计。传递函数通过多个基于显著度定义的分量的组合而成,基于强度值设置每个分量中的光学参数。每一个传递函数的分量的定义通过三个点的设置,分别为FOI中强度值最大、最小、均值。均值出透明度参数设置通过logistic函数设置。具体公式和函数效果如下。对于传递函数中峰个数的优化,可以通过分裂强度范围最大的分量来增加峰的个数,或者通过合并平均强度最为接近的两个峰来减少峰的个数。

本文实验结果在一个胸腔的数据集中展示。算法共计检测到了5个FOI,在生成传递函数时由于FOI2和FOI3具有相似的强度值范围,最终被合并为一个峰。生成的四个峰分别代表强化胸腔数据中的动脉、肺组织、肋骨和肌肉。对于合并的两个FOI,本文邀请了领域的专家验证了这两个部分虽然同属于肺组织但是实质上还可以细分为肺组织和肺支气管,这两部具有相似的强度值但是具有不同的显著度。这进一步验证了本文的划分的正确性和有效性。

本文与其他的一些已有的基于射线剖面分析的方法进行了对比。比较结果如下。我们可以看到其他的方法对于曲线产生波动的区域常常将其认为是一个新的FOI,而这些区域常常是一些较为高频的噪声。而本文提出的方法十分稳定而有效。

本文还提出了本工作中的算法的一些可能的应用场景。首先是对于一个复杂的具有多个FOI的数据集的直接体绘制,用户可以直接通过简单的鼠标点选来定义射线来强化一个特定区域的可视化结果,使用户能更好的理解数据。其次对于MR数据,存在一些固有的异构强度和部分容积效应的问题。这使得直接体绘制产生的可视化结果难以较好地展示异常发生的区域,而通过采用我们基于显著度的方式来进行直接体绘制可以有效的进行体数据可视化以凸显异常区域。最后,本工作还可以应用于CT和PET的融合,通过将CT结果用直接体绘制的方式展现在PET中,可以实现解剖学信息和异常的信息的融合,提高体数据理解的效率。

总的来说,本文提出了一种基于简单交互的新的自动进行的直接体渲染的方法,相对于已有方法具有良好表现且应用场景广泛,值得深入阅读。

[1] YAN Q., XU L., SHI J., JIA J.: Hierarchical saliency detection. In Proceeding of IEEE Computer Society Conferenceon Computer Vision and Pattern Recognition (2013), pp. 1155– 1162.

评论关闭。