Bio+Med+Vis Spring School Day 1

第一届生物和医学可视化春季学校Bio+Med+Vis于2021年5月17日至21日以线上方式举行。开幕式上,八位组织委员会成员分别做了自我介绍。他们是来自哈佛大学的助理研究员Johanna Beyer、来自马萨里克大学的助理教授Jan Byška、来自林克平大学的Ingrid Hotz教授、来自马萨里克大学的Barbora Kozlíková副教授、来自维也纳大学的Torsten Möller教授、维也纳理工大学和格罗宁根大学的Renata Raidou、来自卑尔根大学和霍克兰德大学附属医院的Noeska Smit副教授以及来自维也纳理工大学的博士后Hsiang-Yun Wu。

本届邀请了35名讲者,吸引了351名参与者(见图1)。学校主要为参加者准备了由生物和医学可视化领域顶尖专家主讲的为期一周的精彩讲座。此外,它还提供其他课程,如针对博士研究和可视化设计的指导、关于可视化工具和库的实用教程、以及来自临床实践和行业专家的特邀讲座。


图1: 参会人员统计

之后组织者通过Slido进行了一次在线的调查,组织者预先设置好了问卷,参与者通过扫描填写问卷,问卷的结果实时地更新在了会议的屏幕上。在参与者中,绝大多数都来自计算机科学领域,只有极少数来自医学专业(4%),大多数参与者之前都参与过可视化相关课程,而大多数参与者之前并没有接触过生物医学可视化相关课程。 在开幕式的最后,参与者分享了自己对这次春季学校的期望。可以看到,参与者们最期待从本次春季学校中听到有趣的讲座,获得更多启发与想法,并认识更多相关领域的学者。

开幕式结束之后,生物和医学可视化春季学校的课程正式开始。今天一共有六个主题报告,涵盖图像去噪、扩散加权成像可视化、生物医学数据源、基于游戏引擎的科学可视化、空间单细胞基因组数据可视化以及基于PET的代谢连接可视化多个主题。

图像去噪的最新进展(Recent Advances in Image Denoising)

图像去噪是生物医学图像处理的常见问题。来自高丽大学(Korea University)的Won-ki Jeong教授给我们带来了图像去噪问题上的一些最新研究成果的展示和分析,主要关注的是基于深度学习的方法。相关的方法按照监督的程度可以分为监督学习、弱监督学习、自监督学习和非成对数据的学习方法。

传统的图像去噪基于三大假设:噪声是位置无关的;噪声与图像本身无关;噪声是零和的,因此对图像做局部加和平均可以一定程度去噪,这就是线性空间滤波器,它的缺点是去噪后的图像过于模糊。相较之下非线性空间滤波器同时考虑了图像像素在位置上的距离和在色彩上的距离,将两个距离作为高斯函数中的指数来进行非线性滤波。另一个常见的方法是总变分去噪法,它将去噪问题转换为一个优化问题,找到一个图片使得它与原图的距离与总变分之和取到最小,认为这样的图片就是去噪后的图片。

在近几年出现了使用深度学习来进行图片去噪的方法(见图2)。其中首个使用监督学习的DnCNN模型[Zhang, TIP17]使用卷积神经网络将一对带噪声的图片和它的噪声残差图做为一组训练数据,进行端到端的学习。纯净图与噪声图之间的残差,往往较小,因而适合使用残差学习来提高学习效果,但这样的监督学习模型,不可避免需要大量的训练数据,而在实际工作中,往往没有这样配对好的图片来进行训练。因此又出现了弱监督学习,自监督学习,和非配对的学习方法。Deep Image Prior[Ulyanov, CVPR19]仅使用一张图片作为训练数据,它的核心思想是一张图片越接近纯噪声那么它的学习收敛速度就越慢,因此可以通过控制学习迭代的次数来使得图像在过拟合前,达到去噪的效果,优点是只需要一张图片作为训练数据,但缺点是对每个输入的图片都要重新训练,同时学习迭代停止的次数仍然是启发式的。Noise2Noise是一种无监督学习的模型,它仅使用有噪声的图片,基于噪声是零和的假设,通过有噪声的图片进行加权组合,进而得到接近去噪的图片。类似的还有Noise2Self, Noise2Void, Noise2Kernel等方法。UIDNet[Hong et al., AAAI20]是一个非成对的学习方法,有一组噪声图像和一组纯净图像,但两两之间并未配对,核心思想是通过一个对抗生成网络,在已有的噪声图像上学习生成噪声,将生成的噪声与纯净图像结合产生一个假噪声图像,将这个假噪声图像与原始的纯净图像配对来进行监督学习训练去噪模型。


图2:基于深度学习的图像降噪方法的总结

扩散加权成像的可视化(Visualization for Diffusion-Weighted Imaging)

来自埃因霍温科技大学 (TU Eindhoven)的Anna Vilanova教授介绍了针对扩散加权成像 (diffusion-weighted imaging, DWI)的可视化。扩散加权成像是一种基于测量组织体素内水分子的随机布朗运动的MR成像形式,通常表征为二阶张量。扩散加权成像在现实中应用广泛,比如它可以帮助我们理解脑发育、脑损伤、心脏缺血;帮助诊断阿尔茨海默症和多发性硬化症;帮助治疗肿瘤和癫痫等。

被表征为张量的扩散加权成像可以使用标量场、张量场线、图标和分割等张量可视化方法来呈现(见图3)。标量场根据应用场景从张量场中计算一些标量信息,如各向异性指数 (asnisotropy indices)、几何扩散测度 (geometric diffusion measure)等。标量信息易于可视化,但却从6维简化到1维,损失大量原始信息。基于主特征向量场的流线追踪可以帮助获得张量场线,从而可视化扩散加权成像。这种方法的好处在于能够展示全局信息。然而,它将信息简化到3维,还面临错误累积和杂乱等问题。图标 (glyph)是信息的视觉表现,通常以几何图元的形式出现。信息的编码方式包括形状、颜色、大小等。图标可以用来表示通过特征分析提取的知识。它可以展示完整的局部信息,但受限于全局信息的表达,并且在拓展到3维的时候容易引起杂乱。分割用于把数据分成不同的部分,可用于方法、相似性度量或者参数设定等的比较。


图3:扩散加权成像的可视化方法。

生物医学数据源入门(A Primer on Biomedical Data Sources)

数据是可视分析的基础,理解生物医疗数据能够帮助我们了解生物医学可视化研究的全貌。来自卑尔根大学和马萨里克大学(Masaryk University, University of Bergen) 的Jan Byska教授以及来自卑尔根大学和豪克兰大学医院(University of Bergen and Haukeland University Hospital)的Noeska Smit教授给我们带来了生物医学数据源的入门指南。从尺度最小的原子,到细胞,再到组织(tissue),最后到最大尺度的人群(population),逐步构建出生物医学数据的整个层次结构(见图4)。针对每一类数据,详细地介绍了数据的形式,获取的技术方式以及相应可视化的挑战。


图4: 不同尺度的数据类型

       首先是Jan Byska教授介绍的生物相关的数据,相关的数据类型包括原子、分子(molecule)、基因、交互和细胞。原子是任何物质的最小单元。在生物医学领域通常研究的最小单元是由原子构成的分子,比如药物小分子和蛋白质大分子。针对蛋白质分子,按结构(见图5)可以分为第一、第二、第三和第四级结构的提取方法。基因也是一种重要的数据类型。基因通常和蛋白质一起出现,共同形成染色体。相应的提取方法有染色体构象捕捉(chromosomes conformation capture)、片段序列(Chip-Seq)。获取基因数据的存在不确定性和高代价的挑战,而基因的数据分析的挑战在于多尺度、多模态。在分子层面,蛋白质与配体(ligand),以及蛋白质之间的交互数据也是非常有趣的。在分子层面之上是细胞数据。衡量细胞的表达级别对于理解组织等非常重要。获取数据的方式包括局部化、细胞计数和检测和衡量细胞或者粒子的物理和化学的特性。存在的挑战是多模态和数据的高维特性。


图5: 蛋白质分子的四级结构

然后是Noeska Smit教授介绍医学相关的数据,相关的数据类型是组织、器官、人体和人群。组织数据的形式包括表格(比如血值)和图像(比如组织),可以通过包括排泄(excretion)、切除(excision)和活检(biopsy)的方式进行采样。组织数据可视化的挑战在于将图像堆叠到3d时需要解决形变和定位的问题、高像素带来的交互和缩放查询、专有的图片格式以及与自动图像分析方法的交互。组织数据之上是器官数据。器官数据通常是基于医学成像(见图6)的方法获得,比如CT、MRI、IR和PET。医学成像的可视化挑战在于人工品对成像的干扰、与自动分析方法的交互、与更低尺度数据的交互等。器官之上的人体数据的获取方式包括冷冻切片(cryosection)和电子健康信息记录。最后是尺度最大的群体健康数据。群体健康数据的获取方式包括筛选测试(screening)和队列研究(cohort studies)。前者是从未发病的人群中通过筛选测试找出问题,而后者是通过跟踪、采访、检测的方式研究一群具有相同特质的人。群体数据的研究挑战在于数据量太大、难以与统计和机器学习的方法相结合,以及数据可能出现缺值、未标准化的质量问题等。


图6: 医学成像技术及对应的图像

Unitymol作为基于游戏引擎的科学可视化示例:入门教程(Unitymol as an Example for Game-Engine Based Scientific Visualization: an Introductory Tutorial)

来自CNRS Paris的Marc Baaden向大家展示了使用Unity3D来构建球体、球面,编码着色器从而在虚拟的三维场景中完成分子模型的建模进行科学可视化,并可以通过虚拟现实的手段进行交互式的探索。同时Unitymol支持多人合作与分享,便捷的模型数据共享的同时,个人可以在分子模型上加上各自的标注与标签。以Covid-19病毒模型为例(见图7),使用Unitymol完成病毒模型的搭建后,首先可以便捷的生成病毒的静态图片,以及一些视频来进行分享和传播科普。其次,专家们可以通过虚拟现实的平台分享模型,或者对该模型进行3D打印。最后Unitymol还可以与增强现实的眼镜相结合,或者与展示屏幕相结合,实现针对不同个人的展示需求,或者是多人合作场景下的需求。


图7:使用游戏引擎进行科学可视化的多方面好处

Marc Baaden在最后总结了使用游戏引擎进行科学可视化的优点和缺点,其中优点包括1)更短的开发周期2)更好更兼容的硬件支持3)更加容易学习4)成本低(免费使用),效率高5)视觉效果好,而缺点也有1)难以掌握性能优化技巧2)游戏引擎的进化会不断引入新的东西,废弃掉旧的技术,开发者必须一直保持跟随3)开发者必须考虑不同游戏引擎流行程度的变化,需要跟随潮流。

空间单细胞基因组数据可视化(Visualization of Spatial Single-Cell Omics Data)

来自哈佛医学院的助理教授Nils Gehlenborg介绍了空间单细胞基因组数据可视化的相关内容。这类可视化的挑战主要体现在数据的多模态(图像形式或基因组形式)、多尺度(器官、器官部分、功能组织单元、细胞),不明确的数据分析任务以及极具挑战性的数据传输等方面。针对这些挑战,Gehlenborg提出五条模块化设计准则,分别是:1)严格分离分析和可视化两部分;2)构建灵活的视图协作;3)不使用服务器,因为服务器的部署和维护意味着需要付出额外的努力;4)组件支持嵌入其他应用程序;以及5)使用P/B模式设计交互。

Gehlenborg教授还在Vitessce (见图8,http://beta.vitessce.io/index.html)的基础上介绍了几种空间单细胞基因组数据常用的可视化技术。散点图可以通过t-SNE等降维方法展示细胞数据。热力图显示细胞-基因或基因-细胞的矩阵可视化。空间组件旨在显示具有空间坐标的数据,包括作为多边形的空间分辨率的细胞分割和作为点的分子位置。基因组图谱组件中基因组沿X轴,每个基因组位置的值沿Y轴用条形图编码。


图8:Vitessce

基于全身正电子发射型计算机断层显像的人体全器官代谢连接可视化(Visualizing the Human Metabolic Connectome using Total-Body PET)

来自维也纳医科大学定量成像和医学物理团队的Thomas Beyer教授和Lalith Kumar博士(见图9)介绍了关于利用全身正电子发射型计算机断层显像来研究的人体全器官代谢连接的工作,在该工作中,可视化技术做出着重要贡献。


图9:Thomas Beyer教授和Lalith Kumar博士

正电子发射型计算机断层显像技术(Positron Emission Computed Tomography,见图10)是核医学中一项重要的技术,它是指将包含短寿命的放射性元素的人体代谢物质注入人体内,这些放射性元素将在人体中代谢高的部位聚集,而这样的聚集可以通过高灵敏度的相机捕获并有计算机处理成像,常适用于恶性肿瘤的检查,因为恶性肿瘤的往往葡萄糖代谢高。


图10:Thomas Beyer教授用风趣幽默的例子对正电子发射型计算机断层显像技术(PET)进行介绍

在2019年,PET技术领域中出现了新的突破,TBPET出现了(Total-Body PET),该技术能够一次性对整个人体成像。在这样的背景之下,Thomas Beyer教授和Lalith Kumar博士产生了一个新的想法,他们计划利用TBPET技术定量地检测与分析人体不同器官之间的代谢连接情况,并结合脑电图(EEG),心电图(ECG)等传统指标,并总结出一般性的规律,如果这样的规律能够被发现,那么就能构建出一张人体不同器官之间的代谢网络,在将来的医学检查中,只需将病人的代谢网络与一般的代谢网络进行对比,就可以很快地找到病人体内出现异常的器官。这将会是多么令人兴奋的事(见图11)。


图11:Thomas Beyer教授展示他们研究工作目标与整体思路

在这样的研究工作中,除了医学上的调查与研究,数据分析也是一个极其重要的部分。Lalith Kumar博士提到,可视化技术在数据分析中帮到了他们许多忙,例如他们用于分析乳腺癌患者的标准摄取值(Standardized Uptake Values, SUV)用的小提琴图(见图12),而可视化中的交互,更是提供了更加方便的探索方式,例如用d3.js实现的弦图等。


图12:Lalith Kumar博士展示使用可视化分析SUV指标

但Lalith Kumar博士也提道,他认为当前的许多可视化框架对于他们领域与社区的人是非常难用的,他认为能够自动化探索分析的python库Lux是他使用较多的(https://github.com/lux-org/lux),但像d3.js这样库,他很难掌握得很好,他认为d3.js的语法是”verbose”的。所以他也在讲话的最后寻求合作,他希望可视化技术能够进一步地提升,最好能出现一种整合统一易用的网页框架(见图13,14)。


图13:Lalith Kumar博士谈对当前医学可视化技术的感受

图14:Lalith Kumar博士对将来医学可视化技术的期望
发表评论?

0 条评论。

发表评论


注意 - 你可以用以下 HTML tags and attributes:
<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>