Bio+Med+Vis Spring School Day 5

2021年5月21日,生物医学可视化春季学校的第五天,也是最后一天,的主要内容有生物医学中的AR与VR、P4医学中的可视分析、医学可视化评估实践、在低维嵌入中对模式与关系的可视化探索、可视化与医学成像AI、BioVis在临床和公共卫生实践中的应用、关键领域的AI可视化以及第一届Bio+Med+Vis春季学校的圆桌讨论与闭幕式

生物医学中的AR与VR(AR/VR in BioMedicine)

来自加泰罗尼亚理工大学的Pere Pau Vazquez教授就生物医学中的AR与VR应用带了一场介绍性的讲座,主要分为两个部分,分别对应VR和AR。VR的特点是交互式的模拟,内含式的交互和沉浸式的感官,优点在于可以获得3D的感知、更大的展示空间、更大的信息量以及参与感,基本要求包括高帧率和低延迟来保证用户的良好体验。VR使用的头戴式硬件有一系列的限制包括较低的分辨率、有限的计算能力、有限的用户活动范围、有限的电量或与电脑需要连接,使用控制器的交互同样有许多限制,例如低精度、有限的交互动作等。在生物医学中,VR的应用主要针对探索大型生物或医学模型、与3D模型的自然交互、合作解决复杂问题三类任务,具体例如:分子连接、合作校对、医学训练、解剖训练等。在[Xin et al., 2018]工作中,通过对比实验,得到结果使用VR训练的学生能更好更快得完成脊柱手术。总结而言,VR在生物医学中主要的挑战在于有限的GPU能力,然而模型十分复杂使得渲染的时间很长,而且不同于传统屏幕,在VR中需要渲染的广角更大,占用的存储空间更大。

AR的特点是结合现实和虚拟、实时的交互、将3D现实和虚拟映射在同一坐标系下。实时的交互意味着需要追踪物体,3D追踪有两种方法,一种是使用特定的标记,一种是利用物体的特征。将虚拟和现实映射在同一坐标系下有不同的方法,包括透明显示、视网膜投影、空间增强现实等。AR与VR的不用在于VR是创造了一个虚拟的空间,而AR是在现实空间上增强。在生物医学中的应用,主要针对外科手术的干涉和评估,以及教育应用。例如针对由纤维发育不良引起的颅面病变,治疗主要挑战在于计算需要移除的骨头和结果。通过3D建模的方式,可以在AR的场景中预演纤维的修复和骨头的移除,这样的方法以硬件为成本,可以提升效率和成功率。生物医学中AR面临的主要限制在于从现实的角度观察许多生物结构太小,并且许多观察主体是活物,并非模型,其他限制与VR的局限性类似。

图1: 生物医学领域中的AR与VR

P4医学中的可视分析(Visual Analytics for P4 Medicine)

来自屠维恩与格罗宁根大学的Renata Raidou教授介绍了P4医学中的可视分析。P4指的是Personalized, Predictive, Preventive and Participatory。Personalized指的是医学需要个人化,针对每一个病人的病体器官做可视分析。而Predictive和Preventive需要大量样本的器官数据作为支撑来进行分析预测病人的行为,因而需要使用可视分析的技术来帮助大量数据的分析,流程如图2所示。

图2:可视分析器官的量化探索流程

Bladder Runner是一个针对膀胱器官的可视分析系统[Raidou et al., CGF 2018],收集多个病人的器官可视化,支持查看三个方向上的投影,以及统计信息的分析。对于P4医学主要观察分析的是器官的形状差别,药物剂量的分布和病理风险。主要的方法是将器官形状上的差异进行参数化,然后将不同器官部位的各个高维参数做降维进行可视分析,相关的工作包括[Grossmann et al., EG VCBM 2018], [Furmanova et al., CAG 2021]。

最后,Renata Raidou教授总结到在P4医学领域可视化还需要更多的与领域专家合作,更好得利用可视分析的技术。

对医学可视化评估实践的批判性分析(A Critical Analysis of the Evaluation Practice in Medical Visualization)

马格德堡大学大学的Bernhard Preim教授带来医学可视化评估实践的相关内容。医学可视化常用于诊断(对疾病的检测和详细评估)、制定治疗计划、协作意义构建、医学教育、病人教育(加入关于治疗的决定)以及医学研究。Preim教授指出,当前针对医学可视化的评估是十分有限的。评估通常只有轶事证据(“用户特别喜欢…),或者针对单独的医学可视化技术进行感知上的评估,或者评估重点是任务完成时间、错误率和偏好。基于感知的评估用于测试形状和深度感知的基础知识,通常不需要医学专家,更多的是需要用户参与。它的形式是准备一系列静态图像,然后集成在调查问卷中(图3)。这种评估可能能够确定好的可视化技术,然而,它是低水平的,与诊断和治疗决定或认知活动无关;使用静态图片导致测试中的情况被过分简化;没有使用实际的设置(如可视化中的交互探索等)。

图3: 基于感知的评估

基于信息可视化和人机交互中先进的评估方法,Preim教授介绍了几种可用于医学可视化的评估技术。长期案例研究来自人口学研究领域。它要求研究人员从被试培训阶段开始,跟踪了解其使用模式和策略的变化。它能够揭示现实的使用模式和解决问题的策略,对系统的进一步改进有很大的帮助。然而,它会带来更多的随机性,而且往往结果不够精确。医学研究的目的包括知识发现,因此基于洞见的评估同样适用。它以观察、新的洞见以及假设的产生作为评估标准。在可视化应用中,评估用户体验也很重要。主要的用户体验包括可记忆性、参与性以及享受性。其中,可记忆性是医学可视化评估的重要方面,因为有些研究结果需要传递给大众,或者在医学教育中用户需要尽可能地记住他们所看到的。基于视线追踪的评估记录眼球固定的时间和位置,能够实现对扫描路径和感兴趣区域等的分析(图4)。

图4: 基于视线追踪的评估

课程最后,Preim教授总结所讲内容并对未来做展望。他指出,在医学可视化中需要更多的评估方法;教育和培训应用可以从用户体验的设计和评估中得到启发;长期评估对诊断和治疗计划至关重要;应通过出声思考等方式探索被试个体的差异性;基于眼球追踪的研究能够了解更多与医学可视化相关的认知过程;需要对高水平的认知进行分析(例如对渗透性、可操作性、破裂风险、知识获得等的评估)。对于未来,他认为我们一方面需要除全局评估外,还需要了解个体差异并协作进行意义构建,另一方面需要更深入的评估,以帮助开发与临床相关的解决方案等。

在低维嵌入中对模式与关系的可视化探索(Visual Exploration of Patterns and Relationships in Low-Dimensional Embeddings)

来自奥地利林茨大学的Marc Streit教授就可视化中的数据降维与嵌入问题为我们带来了一场有趣的讲座。Marc Streit教授的讲座主要分为三个部分,包括对数据降维的介绍,使用降维可视化轨迹数据,使用降维叙述数据关系。

首先Marc Streit教授对降维方法做了一个整体的性的介绍,他大致介绍了现有的降维技术与方法,并通过不同的例子简单展示了不同的降维方法的结果,对这些降维方法进行了一个简单的比较(图5)。

图5: Marc Streit教授介绍不同的降维方法并对它们进行了比较

接下来,Marc Streit教授介绍了一种基于降维的轨迹可视化方法,并给出了许多有趣的例子。这种轨迹可视化方法并不是指对传统意义上表示地理位置移动的轨迹数据进行可视化,而是将那些原本不具有空间属性的数据通过低维度嵌入的方法映射到一个低维空间中,在按照某种线索,在这个低维空间中将这些数据点连接起来,形成一条轨迹。例如在下图(图6)的一个例子中展示的是对一个监控视频的可视化,作者将视频片段降维映射到了二维平面中,然后按照时间顺序将这这些映射的数据点连接起来,就形成了左边的可视化结果,此时可以清晰地看到,当监控画面中没有行人出现时,这些片段在二维空间中对应的点呈现聚集的状态,而当画面中存在行人是,这些数据点以不同的模式分布在空间中。

图6: Marc Streit教授介绍一种基于降维的轨迹可视化方法

Marc Streit教授的课题组利用这种基于降维的轨迹可视化方法在许多有趣的数据上进行了可视化,例如他们将三阶魔方的状态进行降维,并分析世界级魔方高手的还原魔方手法与初学者还原魔方手法的区别(图7);他们利用此方法分析了职业国际象棋比赛中大家的对局策略(图8)。

图7: Marc Streit教授课题组对三阶魔方还原路径进行的可视化
图8: Marc Streit教授课题组对国际象棋对局策略进行的可视化

在最后的一个部分,Marc Streit教授总结道,利用降维来对数据可视化的一个目的是使得数据之间的关系能够被更好地揭露,处理这次着重介绍的“轨迹”这一种序列关系,使用降维方法还可以揭露出数据中的聚类关系,分布密度关系,层次关系(图9)等。如何选择更合适的降维方法与寻找更合适的可视化设计来展示这些关系,讲述数据中的故事是一个值得深究的问题。在最后Marc Streit教授还根据自己的经验,给大家分享了在通过降维方法可视化数据时需要考虑的设计空间,包括如何把握个体与群体之间的关系,以及如何更好地对数据进行总结与比较(图10)。

图9: Marc Streit教授总结如何处理降维之后数据之间的关系
图10:Marc Streit教授总结对数据降维可视化设计空间的分类与思考

可视化使医学成像AI在临床荒野中发挥作用(Visualization to Make Medical Imaging AI Useful in the Clinical Wilderness)

Sectra AB的研究总监、林克平大学的兼职教授Claes Lundström讲授了相关内容。AI可以帮助改善现有任务的完成方式、构建更智能的工作流程以及完成专家无法做到的事情。然而,研究的沙盒与临床应用之间存在差距,实验室研究很难直接在临床上得到应用。以诊断为例,AI的应用场景其实非常有限。很多时候AI得到的效果并不完美。这种情况下,我们可以通过可视化将人的能力引入AI决策的场景中,使整个分析变得更加高效。

Lundström列举了两个可视化助力AI在病理学研究发挥作用的例子。它们分别是预测淋巴结转移和细胞计数。在这两个应用中,AI都是不完美的。比如在淋巴结预测中,AI会产生比较多假阳性的结果,甚至会比专家做的还要糟。在可视化的帮助下,专家能够优先检查AI分级为最高恶性度的区域,从而使整个诊断流程更快、更精确(图11)。最后,Lundström介绍了AIDA (解析成像诊断领域,medtech4health.se/aida),它包含超过5TB可用于AI训练的数据。

图11:可视化帮助专家在AI诊断结果的基础上做分析

图片可以挽救1000条生命吗? BioVis在临床和公共卫生实践中的应用(Can a Picture Save 1000 Lives? BioVis in Clinical and Public Health Practices)

来自Tableau Research的Anamaria Crisan博士分享了她在临床和公共卫生可视化方面的见解。Anamaria Crisan博士首先分享了她的学术与职业生涯(图12),她在读硕士时,并不是学习的可视化相关专业,在获得硕士学位之后,Anamaria Crisan进入企业GenomeDx工作,在哪里她和同事一起使用机器学习分析人类癌症相关基因,在这个过程中,她希望能找到一种途径能够验证自己的研究成果,并更加希望这些成果能够以一种能被理解的方式传递给医生和病人,直接地帮助人们更好地防治疾病,这些想法渐渐的使他她的心中产生了对可视化方向的兴趣。之后她进入了政府机构英国哥伦比亚疾控中心中工作了一段时间,这段经历也让她对公共健康领域有了更多的了解。这些经历促使她之后跟随Tamara Munzner教授攻读可视化专业的博士学位。之后Anamaria Crisan博士从临床医学和公共健康两个方面讲述了可视化如何拯救生命。

图12: Anamaria Crisan博士谈及自己的职业生涯

Anamaria Crisan博士指出不同的可视化设计给公众的感觉是不一样的,一个好的面向公众的可视化设计能够有效地帮助公众了解数据背后重要的知识。例如在关于关于乳腺癌治疗方法的可视化中,在下图的两种可视化方案中(图13),第二种能更加明显地告诉公众两种不同的治疗方案对患者10年存活率的影响。

图13: 不同的乳腺癌治疗方案对患者10年存活率状况的影响

在公共健康方面,Anamaria Crisan博士首先以新冠病毒基因可视化为例子,介绍了这方面不同的可视化工作(图14)在监控病毒传播的作用。她也指出,可视化还能在有关新冠报道上做出贡献,并推荐了两篇CHI2021的论文供大家参考,分别是Viral Visualization: How Coronavirus Skeptics Use Orthodox Data Practices to Promote Unorthodox Science OnlineMapping the Landscape of COVID-19 Crisis Visualization

图14:Anamaria Crisan博士介绍新冠病毒基因可视化工作

关键领域的AI可视化(Visualization for AI in Critical Domains)

来自乌尔姆大学的博士生Alex Bäuerle讲述了可视化用于机器学习的研究,分为数据、特征和模型三部分。近年来,机器学习在众多领域被广泛地使用,而生物医学领域也不例外。比如在图15的例子中,根据年龄、身高、性别和血型等信息,通过深度学习模型判断病人是否需要手术。

图15:利用机器学习模型推断病人是否需要手术

针对这样的一个应用,我们需要知道应该使用什么样的数据,模型是如何进行推理的,以及如何设计有效的模型结构。在数据方面,常用的方法是聚合、降维和聚类。google开发了一系列帮助用户理解数据分布,以及比较数据好坏的工具,比如embedding projector和know your data。理解数据的目的是提升数据质量,考察公平性(fairness)和偏差(bias)。深度学习是一种基于梯度的显著性,能够学习到图像/文本中重要的部分,并提取多级特征,实现预测能力。特征的可视化(图16)对于理解模型推理,打开深度学习黑箱起着至关重要的作用。此外,模型结构可视化可以帮助用户进行模型的快速便捷设计,比如Net2Vis [Bäuerle et al. TVCG 2021]。

图16: 图像显著性可视化

圆桌讨论与闭幕式(Round Table and Closing)

这是本次生物医学可视化春季学期的最后一个环节,本次会议的组织者和部分讲者在一起对春季学校的全程进行了回顾总结并对许多方面进行开放的讨论。

图17:本次论文的讲者照片墙

之后组织者和讲者一起讨论了许多关于讲座举办的事项,例如是否应该让观众在zoom中通过语音的方式提问而不是在discord里使用文本提问,这样能够有更多信息交流的过程;又例如在实际线下举办活动时,许多人可能因为害羞不愿意当面提问,是否能将在线的discord提问方式放入线下的面对面提问环节之中等。

在闭幕式的最后,组织者再一次在线地统计了参与者们对这次学校的反馈,共有约30名参与者参与这次在线调查。在关于参与者是否希望将来生物医学春季学校再次被举办的问题上,100%的参与者都表示期待着下一次生物医学可视化春季学校的举办。在关于春季学校的举办形式上,大部分参与者希望能结合线上和线下模式开展春季学校;在调查中,参与者对下一次春季学校的主题提出了一些期望,在出去本次春季学校已经涉及的主题之外,参与者比较期待下一次的春季学校能包括统计,不确定性可视化,深度学习等相关话题(图18)。

图18: 参与者对下一次春季学校讲座主题的期待

至此,本次生物医学可视化春季学校就圆满结束了,十分感谢为本次春季学校付出的组织者与讲者。本次春季学校的全部视频将会被组织者陆续上传至了youtube,欢迎大家观看。 https://www.youtube.com/channel/UCf1a3Gve1edsP-qESCEK6HA/videos

评论关闭。