随着混合现实的发展，HoloLens等头显设备为我们提供的在现实世界中探索数据的能力对可视化交互和分析越发重要。对于安全可视化，混合现实可以产生桌面可视化难以实现的效果，能够满足无需上下文转换的数据探索和物理操作，并支持多人协同探索，在许多安全领域应用中有实际意义，涉及范围涵盖从基础设施安全和应急响应到对可疑行为的日常监控。研究如何利用MR在真实物理环境中有效地可视化抽象数据并利用声音和姿势与之交互具有创新的意义。本文[1]使用VAST Challenge 2016的数据集，以复杂的多维时序传感器数据中隐含的安全事件作为研究对象，提出了异常检测的方法，设计了一套沉浸式可视分析系统，能够将二维图表信息和三维平面图信息紧密结合，并提供了语音、凝视和手势等交互。
异常是指数据中不普遍或不符合明确正常行为的模式，在安全领域，异常通常与入侵者、恶意攻击或安全威胁有关。VAST Challenge 2016提供了一个三层公司大楼中，空气成分、温度、湿度、电力等各项常规指标的多传感器数据和员工经过不同区域或被机器人检测记录到的时间与位置数据，希望参赛者从中挖掘员工的恶意攻击事件。
本文设计的沉浸式可视分析系统使用了HoloLens和Unity开发环境，HoloLens中对环境进行理解的Spatial Mapping功能能够识别出物理世界表面，能够让用户将可视化作品放置在墙面或地面上。如图1所示，系统可以在真实世界中展示楼层平面图、指标柱状图、员工轨迹和线图，支持语音、凝视和手势交互。
图1，本文提出的异常检测沉浸式可视化分析系统，能够在真实世界中展示楼层平面图、指标柱状图、员工轨迹和线形图，支持语音、凝视和手势交互。
本系统先对三层楼平面结构进行可视化，使用楼层的平面图作为底面，生成能够表示真实楼层排列方式的堆叠模型，如图2（中），为了避免在查看数据中遇到遮挡，系统支持切换布局方案：当用户使用air-tap手势点击一个楼层，可以将其复制并摆放到墙面进行进一步观察，如图2（左）; 在观察轨迹的时候，可以将楼梯展开成阶梯模型，如图2（右）。每一层楼上以柱状图的形式表示各种检测指标的数值，或者以不同颜色的连线形式表示员工轨迹。线形图绘制了监测数据随着时间变化的原始数据，便于发现异常数值。
图2，楼层平面图的三种布局方案，包括表面排列、堆叠排列和阶梯排列
在交互方面，用户可以围绕三维模型走动并从多角度观察。当凝视到一个区域的时候，可以通过语音说出“Select”选中一个区域进行属性查看，并可以通过语音说出“Line”展示相关属性的线形图；系统支持同时展示多个地点多属性的线形图，可以在三维空间内自由对照比较，可以快速通过多视图发现出共同的异常区域。用户还可通过左侧的菜单栏点选想观察的员工，观察他们各自的轨迹。
图3，系统的交互方式
在异常检测方面，针对传感器数据和轨迹数据，本文提出了不同的检测算法。在多维度时序传感器数据中，我们希望发现周期性的规律，并检测出异常模式。本文将全部监测属性依据周末和工作日划分为两组，并绘制每组数据的平均值曲线作为一个常规模式，如图4右侧，红色表示周末，橙色表示工作日。把每天的监测结果和常规模式进行比较，数值差的绝对值累加作为“异常度”，并对每天每个属性进行总结，便于挖掘同时出现的异常事件。
图4，两个属性的线形图，右侧表示常规模式曲线
对于员工轨迹，我们假设不同类别的职员有不同的运动模式，而同一类别的职员一般有相同的模式。本文在对员工种类进行分组后计算其运动行为的高维特征向量，n表示能够访问的区域id，每一个区域都有不同的访问属性，比如访问次数、访问时长、时长方差等属性，假设有f个属性描述某一区域，则每一个员工都拥有一个f*n维的特征矩阵，把它转化成一个行向量代表一个员工一天的行为。
图5，员工访问区域的特征向量
我们用Vij表示一个员工的特征向量，i表示其编号，j表示其所在的组的序号。对于每一组员工计算一个均值向量Gj，而如果一个员工的特征向量和Gj相差太多，我们就有理由将其视作怀疑的对象，怀疑等级Si的计算方式计算Vij与Gj在所有维度上的差绝对值的和。
把所有员工的怀疑等级绘制成柱状图，如图6，可以清晰地看到某位员工的情况，进一步观察到异常行为出现的日期，结合出入检测记录的时间，可以发现具体的行为，如下图可以看到jsanjorge001在6.2日深夜出现在公司，可能在进行安全攻击。图7中展示了三位员工的轨迹路线，从他们经常活动的区域可以判断出是否有异常模式，比如对于Bramar的岗位，频繁出现在3楼可视为异常；结合记录数据可以发现左下角员工的打卡数据存在问题，怀疑可能使用了两张卡来获取不同的权限。
图6，怀疑等级的图表和出入区域记录点线图
图7，三位员工的轨迹路线
这篇文章提供了一个分析复杂时序数据的沉浸式可视化分析工具，并给出了对不同类型数据的异常检测方法。但文章仍存在很多不足，比如在表格和三维的结合分析上并没有给出一个较好的框架，交互较为简单，异常事件的挖掘大量依赖图表，MR在其中起到的分析作用并没有太明显。可以考虑的改进是添加能够分析同一时间段多人轨迹的动画或其他设计，能够通过三维的方式进一步增加用户对异常事件的理解。
[1] Immersive Visualization for Abnormal Detection in Heterogeneous Data for On-site Decision Making, Elias Mahfoud, Kodzo Wegba, Yuemeng Li, Honglei Han, and Aidong Lu, Interactive Visual Analytics and Visualization for Decision Making – Making Sense of Big Data, 2018.
评论关闭。