如图是一个具有多视图的可视化系统，用于帮助探索宋代四位诗人在其人生的各个阶段的行程轨迹，以及文学创作，从多个角度分析诗人的一生。该可视化系统可以被放置在博物馆等场景中，作为面向大众的可视化案例。利用其高交互性和丰富的内容，以独特的形式帮助大众了解相关的领域知识。
宋代诗人轨迹和文学创作可视化系统
然而，博物馆等公众科普场景中的这类复杂交互式可视化往往不能够得到用户充分的使用。这是由于用户通常缺乏对于领域知识和数据分析相关的背景知识，同时可视化系统也缺少相应的帮助指南。通常情况下，大众用户只会随机的进行一些交互，集中于单个视图、单一交互方式，并很快对可视化系统失去兴趣。在这个过程中，也通常不能够得到相关的探索发现。为了解决这个问题，来自复旦大学以及同济大学的研究者们提出，可以在可视化系统中嵌入实时的多样化的交互推荐，帮助用户在探索多视图可视化系统时能够有更多的发现，提高相关场景中可视化系统的利用率。
研究者们认为用户的交互行为受到先前的交互操作以及可视化系统的信息展示的影响，并尝试利用长短期记忆网络（LSTM）模型进行交互预测，并将预测结果作为交互推荐。要实现这个目标，首先需要对用户的交互序列和可视化系统的信息展示进行编码。依据先前的研究[1]，交互可以被分为三个高抽象类型，而每一类交互都有与之对应的参数来具体刻画实际的交互行为。以文章开头为介绍的可视化系统为例，所有的交互操作以及对应需要的参数列表如下图所示。
高抽象的三种交互类型（左），以及宋代诗人可视化中涉及到的具体交互类型（右）
利用这种方式，就可以将单个交互操作转变为JSON格式的交互日志，并进一步编码成为向量，用于机器学习模型。此外，对可视化展现的数据的编码，可以理解为对各个视图上信息的编码。将视图上所涉及到的信息拆解出来，重组为关键词向量，并进一步做降维操作，同样可以转化为向量。例如带有标点的地图视图，就可以先转变为地图上各个点的信息组合的向量，包含各个点的位置、颜色、大小等信息。随后，对长长的信息向量做降维操作，利用tSNE算法，得到较短的向量，用于机器学习模型。
在收集整理训练数据时，作者还设立了两个过滤器，分别用于提高推荐交互的多样性，以及保证用户交互能够有一定的发现。作者计算了当前交互类型、交互对象的熵，并设立多样性阈值，过滤掉低于阈值的训练数据；此外，根据预设的能够有价值的探索区域，评估推荐的交互，过滤低价值的探索推荐。
系统模型的训练模块和实时更新模块
随后，以单个交互操作和对应的可视化状态为一组，作为LSTM模型的状态，控制滑动窗口不断滑动，即可利用模型不断预测下一步的交互操作。将模型预测的交互行为作为推荐提供给用户，在可视化视图上高亮出来。当用户采纳了相应的推荐，即可认为推荐有效；而当用户没有采纳该推荐时，模型会根据将用户的选择作为训练数据的补充，实时更新模型。
作者开展了用户实验以验证方法的有效性。受试者被分为三组，分别在没有推荐系统的可视化、提供随机推荐的可视化，以及由模型推荐的可视化系统上进行约8分钟的探索。随后，受试者被要求给提供的8个陈述打分，以验证探索中了解到的信息多少；同时后两组受试者也需要给提供的推荐交互打分。
8项陈述的打分结果，其中Q1-Q6为正确陈述，Q7-Q8为错误陈述
从评分结果上可以看出，使用模型提供推荐交互的用户在正确陈述上给出了更高的同意度（Q1-Q6），而在错误陈述上同意度更低（Q7-Q8）。这说明使用模型推荐交互系统的用户能够在探索中获取到更多的信息。另外实验也表明，即使是随机的交互推荐，也能够大大提升用户实际的交互操作的多样性。同时，使用模型推荐的受试者相比于接受随机推荐的受试者来说，对推荐的交互给出了更高的评价。
这个工作探索了使用实时交互推荐的方法，帮助缺乏数据分析知识背景的用户对复杂多视图可视化系统探索的方法，并取得了很好的结果。这项工作可以极大地提升在博物馆等场景中进行展示的可视化系统的使用率，让更多的用户能够利用可视化系统进行数据探索。
[1] J. S. Yi, Y. a. Kang, J. Stasko, and J. A. Jacko. Toward a deeper understanding of the role of interaction in information visualization. IEEE Transactions on Visualization and Computer Graphics, 13(6):1224–1231, 2007. doi: 10.1109/TVCG.2007.70515
[2] Li, Y., Qi, Y., Shi, Y., Chen, Q., Cao, N., & Chen, S. Diverse Interaction Recommendation for Public Users Exploring Multi-view Visualization using Deep Learning. IEEE VIS 2022.
Be First to Comment