Press "Enter" to skip to content

结构感知的可视化检索(Structure-Aware Visualization Retrieval)

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

随着可视化技术普及,大量可视化被创建并在网上分享。如何检索可视化成为重要的问题。基于样例检索相似的可视化信息是创建集合和可视化推荐的基础。传统的可视化检索通常只考虑了视觉信息[1],却忽略了可视化中存在的视觉元素之间的结构。考虑可视化的结构信息,来自香港科技大学和新加坡管理大学的Haotian Li等人 [2] 提出了一种融合可视化的视觉信息和结构信息的检索方法。

 

图1 左:查询输入;中:仅考虑视觉信息的检索结果;右:考虑视觉信息和结构信息

实现对相似可视化的有效检索的核心问题是如何定义和计算两个可视化之间的相似性。传统的方法往往只考虑了视觉信息,即通过将可视化视作图像来计算相似度。而这丢失了可视化中存在的结构信息,即视觉元素之间层次关系或者空间关系。以图1为例,如果仅考虑视觉信息,则原可视化中存在的分组信息没有被考虑;而如果同时考虑视觉信息和结构信息,右图的结构和原图更为相似。该方法定义了结构信息,并且同时考虑了视觉信息和结构信息以计算可视化的相似度。如图2 所示,一个SVG格式的可视化同时通过点边图来表示其结构和通过位图来表示其视觉信息。点边图通过图神经网络(GNN)转化为结构信息向量,而位图通过卷积神经网络(CNN)转化为视觉信息向量。最终结构信息向量和视觉信息向量拼接在一起来计算不同可视化之间的相似度。

 

图2 整体结构

该方法通过对比学习(Contrastive Learning)来训练模型。两个可视化作为模型的输入,让模型判断是否相似。而相似的可视化对通过将一个可视化进行两种不同的变形生成。最终,该模型的编码(encoder)部分用以生成可视化的表示向量。

 

图3 案例分析

为验证融合两种信息的可视化的检索的有效性,该方法在54个具有基本可视化知识的被试中展开了用户实验。这些被试写下判断可视化相似的重要因素。结果显示,可视化类型、数据趋势、和视觉元素的数量是最重要的因素。基于这些因素,该方法设计了两个评分来计算方法的有效性,即可视化种类的一致性和视觉元素的数量的差异。定量实验显示,带有结构信息的检索提高了图表类型的一致性,减少了元素数量的差异。该工作也通过案例分析来展示结构信息的有效性:如图3所示,只考虑视觉信息的方法,(a)V-CNN 所示,检索了一个散点图作为结果,而带有结构信息的方法则返回的都是与原图相同的可视化类型。这说明结构信息更好地保证了可视化的类型。(b) 所示,带有结构信息的内容更好地保证了视觉元素的一致性,即返回的结果的视觉元素和查询输入具有相似的视觉元素数目。

 

融合可视化的结构信息可以更好地进行可视化的检索。将来可以探索从位图可视化中直接提取结构信息的可能性。

 

参考文献

 

[1] Holger Stitz, Samuel Gratzl, Harald Piringer, Thomas Zichner, and Marc Streit. KnowledgePearls: Provenance-Based Visualization Retrieval. IEEE Transactions on Visualization and Computer Graphics 25(1):120-130, 2018.

 

[2] Haotian Li, Yong Wang, Aoyu Wu, Huan Wei, and Huamin Qu. Structure-Aware Visualization Retrieval. In Proceedings of ACM CHI Conference on Human Factors in Computing Systems. 2022.

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注