Press "Enter" to skip to content

通过协同语义推理与深度学习模型可视交互(Visual Interaction with Deep Learning Models throug…

深度学习模型近年来扮演着重要的角色。它能够拟合非常复杂的函数从而实现许多任务。但是训练过程、训练的结果往往只是扮演了黑盒的角色——用户无法对其进行解释、也难以操纵训练的结果。如果用户对模型的输出不满意,很难设置模型以达到用户想要的结果。

 

近年来有许多文章对深度学习模型进行交互探索以打开深度模型。以往的方法中通常是观察模型产生的结果或者是探索输入与模型参数之间的关系。这类方法可以帮助用户找到输入数据中有问题的数据,以重新指导训练过程。但是对于如何对模型改进产生满意的结果鲜有涉及。Gehrmann 等人[1]在IEEE TVCG 2020(VAST 2019)发表了一篇通过协同语义推理(Collaborative Semantic Inference, CSI)与深度学习模型进行可视交互的文章。这篇文章介绍了协同语义推理的优越性——可以对模型产生直接的影响。

 

该文章以协同式文本总结来叙述协同语义分析的有效性。文本总结的任务式从一段较长的文本信息中生成一段较短的文本以概括长文本。其中一种生成办法中输出的短文本中出现的词汇都曾在输入的长文本中出现过。协同文本总结主要集中在这种生成办法。在协同式文本总结中,用户可以直接对模型施加影响,甚至直接引导期待产生的结果。

 

而这个过程并非通过直接改变模型得到的,而是将原有的模型分为两部分,一部分依然是一个黑盒,它承担者复杂的生成预测任务。另一部分是一个可控的简单模型,它承担着与用户交互的任务。两个部分共同完成了原先由一个模型完成的任务。其核心是在原有的模型中添加一个可以由用户控制的参数 z。这个参数z由用户决定,而原有的生成模型也需要增加这个参数,需要考虑参数在不同的取值条件下的生成效果。在协同文本总结的任务中,这个参数用以代表某个单词可否出现,1代表可以出现,0代表不可出现。这种设定某个单词是否出现对用户而言非常有用,用户可以通过该参数的数值来表达对某些输入输出结果的厌恶和喜爱,即可以对输入输出结果进行编辑、增加、删除其中一部分词汇或者句子。具体的模型及训练方法由另一篇工作 [2] 具体介绍。

图 1 可视化界面

本文主要关注可视化界面。而可视化界面(如图 1)提供的功能就是展示输入输出之间的联系以及提供用户交互的界面。展示输入输出的联系部分,用户可以观察输入和输出的语句,它们按照句子排列在系统中(图 1 中 (a) 表示输入,(c)表示输出)。其中(a)中与输出重复的序列将会以红色下划线标出。而(b)是输入与输出的连接部分,(d) 采用排列的按钮由上往下依次表示输入、输出的句子。中间的连接是表示重复的序列最多的句子。其中黄色的按钮为当前选中的高亮部分及重复最多的部分。红色的外框表示具有红色下划线的句子。

 

可视化界面更重要的是提供了用户交互的界面,用户可以通过中间的按钮选中或者取消选中一组单词,也可以在输出的句子中删除或者增加一部分句子、词汇。相应的改变会直接影响输出的结果。

 

该论文有效地提供了一种交互式影响模型的实例。对可视化对深度学习模型的深度交互提供了范例。虽然会提高模型的复杂性和训练难度,但其优势依旧是明显的。

 

Reference

 

[1] Gehrmann, S., Strobelt, H., Krüger, R., Pfister, H., & Rush, A. M. (2020). Visual Interaction with Deep Learning Models through Collaborative Semantic Inference. IEEE Transactions on Visualization and Computer Graphics .

 

[2] Gehrmann, S., Deng, Y., & Rush, A. M. (2018) Bottom-up abstractive summarization. In Proceedings ofthe 2018 Conference on Empirical Methods in Natural Language Processing, pp. 4098–4109

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注