Press "Enter" to skip to content

香侬读 | 使用神经网络预测语用推理

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本文研究了神经网络模型预测语用推理 (pragmatic inference) 的可行性,发现神经网络的确可以利用一些语言学信号来预测人类语用推理。

 

此外,本文还发现人类可以充分利用前文,但模型难以利用,从而提出应当建立更高效的长距离依赖向量表示以利用上下文信息。

 

语义与语用

 

什幺是语义()和语用()?简单来说,语义就是一句话表面的含义,而语用则是背后深层的含义。

 

举个例子,女生对男朋友说“今天好冷”,那幺这句话的语义就是“今天冷”,但是其语用就可能是“我希望你给我披一件衣服”。

 

再比如,“小明吃了一些你昨天买的饼干”,这句话的语义就是“吃了一些饼干”,但是其语用可能是“你昨天买的饼干还剩一些”。

 

总的来说,语用需要考虑说话的语境,也就是上下文,这种上下文可能很长。

 

在NLP中,我们经常说语义,但实际上这里我们更关心的应该是语用,因为我们不断在强调context的重要性。

 

然而,如果神经网络真的可以建模context,那幺就应该有能力进行语用推理(pragmatic inference):结合语境,从字面意义推导出最可能的实际意义。

 

用神经网络进行语用推理

 

现在我们来探究神经网络究竟是否可以进行语义推理,能够推理到哪种程度。我们首先来介绍一下数据集。

 

数据集

 

本文使用了(Degen,2015)的数据集,这个数据集包含了一些对话,每个对话都有单词some。

 

在每个对话中,实验者将包含some的那个句子(这个句子的上文保持不变)中的some替换为some, but not all。

 

然后让标注者对这两个句子打分(这个时候可以看到上文,唯一的不同就是词的替换,打分在1-7之间,1表示两句话是完全不同的意思,7表示两句话是完全相同的意思)。

 

比如,句子“XXX, some kids are really having it”,替换为了“XXX, some but not all kids are really having it”。打出的分就表示语用推理的强度。

 

影响因素

 

(Degen,2015)发现有一些语言学因素会影响语用推理的强度(也就是打分的高低)。

 

介词of: 有介词of的推理强度会高于没有of的推理强度,比如下面两个句子“I’ve seen some of them on repeat”,“You sound like you have some small ones in the background”。

 

主语位置: 如果some出现在主语位置,那幺它的推理强度会更高。 比如“Some kids are really having it”,“That would take some planning”。

 

指示代词: 如果some后出现指示代词,那幺它的推理强度会更高。 比如“I’ve seen some of them on repeats”,“That would take some planning”。

 

修饰词: some-NP被修饰后推理强度更高。

 

 

本文使用简单的word embedding + BiLSTM + self-attention + sigmoid模型,因为sigmoid输出为[0,1],所以需要rescale到[1,7],然后作为一个回归任务。

 

输入的是需要预测的句子,不包括上文(这是因为在调整试验(tuning experiments)中,作者发现加入上文不会提高效果,从而不加考虑,调整试验部分详见原文)。

 

实验

 

下图是在验证集上模型预测和实际值之间的相关性,可以看到r=0.78,呈现出了较高的相关性。这初步表明神经网络模型具备一定语用推理的能力。

 

 

回归分析

 

首先来看看神经网络是否可以解释上面的部分影响因素。

 

作者把每种因素和原来的模型(original model)结合为扩展模型(extended model),也就是把原始模型的输出作为扩展模型的预测变量,然后看原始模型中的这个值在扩展模型中是否显着减低。

 

下图是原始模型和扩展模型不同影响因素系数的估计均值及其方差的95%置信区间估计。

 

 

可以看到,在几乎所有的因素中,扩展模型对应的系数都降低了,这表明NN模型的确学到了语言特征。

 

注意力权重分析

 

我们期望模型能够更多地关注some-NP,并且,如果some-NP是作主语,那幺主语+some-NP的权重会比其他位置+some-NP更高。下图是结果。

 

 

左边是每个位置some和其他token的平均权重,可以看到,的确some的权重会更高。

 

中间是主语+some-NP和其他位置+some-NP的平均权重,显然,在主语位置(也即开始位置)的确权重会更大。

 

右边是some of和other of的平均权重,some of会明显更高。

 

这三个结果表明,NN模型的确更关注some,而且在主语位置和some of情况下更加显着。

 

最小对分析

 

最后,本文人工构造了25个有some-NP的句子,每个句子有32个变体,变体涉及以下方面:主语位置、of、名词前修饰(比如形容词)与名词后修饰(比如后置定语)。

 

它们两两之间具有最小差异,也就是某一因素上的有无。下图是一些例子:

 

 

下图是在这些句子上的预测结果,可以看到,根据最小比对的结果,of比没有of预测强度更大,主语位置比非主语位置预测强度更大,无修饰比有修饰预测推理强度更大。

 

 

小结

 

从上述实验可以看到,NN模型的确可以在一定程度上预测语用推理,而且没有使用上文。那幺,人们在语用推理的时候,使用了上文了吗?

 

作者再一次进行了实验,让680个实验者在原数据集上标注1-7,但是不提供上文。

 

结果显示,新标注和原标注的相关性为r=0.68而且更加集中,这表明很多实验者并不确定所给的分数。 因为原数据集展现了两极分化而不是一个中心,所以这表明上文还是必要的。

 

论文标题:

Harnessing the richness of the linguistic signal in predicting pragmatic inferences

论文作者:

Sebastian Schuster, Yuxing Chen, Judith Degen

论文链接:

https://arxiv.org/pdf/1910.14254

Be First to Comment

发表评论

邮箱地址不会被公开。 必填项已用*标注