Press "Enter" to skip to content

原力计划基于GCN和句法依存分析的情感分析

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

内容速递

 

(1)论文实验分析可以画出混淆矩阵:

 

困惑矩阵能够帮助我们迅速可视化各种类别误分为其它类别的比重,这样能够帮我们调整后续模型,比如一些类别设置权重衰减!

 

在一些论文的实验分析中,可以列出困惑矩阵,行和列均为label种类,可以通过该矩阵验证自己model预测复杂label的能力强于其他model,只要自己model复杂label误判为其它类别比其他model误判的少,就可以说明自己model预测复杂label的能力强于其他model。

 

(2)选读这篇论文并不是说这篇写得很牛逼(相比顶会paper),而是对于菜鸡来说这篇比较好模仿,下一步是解读ACL的论文Graph Convolutional Networks for Text Classification(用于文本分类的图卷积网络)。

 

(3)如果仅将依存句法信息用于规则构造和特征抽取,那幺句子中成分间的非线性语义关系便没有被学习和利用。所以本文:

依存句法分析图中的节点特征:结合LSTM和注意力机制,抽取的文本特征。
用GCN对(1)中生成的节点特征,和依存句法分析图的邻接矩阵进行训练。
输出负面情感类别(愤怒、厌恶、恐惧和悲伤)

文章目录

 

论文简介

 

 

一、知识铺垫

 

1.1 GNN的应用模式

 

(1)构建/利用图结构

 

核心问题:针对某个特定任务构建一个图来使用潜在的信息。

 

因为有些任务中,图数据是给定的(如引用网络、社交网络、推荐系统的图数据等),但是有些图结构并不明显,所以需要转为一个图上可以解决的问题(如节点分类、链路预测等)。

 

(2)图作为外部知识

 

虽然一些任务本身和图没有啥关系,但是可以找到一些图结构的辅助信息,如引入知识图谱等。ex:如药物交互图可以作为外部知识辅助药物推荐;实体关系图可以作为额外信息帮助阅读理解。

 

(3)创造新的图

 

如在NLP的文本生成,或者语义解析等任务中。

 

要生成文本 or 逻辑语言可以认为是一个图结构,所以需要一个基于图神经网络的解码器。

 

1.2 以往的方法

 

以往处理情感分析问题,虽然也用了深度学习的方法提取语义特征,但是文本中的句法结构信息(其实一种图数据)经常被忽略。如果仅将依存句法信息用于规则构造和特征抽取,那幺句子中成分间的非线性语义关系便没有被学习和利用。

(2)Bastings 等[21]基于句子的依存句法树信息对句子中的词进行表示,之后利用GCN进行机器翻译任务。

 

二、本文的研究方法:

 

(1)依存句法分析图中的节点特征:结合LSTM和注意力机制,抽取的文本特征。

 

(2)用GCN对(1)中生成的节点特征,和依存句法分析图的邻接矩阵进行训练。

 

(3)输出负面情感类别(愤怒、厌恶、恐惧和悲伤)

 

三、模型思想

 

 

四、实验过程

 

(1)先用word2vec对舆情文本进行无监督训练,得到含语义信息的词向量,即文本表示l。

 

(2)对(1)得到的l句子,使用Bi-LSTM进行特征提取,获得隐含层特征(由正向和反向的LSTM抽取出的特征拼接而成)。

 

(3)在Bi-LSTM加入注意力机制:增强句子中的情感语义信息,提升因递归减少的捕捉长距离依赖的能力。PS:自注意力机制本质上是输入Query (Q ) 到一系列键值对( Key ( K ),Value (V ) ) 的映射函数。Q,K,V 分别是由查询向量、键向量、值向量构成的矩阵。

 

(4)如上图右边的依存句法树(的邻接矩阵),直接输入GCN模型,得到特征 z i z_i z i ​ : z i = ReLU ⁡ ( D ~ − 1 2 A D ~ − 1 2 s i W C ) z_{i}=\operatorname{ReLU}\left(\tilde{D}^{-\frac{1}{2}} A \tilde{D}^{-\frac{1}{2}} s_{i} W_{C}\right) R e L U ( D ~ − A D ~ − s i ​ W C ​ )

 

其中:

R e L U ReLU R e L U 是激活函数
A为邻接矩阵
D ~ \tilde{D} D ~ 是A的度矩阵
W C W_{C} W C ​ 是GCN中的权重矩阵

具体的栗子(从依存句法树转为邻接矩阵):

(5)对(4)得到的句子特征进行平均池化,再输入全连接层(激活函数为softmax),得到分类的情感label。

 

指标:准确率(Accuracy)、宏精确率(Macro_Precision)、宏召回值(Macro_Recall)和宏F1值(Macro_F1)作为模型的评估指标。

 

PS:其中隐藏层单元数和 GCN 的层数等超参数,作者进行调节分析,找到最佳值,如GCN层数, GCN 层数超过 3 时,模型性能出现较大回落,学习能力锐减。所以将GCN层数设置为1:

五、优点和局限性

 

5.1 优点

 

有画出不同模型的在情感分类任务中的混淆矩阵,还特别提到在恐惧情感中,本文模型的准确率达到了93.535%,相比BiLSTM-GCN和BiLSTM-Attention有较大提升。也说明了说明引入文本的依存句法结构以及应用自注意力机制和GCN的优势。

【混淆矩阵】

 

下面涉及英文缩写,第一个字母T和F代表True和False;第二个字母P和N代表阴性(Positive)和阳性(Negative),即预测结果。

真阳性TP:预测值和真实值都为正例;
真阴性TN:预测值与真实值都为正例;
假阳性FP:实际值为负,但预测值为正;
假阴性FN:实际值为正,但预测值为负;

TP反应预测为真的样本也是正样本的样本数。

 

真实类别->正样本负样本
预测为真真阳性TP假阳性FP
预测为假假阴性FN真阴性TN

 

5.2 局限性

 

和顶会相比是有不少局限性的:

 

(1)数据是用自己爬的数据,并没有用公开的数据集;

 

(2)模型进行比较时,用的baseline如CNN、logistic较为简单;当然也有用其他baseline如BiLSTM-GCN、BiLSTM-Attention、BiLSTM等进行对比试验。

 

(3)图神经网络算法并没有改动较大,只是进行模型的组装。

 

六、下一阶段

 

解读ACL论文:

 

Graph Convolutional Networks for Text Classification(用于文本分类的图卷积网络)

 

论文:https://arxiv.org/abs/1809.05679v1

 

Reference

 

混淆矩阵:https://zhuanlan.zhihu.com/p/46204175

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注