原力计划基于GCN和句法依存分析的情感分析

内容速递

（1）论文实验分析可以画出混淆矩阵：

困惑矩阵能够帮助我们迅速可视化各种类别误分为其它类别的比重，这样能够帮我们调整后续模型，比如一些类别设置权重衰减！

在一些论文的实验分析中，可以列出困惑矩阵，行和列均为label种类，可以通过该矩阵验证自己model预测复杂label的能力强于其他model，只要自己model复杂label误判为其它类别比其他model误判的少，就可以说明自己model预测复杂label的能力强于其他model。

（2）选读这篇论文并不是说这篇写得很牛逼（相比顶会paper），而是对于菜鸡来说这篇比较好模仿，下一步是解读ACL的论文Graph Convolutional Networks for Text Classification（用于文本分类的图卷积网络）。

（3）如果仅将依存句法信息用于规则构造和特征抽取，那幺句子中成分间的非线性语义关系便没有被学习和利用。所以本文：

依存句法分析图中的节点特征：结合LSTM和注意力机制，抽取的文本特征。
用GCN对（1）中生成的节点特征，和依存句法分析图的邻接矩阵进行训练。
输出负面情感类别（愤怒、厌恶、恐惧和悲伤）

文章目录

论文简介

一、知识铺垫

1.1 GNN的应用模式

（1）构建/利用图结构

核心问题：针对某个特定任务构建一个图来使用潜在的信息。

因为有些任务中，图数据是给定的（如引用网络、社交网络、推荐系统的图数据等），但是有些图结构并不明显，所以需要转为一个图上可以解决的问题（如节点分类、链路预测等）。

（2）图作为外部知识

虽然一些任务本身和图没有啥关系，但是可以找到一些图结构的辅助信息，如引入知识图谱等。ex：如药物交互图可以作为外部知识辅助药物推荐；实体关系图可以作为额外信息帮助阅读理解。

（3）创造新的图

如在NLP的文本生成，或者语义解析等任务中。

要生成文本 or 逻辑语言可以认为是一个图结构，所以需要一个基于图神经网络的解码器。

1.2 以往的方法

以往处理情感分析问题，虽然也用了深度学习的方法提取语义特征，但是文本中的句法结构信息（其实一种图数据）经常被忽略。如果仅将依存句法信息用于规则构造和特征抽取，那幺句子中成分间的非线性语义关系便没有被学习和利用。

（2）Bastings 等［21］基于句子的依存句法树信息对句子中的词进行表示，之后利用GCN进行机器翻译任务。

二、本文的研究方法：

（1）依存句法分析图中的节点特征：结合LSTM和注意力机制，抽取的文本特征。

（2）用GCN对（1）中生成的节点特征，和依存句法分析图的邻接矩阵进行训练。

（3）输出负面情感类别（愤怒、厌恶、恐惧和悲伤）

三、模型思想

四、实验过程

（1）先用word2vec对舆情文本进行无监督训练，得到含语义信息的词向量，即文本表示l。

（2）对（1）得到的l句子，使用Bi-LSTM进行特征提取，获得隐含层特征（由正向和反向的LSTM抽取出的特征拼接而成）。

（3）在Bi-LSTM加入注意力机制：增强句子中的情感语义信息，提升因递归减少的捕捉长距离依赖的能力。PS：自注意力机制本质上是输入Query (Q ) 到一系列键值对( Key ( K )，Value (V ) ) 的映射函数。Q，K，V 分别是由查询向量、键向量、值向量构成的矩阵。

（4）如上图右边的依存句法树（的邻接矩阵），直接输入GCN模型，得到特征 z i z_i z i ​ ： z i = ReLU ⁡ ( D ~ − 1 2 A D ~ − 1 2 s i W C ) z_{i}=\operatorname{ReLU}\left(\tilde{D}^{-\frac{1}{2}} A \tilde{D}^{-\frac{1}{2}} s_{i} W_{C}\right) R e L U ( D ~ − A D ~ − s i ​ W C ​ )

其中：

R e L U ReLU R e L U 是激活函数
A为邻接矩阵
D ~ \tilde{D} D ~ 是A的度矩阵
W C W_{C} W C ​ 是GCN中的权重矩阵

具体的栗子（从依存句法树转为邻接矩阵）：

（5）对（4）得到的句子特征进行平均池化，再输入全连接层（激活函数为softmax），得到分类的情感label。

指标：准确率（Accuracy）、宏精确率（Macro_Precision）、宏召回值（Macro_Recall）和宏F1值（Macro_F1）作为模型的评估指标。

PS：其中隐藏层单元数和 GCN 的层数等超参数，作者进行调节分析，找到最佳值，如GCN层数， GCN 层数超过 3 时，模型性能出现较大回落，学习能力锐减。所以将GCN层数设置为1：

五、优点和局限性

5.1 优点

有画出不同模型的在情感分类任务中的混淆矩阵，还特别提到在恐惧情感中，本文模型的准确率达到了93.535%，相比BiLSTM-GCN和BiLSTM-Attention有较大提升。也说明了说明引入文本的依存句法结构以及应用自注意力机制和GCN的优势。

【混淆矩阵】

下面涉及英文缩写，第一个字母T和F代表True和False；第二个字母P和N代表阴性（Positive）和阳性（Negative），即预测结果。

真阳性TP：预测值和真实值都为正例；
真阴性TN：预测值与真实值都为正例；
假阳性FP：实际值为负，但预测值为正；
假阴性FN：实际值为正，但预测值为负；

TP反应预测为真的样本也是正样本的样本数。

5.2 局限性

和顶会相比是有不少局限性的：

（1）数据是用自己爬的数据，并没有用公开的数据集；

（2）模型进行比较时，用的baseline如CNN、logistic较为简单；当然也有用其他baseline如BiLSTM-GCN、BiLSTM-Attention、BiLSTM等进行对比试验。

（3）图神经网络算法并没有改动较大，只是进行模型的组装。

六、下一阶段

解读ACL论文：

Graph Convolutional Networks for Text Classification（用于文本分类的图卷积网络）

论文：https://arxiv.org/abs/1809.05679v1

Reference

混淆矩阵：https://zhuanlan.zhihu.com/p/46204175