Press "Enter" to skip to content

深度学习_RNN循环神经网络,序列模型

RNN(Recurrent Neural Network 循环神经网络)
循环神经网络的基本概念和地位:
RNN 是一类用于处理序列数据的神经网络 。那么什么是 序列数据 ? 时间序列数据是指在不同的时间点上收集到的数据,这类数据反映了某一事物。现象等随着时间的编号状态或者程度。当然,在文字方面,不如文字序列,总是说,后面的数据跟之前的数据是有关联的!
为什么要用RNN?大家都或多或少的了解到人工神经网络和卷积神经,他们的前提是假设是:元素之间是相互独立,输入和输出也是相互独立,那么循环卷积往往满足序列数据的要求,就应运而生了! 本质就是:像人一样拥有记忆的能力!
RNN的结构及变体:
(这里引入感谢作者:光的文明 链接:https://www.jianshu.com/p/87aa03352eb9 來源:简书)
从基础的神经网络中知道,神经网络包含 输入层、隐层、输出层 ,通过激活函数控制输出,层与层之间通过权值连接。激活函数是事先确定好的,那么神经网络模型通过训练“学“到的东西就蕴含在“权值“中。
基础的神经网络只在层与层之间建立了权连接,RNN最大的不同之处就是在层之间的神经元之间也建立的权连接。如图:

标准的RNN结构图,图中每个箭头代表做一次变换,也就是说箭头连接带有权值。左侧是折叠起来的样子,右侧是展开的样子,左侧中h旁边的箭头代表此结构中的“循环“体现在隐层。
在标准的RNN结构中,隐层的神经元之间也是带有权值的。也就是说,随着序列的不断推进,前面的隐层将会影响后面的隐层。图中O代表输出,y代表样本给出的确定值,L代表损失函数,我们可以看到,“损失“也是随着序列的推荐而不断积累的。
除上述特点之外,标准RNN的还有以下特点:
1、权值共享,图中的W全是相同的,U和V也一样。
2、每一个输入值都只与它本身的那条路线建立权连接,不会和别的神经元连接。
一个典型的RNN网络包含一个输入x,一个输出h和一个神经网络单元A。和普通的神经网络不同的是,RNN网络的神经网络单元A不仅仅与输入和输出存在联系,其与自身也存在一个回路。这种网络结构就揭示了RNN的实质:上一个时刻的网络状态信息将会作用于下一个时刻的网络状态。如果上图的网络结构仍不够清晰,RNN网络还能够以时间序列展开成如下形式:

RNN展开图
等号右边是RNN的展开形式。由于RNN一般用来处理序列信息,因此下文说明时都以时间序列来举例,解释。等号右边的等价RNN网络中最初始的输入是x0,输出是h0,这代表着0时刻RNN网络的输入为x0,输出为h0,网络神经元在0时刻的状态保存在A中。当下一个时刻1到来时,此时网络神经元的状态不仅仅由1时刻的输入x1决定,也由0时刻的神经元状态决定。以后的情况都以此类推,直到时间序列的末尾t时刻。
上面的过程可以用一个简单的例子来论证:假设现在有一句话“I want to play basketball”,由于自然语言本身就是一个时间序列,较早的语言会与较后的语言存在某种联系,例如刚才的句子中“play”这个动词意味着后面一定会有一个名词,而这个名词具体是什么可能需要更遥远的语境来决定,因此一句话也可以作为RNN的输入。回到刚才的那句话,这句话中的5个单词是以时序出现的,我们现在将这五个单词编码后依次输入到RNN中。首先是单词“I”,它作为时序上第一个出现的单词被用作x0输入,拥有一个h0输出,并且改变了初始神经元A的状态。单词“want”作为时序上第二个出现的单词作为x1输入,这时RNN的输出和神经元状态将不仅仅由x1决定,也将由上一时刻的神经元状态或者说上一时刻的输入x0决定。之后的情况以此类推,直到上述句子输入到最后一个单词“basketball”。
接下来我们需要关注RNN的神经元结构:

RNN内部结构图
上图依然是一个RNN神经网络的时序展开模型,中间t时刻的网络模型揭示了RNN的结构。可以看到,原始的RNN网络的内部结构非常简单。神经元A在t时刻的状态仅仅是t-1时刻神经元状态与t时刻网络输入的双曲正切函数的值,这个值不仅仅作为该时刻网络的输出,也作为该时刻网络的状态被传入到下一个时刻的网络状态中,这个过程叫做RNN的正向传播(forward propagation)。注:双曲正切函数的解析式如下:

双曲正切函数的求导如下:

双曲正切函数的图像如下所示:

双曲正切函数
这里就带来一个问题:为什么RNN网络的激活函数要选用双曲正切而不是sigmod呢?(RNN的激活函数除了双曲正切,RELU函数也用的非常多)原因在于RNN网络在求解时涉及时间序列上的大量求导运算,使用sigmod函数容易出现梯度消失,且sigmod的导数形式较为复杂。事实上,即使使用双曲正切函数,传统的RNN网络依然存在梯度消失问题,无法“记忆”长时间序列上的信息,这个bug直到LSTM上引入了单元状态后才算较好地解决。
这里呢,大家是不是对于循环神经网络有了基本概念,给读者朋友推荐TensorFlow基础相关代码,里面包含 RNN的相关代码 ,经典的“hello”循环处理等机器学习和深度学习的代码!连接:http://github.com/hunkim/DeepLearningZeroToAll/blob/master/lab-12-1-hello-rnn.py
另外RNN循环神经网络的相关PPT:TF-RNN

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注