常见的五种神经网络(3)-循环神经网络（中）篇

原创 Thinkgamer 搜索与推荐Wiki

原创：第156篇

共发表：第181篇

引言

常见的五种神经网络系列第三种，主要介绍循环神经网络，分为上中下三篇进行介绍，本文主为（中）篇，涉及内容如下：

循环神经网络中的参数学习
RNN中的长期依赖问题
常见的循环神经网络结构

该系列的其他文章：

常见的五种神经网络(1)-前馈神经网络
常见的五种神经网络(2)-卷积神经网络
常见的五种神经网络(3)-循环神经网络(上篇)
常见的五种神经网络(3)-循环神经网络(中篇)
常见的五种神经网络(3)-循环神经网络(下篇)
常见的五种神经网络(4)-深度信念网络
常见的五种神经网络(5)-生成对抗网络

参数学习

循环神经网络的参数可以通过梯度下降方法来学习。给定一个样本(x,y)，其中为长度是T的输入序列，其中是长度为T的标签序列，在每个时刻t，都有一个监督信息，定义时刻t的损失函数为（公式1-1）：

其中为第t时刻的输出，L为可微分的损失函数，比如交叉熵，整个序列上的损失函数为（公式1-2）：

整个序列的损失函数L关于参数U的梯度为（公式1-3）：

即每个时刻的损失函数对参数U的偏导数之和。

在循环神经网络中主要有两种计算梯度的方式：

随时间反向传播算法（Backpropagation Through Time，BRTT）
实时循环学习（Real-Time Recurrent Learning，RTRL）

随时间反向传播算法

主要通过类似前馈神经网络的错误反向传播算法来进行计算梯度。随时间反向传播算法将循环神经网络看作是一个展开的多层前馈网络，其中“每一层”对应循环网络中的每个时刻，这样循环神经网络就可以按照前馈神经网络中的反向传播算法来计算梯度。与前馈神经网络不同的是，循环神经网络中各层的参数是共享的，因此参数的真实梯度是各个层的参数梯度之和。

先计算公式1-3中第t时刻损失对参数U的偏导数，参数U和每个时刻k的净输有关，因此第t个时刻损失函数关于参数的梯度为（公式1-4）：

其中表示“直接”偏导数，即公式中保持不变，对进行求偏导数，得到（公式1-5）：

其中为第时刻隐状态的第j维，除了第j行值为x，之外全为0的向量。定义为第t时刻损失函数对第k时刻隐藏层神经元净输入的导数，则（公式1-6）：

将（公式1-6）和（公式 1-5）代入（公式1-4）得到（公式1-7）：

将（公式1-7）写成矩阵形式为（公式1-8）：

下图为随时间反向传播算法示例：

将（公式1-8）代入（公式1-3）得到整个序列的损失函数L关于参U的梯度（公式1-9）:

同理可得关于参数的梯度（公式1-10）：

L关于参数b的梯度（公式1-11）：

在随时间反向传播算法中，参数的梯度需要在一个完整的“向前”计算和“向后”计算后才能得到并参数更新。

实时循环学习

与随时间反向传播算法不同的是：实时循环学习（Real-Time Recurrent Learning）是通过前向传播的方式来计算梯度。

假设RNN中第时刻的状态为（公式1-12）：

其关于参数的偏导数为（公式1-13）：
其中为除了第i行之外元素全为0的向量。

RTRL自从第一个时刻开始，除了计算RNN的隐状态之外，还利用（公式1-13）依次前向计算偏导数

这样假设第t个时刻存在一个监督信息，其损失函数为，就可以同时计算损失函数对的偏导数（公式1-14）：

这样在第t个时刻就可以实时计算关于参数U的梯度，并更新参数。参数W和b的梯度也可以按照上述方法进行计算。

两种算法比较：RTRL算法和BPTT算法都是基于梯度求解参数，分别通过前向模式和反向模式应用链式法则来计算梯度。在RNN中一般输出维度要比输入维度少，因此BPTT算法的计算量会很小，但要保存计算过程中的梯度值，空间复杂度较高。RTRL算法不需要进行空间回传，比较适合用在在线学习或无限序列的任务中。

长期依赖

在BRTT算法中，将（公式1-6）展开得到（公式1-15）：

如果定义，则（公式1-16）：

若，当，，会造成系统不稳定，称之为梯度爆炸（Gradient Exploding Problem），反之，若，当，，会出现和前馈神经网络类似的梯度消失问题（Gradient Vanishing Problem）。

注意：在循环神经网络中，梯度消失指的是并不是说的梯度消失了，而是的梯度消失，当t-k很大时，即参数U的更新主要靠最近的几个状态来更新，长距离的状态对参数U没有影响。

当循环神经网络中使用的激活函数是Logistic或者tanh的时候，由于其导数小于1，并且权重矩阵也不会太大，因此，如果时间间隔t-k过大的话，也会出现梯度消失问题。所以一般采用 ReLU激活函数（关于激活函数的介绍可参考：神经网络中的激活函数介绍）。

虽然简单循环网络理论上可以建立长时间间隔的状态之间的依赖关系，但是由于梯度爆炸和梯度消失问题，实际上只能学习到短期的依赖关系，这样如果t时刻的输出依赖于时刻的输入，当间隔k比较大时，简单神经网络很难建模这种长距离的依赖关系，称之为长期依赖问题（Long-Term Dependences Problem）。

改进措施：

选取合适的参数
使用非饱和的激活函数

循环网络的梯度爆炸问题比较容易解决，一般通过梯度截断和权重衰减来避免。而梯度消失很难解决，通常是对模型进行调优来解决。

常见的循环神经网络结构

主要包含四种：

N：N
1：N
N：1
N：M

N比N结构

N维输入对应N维输出，大致结构如下所示：

其常常用于处理以下问题：

视频理解中获取视频每一帧标签，输入为视频解码后的图像，通过此结构，获取每一帧的标签信息。这种场景一般用作视频理解的初期，对视频做初步的处理后，后续可以基于这些标签信息进行语义分析，构建更为复杂的需求场景。
股票价格预测。基于历史的股票信息输入，预测下一时刻或者未来的股票走势信息。

1比N结构

一维输入，N维输出，大致结构如下图所示：

还有一种结构是在同一信息在不同时刻输入到网络中，如下所示：

其常常用于处理以下问题：

看图写描述 : 根据输入的一张图片，生成对这张图片的描述信息
自动作曲 : 按照类别生成音乐

N比1结构

N维输入，一维输出，大致结构如下图所示：

其常常用于处理以下问题：

视频理解中的获取视频每个场景的描述信息，或者获取整个影片的摘要信息。
获取用户评价的情感信息，即根据用户的一句话的评论，来判断用户的喜好等情感信息。

N比M结构

N维输入，M维输出，这种结构又被称为Encoder-Decoder模型，也可以称为Seq2Seq模型，这种模型的输入和输出可以不相等，该模型由两部分组成：编码部分和解码部分，大致结构如下图所示：

c的前半部分循环神经网络为编码部分，称之为Endcoder, c可以是s3的直接输出，或者是对s3输出做一定的变换，也可以对编码部分所有的s1、s2、s3进行变换得到，这样c中就包含了对X1、 Xz、码的编码信息。c的后半部分循环神经网络为解码部分，称之为Decoder。c作为之前的状态编码，作为初始值，输入到Decoder当中。Decoder经过循环处理，最终将信息解码输出。

除了上边所示的解码结构外，还有下图所示的结构：