内容简介：一般神经网络隐层的计算是h=g(w * x)，其中g是激活函数，相比于一般神经网络，RNN需要考虑之前序列的信息，因此它的隐藏h的计算除了当前输入还要考虑上一个状态的隐藏，h=g(w有上面普通RNN可以知道，每个状态下的RNN输入实际有两个，上一个隐藏h'以及当前输入x。RNN有个问题是对序列中的各个状态都是等同对待的，如果某个状态很重要，是无法长期影响后面的输出的。LSTM为了解决这个问题提出了类似于门控的想法，三个门控信号均有h'和x计算得到，分别是遗忘门、记忆门和输出门。遗忘门和记忆门用来融合当前候选
RNN
一般神经网络隐层的计算是h=g(w * x)，其中g是激活函数，相比于一般神经网络，RNN需要考虑之前序列的信息，因此它的隐藏h的计算除了当前输入还要考虑上一个状态的隐藏，h=g(w * x+w' * h')，其中h'是上一次计算的隐层，可见信息传递是通过隐层完成的。
LSTM
有上面普通RNN可以知道，每个状态下的RNN输入实际有两个，上一个隐藏h'以及当前输入x。RNN有个问题是对序列中的各个状态都是等同对待的，如果某个状态很重要，是无法长期影响后面的输出的。LSTM为了解决这个问题提出了类似于门控的想法，三个门控信号均有h'和x计算得到，分别是遗忘门、记忆门和输出门。遗忘门和记忆门用来融合当前候选隐层状态和上一时刻的隐层状态得到"传递信息"，最后在输出门的控制下根据当前"传递信息"再计算一个隐层和输出层。
GRU
上面说的LSTM有好几个门，实际上有部分门是可以共用的，比如遗忘门和记忆门在GRU里面叫更新门；另外，输出门被移到下方用来计算候选隐藏状态，在GRU里面叫重置门，重置门有助于捕捉时间序列里短期的依赖关系，更新门有助于捕捉时间序列里长期的依赖关系。
以上所述就是小编给大家介绍的《几句话总结一个算法之RNN、LSTM和GRU》，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持！
本站部分资源来源于网络，本站转载出于传递更多信息之目的，版权归原作者或者来源机构所有，如转载稿涉及版权问题，请联系我们。
实战移动互联网营销
江礼坤 / 机械工业出版社 / 2016-1 / 79.00
移动互联网的兴起，又为企业带来了新的挑战与机遇！越来越多的人，看到了移动互联网的价值与前景，但是在具体操作时，移动互联网具体如何玩？企业如何向移动互联网转型？如何通过移动互联网做营销？等等一系列问题，接踵而至。虽然目前相关的资料和文章很多，但是都过于零散，让人看完后，还是无从下手。而本书旨在成为移动互联网营销领域标准的工具书、参考书，为大家呈现一个系统、全面的移动互联网营销体系。让大家从思维模式到......一起来看看 《实战移动互联网营销》 这本书的介绍吧!
