突破障碍的LSTM

序列数据是很多的场景中都会碰到的形式，这是一类**代表性的数据，针对这一类数据背后的问题，我们有很多的方法来解决。本节课对序列数据的场景进行分析并给出相关介绍。循环网络是适合处理序列数据的一种神经网络模型，其本身的特点与序列数据能够优秀匹配。当然这类网络的训练也是有着相对困难的地方。本节课将会介绍循环神经网络的基本概念和结构。LSTM 网络是针对循环网络的弱点提出来的一种相对复杂的循环网络结构，它也是很多网络结构设计的基础。由于其具备了一点的记忆能力，使得在处理序列问题中更加能够克服长距离预测问题。本节课我们会介绍 LSTM 这个循环神经网络。经过多年发展，大家发现通过简化 LSTM 模型也能够得到能力相当的模型。其中具有代表性的工作就是 GRU，通过适当改变门限的设计而成的网络。我们会简单介绍 GRU 网络。LSTM 网络是增加一定的记忆能力，但这点记忆还不足够。NTM 是一种引入外部记忆的网络结构。我们给出神经图灵机的整体架构。最后给出 PaddlePaddle 实现 LSTM 和 GRU 模型。