RNN（循环神经网络)

RNN 循环神经网络是专为序列数据设计的循环神经网络核心通过隐藏状态和循环连接实现时序记忆捕捉序列的前后依赖关系即当前输出与历史输入相关。基本循环神经网络符号表示: 第i个训练样本序列中的第t个元素t为时间序列。:激活值通常是一个零向量。序列长度。第i个训练样本:权重矩阵。表示管理着从到隐藏层的连接的一系列参数激活值由决定输出结果由每个时间步使用的都是相同的参数。表示不同的激活函数常用tanh/ReLU可用sigmoid/sofmax。上述公式可简化写为的方式是将矩阵和矩阵水平并列放置[ ⋮ ] 。[−1, ]是将这两个向量堆在一起即。下面写的是具有反向传播的循环神经网络下图用蓝色箭头表示前向传播红色箭头表示反向传播。单个位置单个预测的损失函数整个序列的总损失以上是多对多结构的RNN。下面是不同类型的神经网络1.一对一one-to-one2.一对多one-to-many3.多对一many-to-one4.多对多many-to-many文中图片来自B站吴恩达老师以上为个人学习笔记侵权删。