序列模型(4)----门控循环单元(GRU) 一、GRU 二、GRU的优点:解决梯度消失的问题

序列模型(4)----门控循环单元(GRU)
一、GRU
二、GRU的优点:解决梯度消失的问题

其中, rt表示重置门,zt表示更新门。

  • 重置门决定是否将之前的状态忘记。(作用相当于合并了 LSTM 中的遗忘门和传入门)

当rt趋于0的时候,前一个时刻的状态信息ht−1会被忘掉,隐藏状态h^t会被重置为当前输入的信息。

  • 更新门决定是否要将隐藏状态更新为新的状态h^t(作用相当于 LSTM 中的输出门) 。

序列模型(4)----门控循环单元(GRU)
一、GRU
二、GRU的优点:解决梯度消失的问题

序列模型(4)----门控循环单元(GRU)
一、GRU
二、GRU的优点:解决梯度消失的问题

序列模型(4)----门控循环单元(GRU)
一、GRU
二、GRU的优点:解决梯度消失的问题

二、GRU的优点:解决梯度消失的问题