前向传播与反向传播

+++ -->

深度学习中的前向传播,就是根据既定的(随机或优化过的)参数值(如a=50,b=0),获取到在当前模型(y=ax+b)中的预测值的过程。

而反向传播,则是根据损失值,调整参数的过程。

以“猜数字”游戏,来看单变量回归的学习过程,每猜错一次,猜测的准确度就提升一些:

前向传播与反向传播

在反向传播的过程中,需要注意,不仅仅是根据最新的样本改进模型,还要考虑到之前的样本的影响。