手写数字识别神经网络——学习笔记 感知机 BP神经网络 前向传播得到预测值 激活函数: 反向传播求梯度

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

单个神经元,只能二分类;需要多搭几个构成网络,来进行多分类。

y=w*x+b;权重和偏置

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

BP神经网络

预测值与真实值差异->损失函数->梯度下降方法优化参数

真实值one-hot编码

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

损失函数:

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

每次更新,朝着最优解方向走。学习率0-1。

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

前向传播得到预测值

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

激活函数:

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

sigmod函数,左为0,不适合隐藏层,不然损失函数为0,梯度消失。

有了激活函数

 手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

每一层W的行列:行为此层数,列为下一层数。

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

反向传播求梯度

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

练习:

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

向量对向量求偏导是个矩阵:结果矩阵行列数:上行下列。

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度

张量:立体矩阵

手写数字识别神经网络——学习笔记
感知机
BP神经网络
前向传播得到预测值
激活函数:
反向传播求梯度