BP神经网络
误差反向传播算法（Backpropagation）是目前用来训练人工神经网络（Artificial Neural Network，ANN）的最常用且最有效的算法。其主要思想是：
（1）前向传播：训练及数据经过输入层、隐含层、输出层，计算估计值
（2）反向传播：由于估计值与实际值有偏差，计算估计值与实际值的误差，并将此误差由输出层经过隐含层向输入层传播
（3）更新权重：在反向传播过程中，根据误差参数调整权值，不断迭代上述过程直到收敛。
以3层神经网络为例计算
总结：BP算法也存在一些缺陷，比如：
- 训练时间长
- 可能陷入局部最小值
针对BP算法的这些缺陷，目前也有许多BP算法的改进型，比如Adagrad，Momentum等。总之，BP算法作为神经网络训练最经典的算法，需要我们从来源到结果有一个深入的了解。