深度学习---优化算法 一：机器学习中的常见优化算法回顾 二：吴恩达深度学习笔记 三：深度学习——优化器算法Optimizer详解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）
机器学习基础---大规模机器学习
随机梯度下降法
Mini-Batch梯度下降
随机梯度下降收敛
二：吴恩达深度学习笔记
http://www.ai-start.com/dl2017/html/lesson2-week2.html
2.1 Mini-batch 梯度下降（Mini-batch gradient descent）
2.2 理解mini-batch梯度下降法（Understanding mini-batch gradient descent）
2.3 指数加权平均数（Exponentially weighted averages）
通俗理解指数加权平均（补充）
2.4 理解指数加权平均数（Understanding exponentially weighted averages）
2.5 指数加权平均的偏差修正（Bias correction in exponentially weighted averages）
2.6 动量梯度下降法（Gradient descent with Momentum）
参数更新时在一定程度上保留之前更新的方向，同时又利用当前batch的梯度微调最终的更新方向，简言之就是通过积累之前的动量来加速当前的梯度。