下面的伪代码能够解释其详细原理：

1. 初始化参数值

2. 迭代更新这些参数使目标函数J(θ)不断变小。 

   批量梯度下降法被证明是一个较慢的算法，所以，我们可以选择随机梯度下降法达到更快的计算。随机梯度下降法的第一步是随机化整个数据集。在每次迭代仅选择一个训练样本去计算代价函数的梯度，然后更新参数。即使是大规模数据集，随机梯度下降法也会很快收敛。随机梯度下降法得到结果的准确性可能不会是最好的，但是计算结果的速度很快。在随机化初始参数之后，使用如下方法计算代价函数的梯度：

这里m表示训练样本的数量。

如下为随机梯度下降法的伪码：

       1. 进入内循环（inner loop）;

       2. 第一步：挑选第一个训练样本并更新参数，然后使用第二个实例；

       3. 第二步：选第二个训练样本，继续更新参数；

       4. 然后进行第三步…直到第n步；

       5. 直到达到全局最小值

如下图所示，随机梯度下降法不像批量梯度下降法那样收敛，而是游走到接近全局最小值的区域终止。

小批量梯度下降法原理

 小批量梯度下降法是最广泛使用的一种算法，该算法每次使用m个训练样本（称之为一批）进行训练，能够更快得出准确的答案。小批量梯度下降法不是使用完整数据集，在每次迭代中仅使用m个训练样本去计算代价函数的梯度。一般小批量梯度下降法所选取的样本数量在50到256个之间，视具体应用而定。

1.这种方法减少了参数更新时的变化，能够更加稳定地收敛。

2.同时，也能利用高度优化的矩阵，进行高效的梯度计算。

随机初始化参数后，按如下伪码计算代价函数的梯度：

这里b表示一批训练样本的个数，m是训练样本的总数。

 

Notes:

1. 实现该算法时，同时更新参数。

2. 学习速率α（也称之为步长）。如果α过大，算法可能不会收敛；如果α比较小，就会很容易收敛。

3. 检查梯度下降法的工作过程。画出迭代次数与每次迭代后代价函数值的关系图，这能够帮助你了解梯度下降法是否取得了好的效果。每次迭代后J(θ)应该降低，多次迭代后应该趋于收敛。

4. 不同的学习速率在梯度下降法中的效果

总结