【吴恩达机器学习】学习笔记——2.7第一个学习算法=线性回归+梯度下降

梯度下降算法:              线性回归模型:

【吴恩达机器学习】学习笔记——2.7第一个学习算法=线性回归+梯度下降      线性假设:【吴恩达机器学习】学习笔记——2.7第一个学习算法=线性回归+梯度下降

                     平方差成本函数:【吴恩达机器学习】学习笔记——2.7第一个学习算法=线性回归+梯度下降

将各个公式代入,对θ0、θ1分别求偏导得:

【吴恩达机器学习】学习笔记——2.7第一个学习算法=线性回归+梯度下降

【吴恩达机器学习】学习笔记——2.7第一个学习算法=线性回归+梯度下降

再将偏导数代入梯度下降算法,就可以实现寻找局部最优解的过程了。

线性回归的成本函数总是一个凸函数,故梯度下降算法执行后只有一个最小值。

”梯度下降:每一个步骤都使用所有的训练样本