机器学习十讲——第三讲学习总结

点到平面距离：

梯度下降法：

简介：求解无约束最优化问题的经典方法，机器学习和深度学习中应用最广泛的模型求解算法。

定义：如果实值函数g(w)在a处可微且有定义，那么函数g(w)在a处沿着梯度相反的方向-▽g(a)下降最快

优化问题：

更新参数：

随机梯度下降法：

在机器学习中，优化目标和梯度具有特定结构：

更新参数公式：

随机梯度下降法绘制出来的图像是振动的，需要调整学习率来减小振幅，最终让它趋近于0：

最大似然估计：

介绍：一种求解概率模型的参数方法。

概念：

　　分类：

介绍：分类是另一种典型的有监督学习问题。标签（模型预测值）y为离散值

做分类（附图示）：

 线性可分训练集：

感知机：找到一条直线，将两类数据分开

支持向量机：找到一条直线，不仅将两类数据正确分类，还使得数据离直线尽量远。

逻辑回归：找到一条直线使得观察到训练集的“可能性”最大。数据离直线越远越接近于1，反之则趋近于0

训练集的矩阵表示（第二讲回顾）：

　　算法详细介绍：

　　感知机：

划出一条直线，将正负分开。当出现划分错误情况（如正值在左/负值在右），就需要进行优化，优化目标简单的说就是让划分错误的那个点尽可能地离直线近，即距离越小。

优化目标介绍：

优化目标就是L(w)函数。

感知器算法——SGD：

　　支持向量机：

间隔最大化。

样本损失函数：

优化目标：

非线性：核技巧

映射trick：将数据点从二维空间映射到三维空间中，使得数据线性可分

图示：

原本映射到高维会出现维度灾难问题，使得计算量复杂化。而支持向量机的好处在于映射到高维的时候，计算量仍是低维空间的计算量。

　　逻辑回归：

赋予样本概率解释

似然函数与负对数似然函数：

优化目标就是NLL(w)最小值。

　　三种模型的损失函数对比：

感知机是蓝色线，支持向量机是绿色线，逻辑回归是红色线

分类问题的评价指标：

负例0可变更为-1

SKlearn分类模块介绍：