　　分类问题的标签可以是$yepsilon left { 0,1 ight },yepsilon left { 0,1,2 ight },yepsilon left { 0,1,2,3,... ight }$，对应分别为二元、三元、…分类问题。借鉴线性回归算法，我们希望预测样本属于每个标签的概率$pleft { y=i ight }$ ，而且$pepsilon left [ 0,1 ight ]$。将概率最大的标签作为分类结果。这里的概率就对应为假设函数$h_ heta (x)$，与线性回归不同，logistic回归要求$h_ heta (x)epsilon left lfloor 0,1 ight floor$。于是新的$h_ heta (x)$函数的构造如下：

　　机器学习笔记（二）
一、 Logistic回归与Logistic函数
二、 Logistic决策边界（decision boundary）
三、 Logistic代价函数
四、 Logistic梯度下降
五、多分类问题
六、 Logistic优化算法
七、过拟合（overfitting）与正则化（regularization）

二、 Logistic决策边界（decision boundary）

　　以二元分类为例，从假设函数中可以发现，当$ heta^Tx>0$时，概率大于0.5，因此预测y=1；反之预测y=0。$ heta^Tx=0$就是决策边界，其展开形式为:$ heta_0x+ heta_1x+ heta_2x+...=0$。对应的边界线如下图所示：

　　这里的边界就是一条直线，将空间划分为两个区域。如果是多项式回归，那么边界可能是下面形式：

三、 Logistic代价函数

　　以二元分类为例，Logistic回归同线性回归一样，都要确定合适的模型参数，来更好地预测概率。同样，使用代价函数来评价$ heta$好坏，logistic回归里采用对数代价形式：

　当所给标签为1时，如果预测的概率接近1，则代价接近0；如果预测的概率接近0，则代价接近无穷。当所给标签为0时，如果预测的概率接近1，则代价接近无穷；如果预测的概率接近0，则代价接近1。

四、 Logistic梯度下降

　　用代价函数去惩罚模型参数：

　　对式3-1求偏导可得：

五、多分类问题

　　解决多分类的一种思想是分解为多个二分类，为每一个二分类都维护一个假设函数，记成下面的形式：　　

　　例如三分类中，我们维护三个假设函数：$h_ heta^{(0)}(x)、h_ heta^{(1)}(x)、h_ heta^{(2)}(x)$，表示属于三个类的概率，当更新$h_ heta^{(0)}(x)$时，将标签为0的视作0，将标签为1、2都视作1。$h_ heta^{(1)}(x)、h_ heta^{(2)}(x)$也类似。最终预测分类的时候，比较三个假设函数值的大小，取概率最大的作为分类标准。