机器学习基石笔记：11 Linear Models for Classification、LC vs LinReg vs LogReg、OVA、OVO 一、二元分类的线性模型 二、随机梯度下降 三、使用逻辑回归的多分类问题 四、使用二元分类的多分类问题
原文地址：https://www.jianshu.com/p/6f86290e70f9
线性回归后的参数值常用于PLA/PA/Logistic Regression的参数初始化。
二、随机梯度下降
两种迭代优化模式：
若利用全部样本 ------> 利用随机的单个样本，则梯度下降 ------> 随机梯度下降。
SGD与PLA的相似性：
当迭代次数足够多时，停止。步长常取0.1。
三、使用逻辑回归的多分类问题
是非题 ------> 选择题：
每次识别一类A，将其他类都视作非A类。
结果出现问题。
将是不是A类变为是A类的可能性。由硬分类变为了软分类。
分别计算属于某类的概率，取概率值最大的类为最后的分类结果。
OVA总结：
注意每次计算一类概率时都得利用全部样本。
四、使用二元分类的多分类问题
OVA经常不平衡，即属于某类的样本过多时，分类结果往往倾向于该类。
为更加平衡，使用OVO。
OVA保留一类，其他为非该类，每次利用全部样本；
OVO保留两类，每次只利用属于这两类的样本。
通过投票得出最终分类结果。
OVO总结：
OVA vs OVO：