每日一个机器学习算法——LR(逻辑回归)
本系列文章用于汇集知识点，查漏补缺，面试找工作之用。数学公式较多，解释较少。
1.假设
2.sigmoid函数:
3.假设的含义：
4.性质：
5.找一个凸损失函数
6.可由最大似然估计推导出
单个样本正确预测的概率为
只是3两个式子合并在一起的表示方法
整个样本空间的概率分布为
取对数展开得，
作为损失函数，并且最小化它，则应改写为5式。
7.求解方法
最原始的方法，梯度下降法
先求导，并带入sigmoid表达式得
之后，参数更新为：
终止条件：
目前指定迭代次数。后续会谈到更多判断收敛和确定迭代终点的方法。
8.高级方法
共轭梯度
BFGS,L-BFGS