Logistic Regression 的简单推导
Logistic Regression 是一种 Generalized Linear Model(GLM),也即广义线性模型。
1. LR 的基本假设
LR 模型假设观测值 重输入变量的线性组合:
其中 个参数。等式左边被称为 logit of P(这也是 logistic regression 得名的原因)。
等式两边同时取对数:
这样的等式形式清晰地说明了,logistic 模型与输入之间是乘性关系,而不是线性模型的加性关系,这种加性关系也给了我们一种解释系数的方式。比如 变量没增加 1 岁,模型输出为真的几率就变为之前的 2 倍。
如果记 ,上述等式又可转化为:
等式右端被称为 sigmoid 函数(关于 ),