机器学习基石笔记：09 Linear Regression
原文地址：https://www.jianshu.com/p/4f5a151fb633
最小化线性回归的样本内代价函数值：
线性回归算法泛化可能的保证：
根据矩阵的迹的性质：(trace(A+B)=trace(A)+trace(B))，得：
(egin{equation}egin{aligned}
trace(I-H)&=trace(I_{N*N})-trace(H)\&=N-trace(XX^+)\&=N-trace(X^T X(X^T X)^{-1})\&=N-trace(I_{(d+1)*(d+1)})\&=N-(d+1)
end{aligned}end{equation})。
(I-H)这种转换的物理意义：
原来有一个有(N)个*度的向量(y)，投影到一个有(d+1)维的空间(X)（代表一列的*度，即单一输入样本的参数），而剩余的*度最大只有(N-(d+1))。
线性分类是近似求解，线性回归是解析求解；
线性分类中使用0/1误差，线性回归中使用均方误差；
误差方面，线性分类能小于线性回归，但线性回归速度更快；
可以用线性回归的参数结果初始化线性分类的参数值，
减少迭代过程，加速求解。