最大似然估计与最大后验估计
前言
本系列文章为 《Deep Learning》 读书笔记，可以参看原书一起阅读，效果更佳。
MLE VS MAP
最大似然函数（MLE）和最大后验概率估计（MAP）是两种完全不同的估计方法，最大似然函数属于频率派统计（认为存在唯一真值 θ），最大后验估计属于贝叶斯统计（认为 θ 是一个随机变量，符合一定的概率分布），这是两种认识方法的差异。模型不变，概率是参数推数据，统计是数据推参数。
最大似然估计
似然函数是一种关于模型中参数的函数，是根据模型的观测值，估计模型中参数的值。给定输出 x ，关于 θ 的似然函数 L(θ|x) 数值上等于给定参数 θ 后变量 X 的概率。其数学定义为：
[L(θ|x)=f_θ(x)=P_θ(X=x)
]
最大似然估计是其中的一种好的估计，在样本趋近于无穷时，最大似然是收敛率最好的渐进估计，且由于它的一致性和统计效率，在机器学习中也是首选的估计方法。在独立同分布情况下：
[hatθ_{MLE}=argmaxP(X;θ)=argmaxP(x_1;θ)P(x_2;θ)...P(x_n;θ)
=argmaxlogprod_{i=1}^nP(x_i;θ)\\=argmaxsum_{i=1}^nlog P(x_i;θ)
=argmin-sum_{i=1}^nlog P(x_i;θ)//负对数似然
]
由于对数函数单调增，因此想要求 L 的最大值，可以求其对数作为求其最大值的函数，这样求出的结果是相同的。深度学习所做分类任务中用到的交叉熵本质是求最大似然函数。
条件最大似然估计
[hatθ_{MLE}=argmaxP(Y|X;θ)=argmaxsum_{i=1}^{m}log{P(y^{(i)}|x^{(i)}|θ)}
]
最大后验估计
贝叶斯公式：
[P(θ|x)=frac{P(x|θ)P(θ)}{P(x)}
]
其中 P(x|θ) 是似然函数，P(θ) 是先验概率。
则最大后验估计的数学定义为：
[hat heta_{MAP}(x)=arg max_ heta f( heta|x)=arg max_ heta frac{f(x| heta)g( heta)}{int_vartheta f(x|vartheta)g(vartheta)dvartheta}=argmax_ heta f(x| heta)g( heta)
]
theta 为需要估计的参数，f 为概率，g 为先验估计，最大化后验估计通过 f·g 求得。当先验分布为常数时，最大后验估计与最大似然估计重合。
总结
最大似然估计与最大后验估计对比分析。