最大似然估计、最大后验概率估计、贝叶斯公式的理解
概率和统计是同一个东西吗？
概率：已知模型和参数，求数据
统计：已知数据，求模型和参数
贝叶斯公式在说什么？
公式里括号后面一项才是
条件概率：
贝叶斯公式：
贝叶斯公式：
理解：有多重情况可能导致事件B发生，现在事件B已经发生了，要求出由于事件A导致事件B发生的可能性大小。
似然函数
概率：在参数theta时 变量x发生的概率有多大
似然：变量x已经发生了，参数等于theta时的似然是多少
一个是关于x的函数、一个是关于theta的函数
常说的概率是指给定参数后，预测即将发生的事件的可能性。
而似然概率正好与这个过程相反，我们关注的量不再是事件的发生概率，而是已知发生了某些事件，我们希望知道参数应该是多少。
最大似然估计，就是在已知观测的数据的前提下，找到使得似然概率最大的参数值。
先验概率后验概率
1）先验：统计历史上的经验而知当下发生的概率；
2）后验：当下条件由因及果的概率；
例子：
1）先验——根据若干年的统计（经验）或者气候（常识），某地方下雨的概率；
2）似然——下雨（果）的时候有乌云（因/证据/观察的数据）的概率，即已经有了果，对证据发生的可能性描述；
3）后验——根据天上有乌云（原因或者证据/观察数据），下雨（结果）的概率；
最大似然估计与最大后验概率估计
最大似然估计：最大化关于theta的函数
最大后验概率估计：
参考：