你应该掌握的四种参数估计技术
所谓估计
概率学上，对未知的概率密度函数进行估计有两种方法：参数估计和非参数估计。非参数估计是不假定数学模型，直接利用已知类别的学习样本先验知识估计数学模型。常用的方法由直方图方法、神经网络方法、Parzen窗法和近邻法。而参数估计则是先假定研究问题具有某种数学模型，如正态分布、二项分布等，再利用已知类别的学习样本，估计模型里的参数。常用的方法有距估计、最大似然估计、最大后验估计和贝叶斯估计。本文主要介绍四种常用的参数估计技术。
参数估计
1. 距估计
用样本矩作为相应总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。用数学公式描述矩估计的过程为：
从中解出参数
其中，
然后用计算得到的k阶样本矩来作为对总体矩的估计，带入方程得到对应的矩估计：
2. 最大似然估计（MLE）
样本
那么，当就是最大似然估计。
3. 最大后验估计（MAP）
最大似然估计没有考虑
公式可以等效为：
4. 贝叶斯估计
贝叶斯估计也是基于后验概率公式，但引入了损失函数作为判断的标准。贝叶斯估计得一般步骤为
- 选择先验概率分布，设为
- 确定似然函数。
- 确定参数的后验分布。
- 选择损失函数。
引入一个非负函数，记为的差距严重程度，称为损失函数。常用的损失函数有：平方误差损失函数 - 估计参数。
根据选择的损失函数的期望误差最小值对应的解
2015-8-22
艺少