机器学习 Support Vector Machines 3
Optimal margin classifiers
前面我们讲过，对如下的原始的优化问题我们希望找到一个优化的边界分类器。
我们可以将约束条件改写成如下：
对于每一个训练样本，我们都有这样一个约束条件，而且从KKT条件我们知道，只有当训练样本的函数边界为1时，该训练样本的，我们看如下的一张图，其中的实线表示最大的边界分界线。
从图上可以看出，离分界线最近的点他们的边界最小，图上有三个点，分布在分界线两边的虚线上，因此，只有这三个—是非零的，这三个点称为 extbf{支持向量}，这也说明为什么支持向量的数量只占总样本数的一小部分。这也是支持向量机的由来，这种分类器只会用到训练样本中的支持向量，其它的训练样本并不起作用。
我们继续往下看，因为之前我们讨论了这个优化问题的对偶形式，需要注意的关键一点是，我们将利用样本之间的内积来解决这个优化问题。
我们利用向量内积这一点，也正是稍后介绍kernel函数的关键。
我们对该优化问题建立拉格朗日表达式，我们可以得到：
我们先求出这个问题的对偶形式，我们要先求出
这意味着：
而对b的偏导数，我们有：
将w的偏导数式-(2)代入拉格朗日表达式式-(1)，简化后可以得到：
由式-(3)可知，上式的最后一项为0，因此我们有，
上式是