支持向量机

支持向量机在我的数学建模中已经使用过多次，因此在这里我不写出代码，只给出当时比赛的几个pdf。（懒狗一只）

基本内容

支持向量机的三个重点内容：间隔、对偶、核方法。

有了这三个重点属性，我们可以很好的构建适合数据的超平面，使得模型具有较高的准确性和普适性。

在样本空间中，划分超平面可以通过这样的线性方程来描述，其中为法向量。

分类结果可以划分为两个区域，可以用如下形式表示：

两个区域的距离与这两个平面的距离相等，距离之和为：，这个值被称为间隔。

想要最大化间隔，相当于最小化，这也是支持向量机基本型的损失函数。

对每个约束添加拉格朗日乘子，则该问题可以使用拉个朗日乘子法进行计算，得到对偶问题：

解出后，即可求出与，进而建立模型：

在实际应用中，很多训练样本并不满足线性可分这一要求，这个时候，我们应当选用合适的核函数将训练样本映射到更高的维度，在高维度的空间中寻找到对应的超平面，令为在核函数映射后的特征向量，在特征空间中的超平面模型应当变为：

常见的核函数可以参考。

在实际生活中，很难做到找到某个核函数使得训练集恰好在特征空间中完全线性可分，也很难断定这个线性可分的结果是不是由于过拟合造成的，为了缓解这个问题，我们需要允许支持向量机在一些样本上出错。为此，我们引入软间隔的概念。

于是，优化目标可以写成：

其中为”损失函数”（可替换为其他函数），为常数。