[机器学习算法]支持向量机SVM原理简介

一、问题和超平面描述

给定训练集

分类学习最基本的想法就是基于训练集在样本空间中找到一个划分超平面，将不同类别的样本分开，但能将训练样本分开的划分超平面可能有很多，如下图所示：

直观来看，应该去找位于两类训练样本“正中间”的划分超平面，因为该平面受影响最小，从而产生的分类结果是最鲁棒的，对未见示例的泛化能力最强。

1、划分超平面记

2、样本空间中任意点到超平面的距离：

3、支持向量

如上图所示：距离超平面最近的几个训练样本点使上式的等号成立，他们被称为“支持向量”。两个异类支持向量到超平面的距离之和为：

被称为间隔。从而我们的目标转为找到最大间隔的划分超平面。

二、支持向量机目标函数

等价于

三、SVM参数求解

1、对支持向量机目标函数使用拉格朗日乘子法

2、对求偏导等于0得到的表达式

3、消去中的得到对偶问题

四、SVM重要性质

训练完成后，大部分的训练样本都不需保留，最终模型只与支持向量机有关。

五、其他

关于核函数和支持向量回归暂时不放在SVM简介中，后续将会更新在博客中。