Press "Enter" to skip to content

算法进阶–SVM原理 算法进阶–SVM支持向量机线性可分SVM带松弛因子的SVM(线性SVM)支持向量机分为:…

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

算法进阶–SVM

 

支持向量机

 

分为:

 

 

    1. 线性可分支持向量机

 

    1. – hard margin maximization(硬间隔最大化),所以又称为硬间隔支持向量机

 

    1. 线性支持向量机

 

    1. –soft margin maximization(软间隔最大化),所以又称为软间隔支持向量机

 

    1. 非线性支持向量机

 

    1. – kernel function(核函数)

 

    1. ps.前两种向量机+核函数=非线性(可分)向量机

 

 

线性可分SVM

目的: 在分类问题中,构建一个平面(直线或者超平面)–该平面为在若干距离直线最近的样本点中选取的距离最远的几个样本点,则目标函数公式化可表示为:

也就是求:

其中, Φ x \Phi x Φ x 为某个确定的特征空间转换函数,它的作用是将x映射到(更好的维度)

 

求解过程:

利用拉格朗日乘子法得:(将极小极大问题转为极大极小问题):

原问题:

转换后:

也就是:

将拉格朗日函数 L ( w , b , a ) L(w,b,a) L ( w , b , a ) 分别对w,b求偏导,并令其为0:

将上两式代入原式中,得:

这是关于 α \alpha α 的函数,则:

对上式添加负号,也就是求:

最终得到:

带松弛因子的SVM(线性SVM)

 

-若数据线性不可分,则增加松弛因子,使得函数间隔加上松弛变量大于等于1:

 

– 约束变量变为:

–目标函数变为:(称为 Hinge损失 )

 

 

 

同样的求解可得:

α ∈ [ 0 , C ] \alpha\in{[0,C]} [ 0 , C ]

可得:

– 当C很大时,为了保证目标函数的最优解,
ξ i \xi_i ξ i ​ 只能为0,也就是

α ≥ 0 \alpha\geq0 0

,也就是变成线性可分SVM

– 当C比较小时,就是线性SVM

 

非线性SVM

 

当数据不可线性划分时,可添加一个核函数,将数据映射到高维空间,从而达到数据划分的目的

 

核函数类别:

 

– 多项式核函数:

– 高斯核函数:

其中,

 

γ = 1 σ 2 \gamma=\frac{1}{\sigma^2}

 

– Sigmoid 核函数:

核函数的选择:( 一般选择高斯核函数 )
在实际应用中,往往依赖先验领域知识/交叉验证等方案才能选择有效的核函数
一般选择高斯核函数( 高斯核函数将数据映射成无穷维 )
如下:

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注