稀疏核机(上):SVM 回顾

 

作者丨stephenDC

 

本文想讨论的是稀疏核机,包括稀疏性和核方法两个方面。

 

提起机器学习中模型的稀疏性,估计很多人第一时间想到的是 L1正则 。但这里说的稀疏性,不是指L1产生的稀疏特征,而是指有些模型的预测推断只依赖于训练集中少量的样本点。

 

核方法,和基函数方法一样,是对线性模型进行容量扩展的重要手段,但核方法通用性更好且会带来计算上的优势。

 

不过,作者发现想讨论稀疏核机,需要先回顾一下SVM的导出 。

 

不仅因为从SVM可以方便地引出稀疏核机,还因为只有在同一语境之下(相同的符号和公式表达),才更容易把问题跟说明清楚。

 

因此,本文先试图把一些相关概念讲清楚,下一篇文章会基于这些概念进行引申推广。

 

 

最优分隔超平面问题

 

 

 

 

模型建立

 

 

 

 

优化问题

 

 

 

 

 

 

 

松弛变量的引入

 

 

 

 

下图是松弛变量情形下的分类示意:

 

 

 

SVM的计算

 

 

 

 

 

 

 

 

本文帮大家回顾一下SVM的导出过程,介绍了以下相关概念:

 

1) Margin

 

2) 最优分隔超平面

 

3) 松弛变量

 

4) SVM的带约束优化问题

 

5) SVM的拉格朗日对偶问题

 

-end-

发表评论

电子邮件地址不会被公开。 必填项已用*标注