Press "Enter" to skip to content

稀疏核机(下):稀疏性

 

作者丨stephenDC

 

这是作者的第 8 篇文章

 

本文是“稀疏核机”这个专题的第三篇,也是最后一篇。

 

《稀疏核机(上)—SVM回顾》 中,我们简单回顾了SVM的导出;在 《稀疏核机(中)—核方法》 中,我们从SVM的基函数扩展,引出了核方法。至此,准备工作已经完成,我们在本篇重点讨论核机的稀疏性。

 

主要内容包括:

 

稀疏核机的正式概念

 

SVM作为一种典型的稀疏核机,其稀疏性从何而来?

 

SVM是最稀疏的核机吗?

 

是否有办法获得比SVM更稀疏的核机?

 

稀疏核机

 

 

SVM的稀疏性

 

我们可以从最大化Margin、Hinge损失函数、对偶问题的约束项,这3个不同的角度来理解SVM的稀疏性。

 

Part 1

 

最大化Margin

 

先来回顾一下,对二分类问题,Margin的意义如下图所示。表示两类样本距离分隔超平面最小距离的2倍。

 

 

对线性可分的二分类问题,有无数个超平面可以将两个类别分开,而SVM定义为最大化Margin所确定的超平面。那幺,最大化Margin的意义是什幺呢?

 

a.   使结构风险最小化:样本点距分隔超平面的距离,代表了一种分类的确信度,最大化Margin显然增加了最可能被误分类的样本的分类确信度。

 

b.  让分隔超平面唯一化:虽然有无数个超平面可以将两类样本分开,但同时要让Margin最大,这个超平面就唯一确定了

 

问题来了,这个唯一的分隔超平面跟哪些样本点有关呢?从直觉上我们很容易发现,最大化Margin的超平面至少跟离超平面很远的那些点是没有关系的。

 

这当然只是一种直觉式的不严谨的理解,我们下面用Hinge损失函数来说明,这种直觉是对的。

 

Part 2

 

Hinge损失函数

 

 

Part 3

 

对偶问题的约束项

 

 

 

例子:

 

 

 

相关向量机

 

与SVM相比,RVM的第一目标是稀疏性,因此我们不管Margin最大化的问题,完全换一种思路。这种思路大概分3个步骤:

 

a.  定义核机的模型

 

b.  给每个样本点定义一个参数,表示该样本跟最终预测模型的相关性

 

c.   在模型学习的过程中,将这些相关性参数跟其他模型参数一起学习出来

 

RVM模型

 

 

相关性参数

 

 

参数求解

 

 

时至今日《稀疏核机》终于写完了,原本只是想写一篇文章的,却不想题目太大了,用三篇写完还是有些虎头蛇尾的感觉。

 

另外就是作者水平有限,如有幸被大神看到,还请多拍砖挑刺。最后,如果写作的这些东西,能对个别同学有些许帮助,就善莫大焉了。

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注