稀疏核机（下）：稀疏性

点击上方“ 大数据与人工智能 ”，“星标或置顶公众号”

第一时间获取好内容

作者丨stephenDC

这是作者的第 8 篇文章

本文是“稀疏核机”这个专题的第三篇，也是最后一篇。

在 《稀疏核机（上）—SVM回顾》 中，我们简单回顾了SVM的导出；在 《稀疏核机（中）—核方法》 中，我们从SVM的基函数扩展，引出了核方法。至此，准备工作已经完成，我们在本篇重点讨论核机的稀疏性。

主要内容包括：

• 稀疏核机的正式概念

• SVM作为一种典型的稀疏核机，其稀疏性从何而来？

• SVM是最稀疏的核机吗？

• 是否有办法获得比SVM更稀疏的核机？

稀疏核机

SVM的稀疏性

我们可以从最大化Margin、Hinge损失函数、对偶问题的约束项，这3个不同的角度来理解SVM的稀疏性。

Part 1 

最大化Margin

先来回顾一下，对二分类问题，Margin的意义如下图所示。表示两类样本距离分隔超平面最小距离的2倍。

对线性可分的二分类问题，有无数个超平面可以将两个类别分开，而SVM定义为最大化Margin所确定的超平面。那么，最大化Margin的意义是什么呢？

a.   使结构风险最小化：样本点距分隔超平面的距离，代表了一种分类的确信度，最大化Margin显然增加了最可能被误分类的样本的分类确信度。

b.  让分隔超平面唯一化：虽然有无数个超平面可以将两类样本分开，但同时要让Margin最大，这个超平面就唯一确定了

问题来了，这个唯一的分隔超平面跟哪些样本点有关呢？从直觉上我们很容易发现，最大化Margin的超平面至少跟离超平面很远的那些点是没有关系的。

这当然只是一种直觉式的不严谨的理解，我们下面用Hinge损失函数来说明，这种直觉是对的。

Part 2 

Hinge损失函数

Part 3 

对偶问题的约束项

例子：

相关向量机

与SVM相比，RVM的第一目标是稀疏性，因此我们不管Margin最大化的问题，完全换一种思路。这种思路大概分3个步骤：

a.  定义核机的模型

b.  给每个样本点定义一个参数，表示该样本跟最终预测模型的相关性

c.   在模型学习的过程中，将这些相关性参数跟其他模型参数一起学习出来

RVM模型

相关性参数

参数求解

时至今日《稀疏核机》终于写完了，原本只是想写一篇文章的，却不想题目太大了，用三篇写完还是有些虎头蛇尾的感觉。

另外就是作者水平有限，如有幸被大神看到，还请多拍砖挑刺。最后，如果写作的这些东西，能对个别同学有些许帮助，就善莫大焉了。

-end-