什么是线性可分的数据集

A. 05 SVM - 支持向量机 - 概念、线性可分

04 SVM - 感知器模型

支持向量机(Support Vector Machine, SVM)本身是一个 二元分类算法 ，是对感知器算法模型的一种扩展，现在的SVM算法支持 线性分类 和 非线性分类 的分类应用，并且也能够直接将SVM应用于 回归应用 中，同时通过OvR或者OvO的方式我们也可以将SVM应用在 多元分类 领域中。在不考虑集成学习算法，不考虑特定的数据集的时候，在分类算法中SVM可以说是特别优秀的。

在感知器模型中，算法是在数据中找出一个划分超平面，让尽可能多的数据分布在这个平面的两侧，从而达到分类的效果，但是在实际数据中这个符合我们要求的超平面是可能纤悔带存在多个的。

在感前液知毁芦器模型中，我们可以找到多个可以分类的超平面将数据分开，并且优化时希望所有的点都离超平面尽可能的远，但是实际上离超平面足够远的点基本上都是被正确分类的，所以这个是没有意义的；反而比较关心那些离超平面很近的点，这些点比较容易分错。所以说我们只要 让离超平面比较近的点尽可能的远离这个超平面 ，那么我们的模型分类效果应该就会比较不错。SVM其实就是这个思想。

SVM核心思想： 找到离分割超平面较近的点(预测错误可能会高)，然后想办法让它们离超平面的距离远。

PS： SVM在若干年前，当数据量还比较少的时候，SVM是最好的分类模型。但是现在随着数据量的不断增大，SVM模型运算速度较慢的缺点开始暴露。而且随着这些年集成学习的不算成熟，现在SVM普遍用于集成学习中基模型的构建。

线性可分(Linearly Separable)： 在数据集中，如果可以找出一个超平面，将两组数据分开，那么这个数据集叫做线性可分数据。

线性不可分(Linear Inseparable)： 在数据集中，没法找出一个超平面，能够将两组数据分开，那么这个数据集就叫做线性不可分数据。

分割超平面(Separating Hyperplane)： 将数据集分割开来的直线/平面叫做分割超平面。

间隔(Margin)： 数据点到分割超平面的距离称为间隔。

支持向量(Support Vector)： 离分割超平面最近的那些点叫做支持向量。

回顾: 支持向量到超平面的距离为：

PS:在SVM中支持向量到超平面的函数距离一般设置为1;

SVM模型 是让所有的分类点在各自类别的支持向量的两边，同时要求支持向量尽可能的远离这个超平面，用 数学公式 表示如下：

1、将此时的目标函数和约束条件 使用KKT条件 转换为拉格朗日函数，从而转换为 无约束的优化函数 。

2、引入拉格朗日乘子后，优化目标变成：

3、根据拉格朗日对偶化特性，将该优化目标转换为等价的对偶问题来求解，从而优化目标变成：

4、所以对于该优化函数而言，可以先求优化函数对于w和b的极小值，然后再求解对于拉格朗日乘子β的极大值。

5、首先求让函数L极小化的时候w和b的取值，这个极值可以直接通过对函数L分别求w和b的偏导数得到：

6、将求解出来的w和b带入优化函数L中，定义优化之后的函数如下：

7、通过对w、b极小化后，我们最终得到的优化函数只和β有关，所以此时我们可以直接极大化我们的优化函数，得到β的值，从而可以最终得到w和b的值；

8、求解w T +b中b的值。

假设存在最优解β*； 根据w、b和β的关系，可以分别计算出对应的w值和b值(使用支持向量对应的样本点来计算，作为实际的b值， 支持向量求解出的b值是唯一解 )；

这里的(xs,ys)即 支持向量 ，根据KKT条件中的对偶互补条件(松弛条件约束)，支持向量必须满足以下公式：

06 SVM - 线性可分SVM算法和案例

B. 线性与非线性的区别

选择线性还是非线性的模型，最终还是要取决于我们的数据是线性可分还是线性不可分的。

一、样本的汪败搭线性可分和线性不可分：
区别是看决策边界是否是直线或者平面，线性枯大是可以用曲线拟合(回归)的，但是线性的分类一定是一个点或一条直线或平面。

判断数据集是否线性方法：
使用线性回归模型进行拟合，计算最小平方误差r2_score。如果r2_score值比较大，则意味着数据集本质上是线性的，否则数据集是非线性的。

二、模型的线性与非线性：
1、看决策边界是否是一个点、一条直线或平面（线性函数）
2、看一个权重系数w是否只影响1个特征x，例如神经网络模型是非线性模型，特征x不仅仅受一个权重困拿系数影响，因此，它的解释性较弱

样本线性不可分，也可以选择线性模型，例如SVM，可以使用核函数对特征进行映射，将特征空间映射到高维空间中去，变得线性可分

C. 线性可分svm的基本思想

线性可分svm的基本思想

一首困、决策面方程

以二维空间为例，二维空间中任意一条直线方程可以写为

我们将其向量化，可以得到

但是算法本身是通过改变数据分布来达到实现，它根据每次训练集之中每个样本的分类正确与否，以及上次的总体分类的准确率，来判断每个样本的权值。

将修改过权值的新数据集送给下层分类器进行训练，最后将每次训练得到的分类器融合起来，作为者亏念决策分类器。使用adaboost分类器可以排除一些不必要的训练数据特征，并放在关键的训练数据上面。

SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习的领域，是一个有监督的学习模型，通常用来进行模式识别、分类以及回归分析。

SVM的主要思想可以概括为两空信点：

1是针对线性可分情况进行分析，对于线性不可分的情况，通过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。

2是基于结构风险最小化理论之上在特征空间中构建最优超平面，使得学习器得到全局最优化，并且在整个样本空间的期望以某个概率满足一定上界。

D. 请简述线性可分svm的基本思想

SVM对于二元线性可分数据的基本原理如下;SVM 是一种二类分类模型。它的基本模型是在特征空间中寻找间隔最大化的分离超平面的线性分类器。

1、当训练样本线性可分时，通过硬间隔最大化，学习一个线性分类器，腊晌即线性可分支持向量机；

2、当训练数据近似线性可分时，引入松弛变量，通过软间隔最大化，学习一个线性分类器，即线性支持向量机；当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

SVM是一个面向数轮碧锋据的分类算法，它的目标是为确定一个分类超平面，从而将不同的数据分隔开。扩展：支持向量机学习方法包括构建由简至繁的模型：线性可分支持向量机、线性支持向量机及非线性支持向量机

E. 什么是线性可分和线性不可分

线性可分就是说可以用一个线性函数把两类样本分开，比如二维空间中的直线、三维空间中的平面以及高维空间中的线性函数。

所谓可分指可以没有误差地分开；线性不可分指有部分样本用线性分类面划分时会产生分类误差的情况。

在这种情况下，SVM就通过一个非线性映射函数把样本映射到一个线性可分高维空间，在此高维空间建立线性分类面，而此高维空间的现行分类面对应的就是输入空间中的非线性分类面。

判断是否线性可分：不同样本集用凸包包起来，判断不同凸包的边是否有交叉。

(5)什么是线性可分的数据集扩展阅读：

判兄氏断线性可分和线性不可分——凸包

1、中心法

先构造一个中心点，然后将它与各点连接起来，按斜率递增的方法，求出凸包上部；再按胡猛斜率递减的方法，求出凸包下部。

2、水平法

从最左边的点开始，按斜率递增的方法，求出凸包上部；再按斜率递减的方法，求出凸包下部。水平法较中心法减少了斜率无限大的可能，减少了代码的复杂度。

3、快包法

选择最左、最右、最上、最下的点，它们必组成一个凸四边形（或三角形）。这个四边形内的点必定不在凸包上。然后将其余的点按最裤尘桥接近的边分成四部分，再进行快包法(QuickHull)。