支持向量回归(SVR)的详细介绍以及推导算法

1 SVR背景
2 SVR原理
3 SVR数学模型

  1. SVR的背景
    SVR做为SVM的分支从而被提出,一张图介绍SVR与SVM的关系
    SVR与SVM的联系
    这里两虚线之间的几何间隔r=

    dW\frac{d}{||W||}

    ∣∣W∣∣d?,这里的d就为两虚线之间的函数间隔。
    (一图读懂函数间隔与几何间隔)
    在这里插入图片描述
    这里的r就是根据两平行线之间的距离公式求解出来的
    在这里插入图片描述

  2. SVR的原理

SVR与一般线性回归的区别

SVR 一般线性回归
1.数据在间隔带内则不计算损失,当且仅当f(x)与y之间的差距的绝对值大于

?\epsilon

?才计算损失

1.只要f(x)与y不相等时,就计算损失
2.通过最大化间隔带的宽度与最小化总损失来优化模型 2.通过梯度下降之后求均值来优化模型

在这里插入图片描述

原理:SVR在线性函数两侧制造了一个“间隔带”,间距为

?\epsilon

?(也叫容忍偏差,是一个由人工设定的经验值),对所有落入到间隔带内的样本不计算损失,也就是只有支持向量才会对其函数模型产生影响,最后通过最小化总损失和最大化间隔来得出优化后的模型。

注:这里介绍一下支持向量的含义:直观解释,支持向量就是对最终w,b的计算起到作用的样本(a>0)

如下图所示, "管道"内样本对应a=0,为非支持向量;
位于“管壁”上的为边界支持向量,0?\epsilon

?
位于"管道"之外的为非边界支持向量,a>

?\epsilon

?(异常检测时,常从非边界支持向量中挑选异常点)
在这里插入图片描述

  1. SVR的数学模型

3.1线性硬间隔SVR

3.2线性软间隔SVR

3.3非线性(映射,核函数)

  1. 实战案例

代更。。。。。。。