shrinkage Spark2.0机器学习系列之12： 线性回归及L1、L2正

线性回归拟合一个因变量与一个自变量之间的线性关系y=f(x)。

Spark中实现了：

（1）普通最小二乘法

（2）岭回归（L2正规化）

（3）Lasso（L1正规化）。

（4）局部加权线性回归

（5）流式数据可以适用于线上的回归模型，每当有新数据达到时，更新模型的参数，MLlib目前使用普通的最小二乘支持流线性回归。shrinkage除了每批数据到达时，模型更新最新的数据外，实际上与线下的执行是类似的。

本文采用的符号:

拟合函数

以多变量线性回归为例，对第k个样本进行拟合。拟合函数如下：

“是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更稳定、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。”

从上面这段话我们可以看出，全面理解岭回归需要先弄清楚以下一些关键的问题（概念）：

（1）什么是共线性数据？

（2）方程组中方程的个数少于特征个数是不是也是类似的情况？

（2）病态矩阵是什么？

（3）什么是有偏估计和无偏估计？

（4）为什么说放弃无偏性就可以使得模型更可靠？

（5）怎么样做才能放弃无偏性，提高模型的稳定性？

下面我们就一个一个问题慢慢探索吧？

（1）共线性数据

共线性数据说白了就是“自变量之间呈现出了某种线性关系”。线性回归模型中的自变量之间由于存在精确相关关系或高度相关关系从而使模型估计失真或难以估计准确。这时候，如果我们计算两个自变量之间的相关性系数，可以发现他们之间线性相关系数很高 。这在构建多元线性回归模型时，随着自变数目变得非常庞大，其中某些个自变量之间产生共线性是很容易发生的情况。

那么它究竟是如何使得传统的最小二乘法线性回归模型失真的呢？任何时候，我不希望抄一个公式来就来说明某个道理，虽然这样的回答是最简单的，但是我们还是希望把背后隐藏的道理搞明白先搞明白，公式自然而然就出来了，不是先有公式，才有道理，而是明白了某个道理，在此指引下，才推导出某个公式，数学公式往往是朴素道理的凝炼和精华，是极其美丽但又非常隐晦的诗句，所以如果从公式本身出发，一下子千头万绪砸在心头，是很难理解的。比如说刚才提到的这个问题，如果用公式来回答，因为此时计算(XTX)−1会出错，所以需要加一个λI项使得矩阵非奇异，进而可以对(XTX+λI)求逆，即

，岭回归的公式就这样冒出来了！！！虽然从数学逻辑上看，非常正确，但是这究竟是一个什么鬼?他又是如何想到的，为什么要这样做而不是那样做，等等诸多问题，其实这个公式本身什么都回答不了。所以我自己理解问题的习惯，是摒弃这种靠推公式来理解问题的做法，零基础小白版的机器学习或统计学学习，即用最朴素的思想去理解机器学习或统计学，未必不是一种笨拙的智慧，当然在理解朴素道理的情况下，还是应该仔细推导公式，其实这时推导公式其实更easy。

对于共线性数据，在最小二乘法失效的情况下，也研究出了很多方法进行参数估计，但是机器学习里面，我们通常用主成分方法和岭回归方法等方法代替传统的最小二乘方法对模型的参数进行估计。

（2）欠定方程组的情况

还有一种情况与共线性数据有所不同，也是岭回归适合解决的问题，在这里提一下：当样本点比较少，而特征比较多，特征个数多于样本个数，这时候输入数据的矩阵X是非满秩的，最直白的话就是方程的个数少于未知数，也就是欠定方程组，理论上应该有无穷多解。shrinkage这时候最小二乘法同样是失效的。

我们需要注意到的最小二乘法是为了解决超定方程组而提出来的，即方程个数大于未知量个数的方程组，这时一般是不存在解的矛盾方程组，例如，如果给定的三点不在一条直线上， 我们将无法得到这样一条直线，使得这条直线同时经过给定这三个点。 也就是说给定的条件（限制）过于严格， 导致解不存在。在实验数据处理和曲线拟合问题中，求解超定方程组非常普遍。比较常用的方法是就是最小二乘法。形象的说，就是在无法完全满足给定的这些条件的情况下，求一个最接近的解（来自）。

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-77340-1.html