shrinkage Spark2.0机器学习系列之12： 线性回归及L1、L2正(2)

从统计学的语言描述：Tibshirani(1996)提出了Lasso(The Least Absolute Shrinkage and Selectionator operator)算法。这种算法通过构造一个惩罚函数获得一个精炼的模型；通过最终确定一些指标的系数为零，Lasso算法实现了指标集合精简的目的。

Lasso的损失函数加L1正则化项：

其实就是对所有回归系数w的绝对值进行了大小限定，也就是缩减技术。

Lasso回归和岭回归最重要的区别是，岭回归中随着惩罚项增加时，所以项都会减小，但是仍然保持非0的状态，然而Lasso回归中，随着惩罚项的增加时，越来越多的参数会直接变为0，正是这个优势使得lasso回归容易用作特征的选择（对应参数非0项），因此lasso回归可以说能很好的保留那些具有重要意义的特征而去掉那些那些意义不大甚至毫无意义的特征（如果是超多维的稀疏矩阵，这难道不是在垃圾中寻找黄金的“掘金术”吗？），而岭回归永远不会认为一个特征是毫无意义的。

在某些情况下，L1正则化真是非常好的一个东西啊，因为他的本领和解决问题的绝招就是倾向于将越多的参数变为0，也就意味着最终的近似解只依赖很少的变量，所以它也是最近时间很火的压缩感知的基石，抓住事物的本质，抓住主要矛盾，也许有时候面面俱到（比如说什么特征都照顾到）反而什么认识也得不出，所以我不成熟的认识是：L1正则化从实现层面上，提出了一个非常好的技术路线，从而实现了主义哲学上的如何“抓主要矛盾”，诸多感慨就是，看了大量机器学习算法，降维，投影或者影射（嵌入），缩减，压缩，隐含变量近似分解等思想随处可见，似乎让我感觉到在某种思想的指引下，这些方法心有灵犀，但是也有一个担忧就是感觉，机器学习的算法总是跳不出这个逻辑框架和圈子，虽然形式看丰富多彩，效果也在一定程度上各异，但我还是希望能看到更多的完全不一样的逻辑框架和思路，害怕我们在进行循环证实或者说“小修小补”，而没有全新的革命性突破，没有进行基因“突变”，类似于“收敛到一个局部最优解”，我们是不是应该像遗传算法中的“灾变”那样勇敢地跳出来？从这个角度来说，我个人比较偏爱深度学习，尤其是那个琢磨不定的人工神经网络模型（虽然不喜欢他还是采用了和Logist回归中类似的Sigmoid函数来模拟神经元的输出），不好意思，跑偏了。

One of the prime differences between Lasso and ridge regression is that in ridge regression, as the penalty is increased, all parameters are reduced while still remaining non-zero, while in Lasso, increasing the penalty will cause more and more of the parameters to be driven to zero. This is an advantage of Lasso over ridge regression, as driving parameters to zero deselects the features from the regression. Thus, Lasso automatically selects more relevant features and discards the others, whereas Ridge regression never fully discards any features.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-77340-2.html