历史上最全面的分析: 大数据和机器学习之间有什么区别？(2)

支持向量机是一种具有强大数学成分的机器学习算法（相对而言，神经网络具有生物科学成分）. 在算法的核心步骤中，有一个步骤证明从低维到高维映射数据不会导致计算复杂性的最终增加. 因此，通过支持向量机算法，不仅可以保持计算效率，而且可以获得很好的分类效果. 因此，在1990年代后期，支持向量机在机器学习中占据了最重要的位置，基本上取代了神经网络算法. 直到现在，神经网络才通过深度学习复活，两者之间发生了微妙的平衡转变.

4. 聚类算法

先前算法的一个重要特征是我的训练数据包含标签，而训练后的模型可以预测其他未知数据的标签. 在以下算法中，训练数据不包含标签，并且算法的目的是通过训练来推断这些数据的标签. 这种算法有一个通用名称，即非监督算法（前面带有标签数据的算法是监督算法）. 无监督算法的最典型代表是聚类算法. 在这里，我向大家推荐一个大数据技术交流圈: 658558542突破了技术瓶颈，提高了思考能力.

我们取一个二维数据，某个数据包含两个特征. 我想通过聚类算法标记它们的不同类型. 我该怎么办？简而言之，聚类算法是计算人口中的距离，并根据该距离将数据分为多个种族.

聚类算法的最典型代表是K-Means算法.

5. 降维算法

降维算法也是一种无监督的学习算法，其主要特征是将数据从高维级别降低到低维级别. 在此，尺寸实际上表示数据的特征量的大小. 例如，房屋价格包括房屋的长度，宽度，面积和房间数量的四个特征，即，维度是4维数据. 可以看出，长度和宽度实际上与区域表示的信息重叠，例如，区域＝长度×宽度. 通过降维算法，我们可以去除冗余信息，并将特征缩减为面积和房间数两个特征，即将数据从4维压缩为2维. 因此，我们将数据从高维减少到低维，这不仅有利于表示，而且可以加快计算速度.

刚才提到的降维过程中的降维属于肉眼可见的一层，并且压缩不会导致信息丢失（因为信息是多余的）. 如果肉眼看不到它，或者没有多余的功能，降维算法也可以使用，但这会带来一些信息丢失. 但是，降维算法可以从数学上证明从高维压缩到低维的数据在最大程度上保留了数据. 因此，使用降维算法仍然有很多好处.

降维算法的主要功能是压缩数据并提高其他算法的机器学习效率. 通过降维算法，可以将具有数千个特征的数据压缩为多个特征. 另外，降维算法的另一个好处是数据的可视化. 例如，将5维数据压缩为2维，然后可以用2D平面可视化. 降维算法的主要代表是PCA算法（即主成分分析算法）.

6. 推荐算法

推荐算法是业界非常流行的算法，已被广泛用于电子商务行业，如Amazon，天猫，京东等. 推荐算法的主要特点是它可以自动向用户推荐他们最感兴趣的内容，从而提高购买率和效率. 推荐算法主要有两类:

第一类基于项目内容推荐. 它向用户推荐与用户购买的内容相似的商品. 前提是每个项目必须具有多个标签，因此您可以找到用户购买的类似项目. 此建议的好处是它更相关，但是由于每个项目都需要标记，因此工作量很大.

另一种推荐类型是基于用户相似性. 它向目标用户推荐与目标用户具有相同兴趣的其他用户的购买. 例如，小甲购买了历史上的商品B和C. 经过算法分析，发现另一个类似于小A，小D的用户购买了商品E，然后向小A推荐商品E.

这两种类型的建议各有优缺点. 在一般的电子商务应用程序中，通常将两种类型混合使用. 推荐算法中最著名的算法是协同过滤算法.

7. 梯度下降法

梯度下降法是一种优化算法，通常也称为最速下降法. 最速下降法是解决无约束优化问题的最简单，最古老的方法之一. 尽管不再实用，但许多有效的算法都基于改进和修正. 最速下降法使用负梯度方向作为搜索方向. 最速下降法越接近目标值，步长越小，进度越慢. 这就像将功能与山峰进行比较. 我们站在山坡上，环顾四周. 我们从哪个方向向下走一小步，我们就能以最快的速度下降；当然，有很多方法可以解决问题. 梯度下降只是其中之一. 还有一种叫做正态方程的方法

8. 牛顿法

牛顿法是一种非线性最小二乘法优化方法. 它使用目标函数的泰勒展开将非线性函数的最小二乘问题简化为每次迭代的线性函数的最小二乘问题. 牛顿法的缺点是，如果起始点距离最小点太远，则迭代步长太大，这导致下一代迭代的函数值不一定小于上一代的函数值. 在二阶导数的作用下，牛顿法从函数的凸性开始，直接搜索如何达到极限. 也就是说，在选择方向时，不仅当前的坡度足够大，而且在您迈出一步之后，坡度是否会变大.

从收敛速度的角度来看，梯度下降是线性收敛，牛顿法是超线性的，至少是二阶收敛，当目标函数是凸函数时，梯度下降法解释了全局最优解. 通常，不能保证该解决方案是全局最优解决方案. 当目标函数不是凸函数时，目标函数可以近似转换为凸函数. 或使用某些智能优化算法（例如模拟退火）以一定的概率跳出局部极值，但是这些算法不能保证找到最小值.

9. BP算法

BP算法是一个学习过程，由两个过程组成: 信号的正向传播和错误的向后传播. 在正向传播期间，输入样本将从输入层传入，由每个隐藏层逐层处理，然后传递到输出层. 如果输出层的实际输出与预期输出（教师信号）不匹配，则它将进入错误的反向传播阶段. 误差反向传播是指将某种形式的输出误差通过隐藏层逐层反转到输入层，并将误差分布到每一层的所有单元，从而获得每一层单元的误差信号，该误差信号为用于校正每个单位的重量基准. 重复执行在信号的前向传播和误差的向后传播中调整每一层的权重的过程. 不断调整权重的过程是网络的学习和训练过程. 继续进行此过程，直到网络输出的错误降低到可接受的水平，或者直到预设的学习次数为止.

10. SMO算法

SMO算法是为解决SVM问题的Lagrange对偶问题（一种二次编程公式）而开发的一种高效算法. 传统的二次规划算法的计算成本与训练集的大小成比例，并且SMO根据问题本身的特征（KKT条件约束）优化此特定二次规划问题的求解过程. 我们在对偶问题中解决的唯一变量是拉格朗日乘数

向量，该算法的基本思想是一次仅选择一对

向量其他维度元素的值，然后进行优化直到收敛.

除上述算法外，机器学习社区还有其他算法，例如高斯判别法，朴素贝叶斯算法，决策树等. 但是上面列出的10个算法是最常用，最有影响力和最全面的典型算法. 机器学习世界的特征之一是有很多算法，并且开发工作正在盛行.

这里是摘要. 根据训练数据是否带有标签，上述算法可以分为监督学习算法和非监督学习算法，但推荐算法是特殊的，既不属于监督学习，也不属于监督学习. 这是一个单独的类别.

监督学习算法:

线性回归，逻辑回归，神经网络，支持向量机

无监督学习算法:

集群算法，降维算法

特殊算法:

推荐算法

除这些算法外，某些算法名称通常出现在机器学习领域. 但是它们本身并不是机器学习算法，而是为解决子问题而诞生的. 您可以理解，它们是上述算法的子算法，用于极大地改善训练过程. 其中的代表是: 梯度下降法，主要使用回归，逻辑回归，神经网络，推荐算法；牛顿法，主要使用回归； BP算法算法的数据包括哪些，主要用于神经网络； SMO算法，主要在SVM中使用.

机器学习和大数据的结合产生了巨大的价值. 基于机器学习技术的发展，可以“预测”数据. 对于人类来说，积累的经验越丰富，经验越丰富，对未来的判断就越准确. 例如，“有经验”的人经常说，他们在工作上比“新手”有更多的优势.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-282122-2.html