历史上最全面的分析: 大数据和机器学习之间有什么区别？

大数据定义: 大数据是指在特定时间范围内无法使用常规软件工具捕获，管理和处理的数据集合. 它需要一种新的处理模式以具有更大的决策权和洞察力. 发现，高增长率和多样化的信息资产，可提供发现和流程优化功能. 大数据是一个尚未被发现和准确定义的一般概念.

大数据的核心是使用数据的价值. 机器学习是利用数据价值的关键技术. 对于大数据，机器学习是必不可少的. 相反，对于机器学习而言，数据越多，提高模型准确性的可能性就越大. 同时，复杂机器学习算法的计算时间也迫切需要诸如分布式计算和内存计算等关键技术. 因此，机器学习的繁荣离不开大数据的帮助. 大数据和机器学习是相辅相成的.

机器学习与大数据紧密相关. 但是，必须清醒地意识到大数据不等同于机器学习. 同样，机器学习并不等同于大数据. 大数据包括分布式计算，内存，多维分析和许多其他技术. 从分析方法的角度来看，大数据还包括以下四种分析方法:

一，大数据，小分析: 即数据仓库领域中的OLAP分析思想，即多维分析思想.

大数据，大分析: 这表示数据挖掘和机器学习分析.

三，流分析: 这主要是指事件驱动的体系结构.

第四，查询分析: 经典代表是NoSQL.

也就是说，机器学习只是大数据分析的一种. 尽管机器学习的某些结果具有巨大的魔力，但在某些情况下，这是对大数据价值的最好解释. 但这并不意味着机器学习是大数据下唯一的分析方法.

机器学习的定义

从广义上讲，机器学习是一种使机器学习能够执行直接编程无法实现的功能的方法. 但是从实际意义上讲，机器学习是一种使用数据训练模型然后使用模型进行预测的方法.

首先，我们需要将历史数据存储在计算机中. 接下来，我们通过机器学习算法处理这些数据. 在机器学习中，此过程称为“训练”. 处理结果可用于预测新数据. 该结果通常称为“模型”. 在机器学习中，新数据的预测过程称为“预测”. “训练”和“预测”是机器学习的两个过程，“模型”是过程的中间输出，“训练”产生“模型”，“模型”指导“预测”.

人类在成长和生活过程中积累了许多历史和经验. 人类定期“总结”这些经历并获得生活的“法则”. 当人类遇到未知的问题或需要“猜测”未来时，人类会利用这些“法律”“猜测”未知的问题和未来，以指导他们的生活和工作.

机器学习中的“训练”和“预测”过程可以对应于人类的“归纳”和“推测”过程. 通过这种对应关系，我们可以发现机器学习的思想并不复杂，仅仅是人类学习和生活成长的模拟. 因为机器学习不是基于编程的结果，所以它的处理不是因果逻辑，而是归纳思想得出的相关结论. 在这里，我向大家推荐一个大数据技术交流圈: 658558542突破了技术瓶颈，提高了思考能力.

这也可能与人类为什么要研究历史有关. 历史实际上是人类过去经验的总结. 俗话说: “历史常常不同，但历史总是惊人地相似. ”通过研究历史，我们可以总结历史中的生活和国家法律，以指导我们的下一份工作，这具有重要的价值. 一些当代人无视历史的原始价值，而将其用作宣传成就的手段. 这实际上是对历史真实价值的滥用.

机器学习的范围

机器学习与模式识别，统计学习，数据挖掘，计算机视觉，语音识别，自然语言处理等领域有着深厚的联系.

就范围而言，机器学习类似于模式识别，统计学习和数据挖掘. 同时，机器学习与处理技术在其他领域的结合已形成了计算机视觉，语音识别和自然语言处理等交叉学科. . 因此，在数据挖掘方面，它可以等同于机器学习. 同时，我们通常所说的关于机器学习应用程序应该是通用的，不仅限于结构化数据，还应包括图像和音频之类的应用程序.

模式识别

模式识别=机器学习. 两者之间的主要区别在于，前者是从工业发展而来的概念，而后者主要是从计算机科学派生的. Christopher M. Bishop在著名的《模式识别与机器学习》一书中说: “模式识别来自行业，机器学习来自计算机科学. 但是，在这两个方面都可以看到它们的活动. 在同一领域，同时，他们在过去10年中取得了长足的进步. ”

数据挖掘

数据挖掘=机器学习+. 近年来，数据挖掘的概念太熟悉了. 几乎等同于炒作. 任何谈论数据挖掘的人都会吹嘘数据挖掘的工作原理，例如从数据中挖掘黄金，将废弃的数据转化为价值. 但是，尽管我可以挖金，但也可以挖“石头”. 这句话的意思是数据挖掘只是一种思维方式，告诉我们我们应该尝试从数据中挖掘知识，但是并不是每个数据都可以挖掘黄金，所以不要误以为是. 系统永远不会由于数据挖掘模块而变得万能（这是IBM喜欢吹牛的东西）. 相反，具有数据挖掘思想的人是关键，并且他还必须对数据有深刻的理解. 理解，以便有可能从数据中得出模式以指导业务改进. 数据挖掘中的大多数算法都是对中机器学习算法的优化.

统计学习

统计学习大约等于机器学习. 统计学习是与机器学习高度重叠的学科. 因为机器学习中的大多数方法都来自统计，所以甚至可以说统计的发展促进了机器学习的繁荣. 例如，著名的支持向量机算法源自统计部门. 但是在一定程度上，两者是不同的. 区别在于: 统计学习者专注于统计模型，部分数学的开发和优化，而机器学习者则更关注问题解决和部分实践，因此机器学习研究人员将专注于提高执行于其上的学习算法的效率和准确性. 电脑.

计算机视觉

计算机视觉=图像处理+机器学习. 图像处理技术用于将图像处理为适合进入机器学习模型的输入. 机器学习负责从图像中识别相关模式. 有许多与计算机视觉相关的应用程序，例如百度图像识别，手写字符识别，车牌识别等. 该领域的应用前景非常热烈，也是一个热门的研究方向. 随着机器学习新领域中深度学习的发展，计算机图像识别的效果得到了极大的提升，因此计算机视觉行业的未来发展前景不可估量.

语音识别

语音识别=语音处理+机器学习. 语音识别是音频处理技术和机器学习的结合. 语音识别技术通常不单独使用，而是通常与自然语言处理的相关技术结合使用. 当前相关的应用程序包括Apple的语音助手siri.

自然语言处理

自然语言处理=文本处理+机器学习. 自然语言处理技术主要是机器理解人类语言的领域. 在自然语言处理技术中，使用了大量与编译原理相关的技术，例如词法分析，语法分析等. 此外，在这种理解水平上，还使用了语义理解和机器学习等技术. 作为人类创造的唯一符号，自然语言处理一直是机器学习领域不断研究的方向. 百度机器学习专家Yu Kai表示: “直言不讳地听着猫和狗都会知道，只有语言才是人类独有的. ”如何使用机器学习技术来深度理解自然语言一直是行业和学术界关注的焦点.

机器学习方法

1. 回归算法

在大多数机器学习课程中，回归算法是第一个引入的算法. 原因有两个: 1.回归算法相对简单. 引入它可以使人们平稳地从统计迁移到机器学习. 2.回归算法是后面几种强大算法的基石. 如果您不了解回归算法，则无法学习那些功能强大的算法. 回归算法有两个重要的子类别: 线性回归和逻辑回归.

线性回归是我们常见的直线函数. 如何拟合一条直线以最匹配我的所有数据？一般用“最小二乘法”来解决. ``最小二乘''的想法是这样的，假设我们拟合的直线代表数据的真实值，而观察到的数据代表有误差的值. 为了最小化误差的影响，需要求解一条直线以最小化所有误差的平方和. 最小二乘将最优问题转化为函数极值问题. 在数学上，我们通常使用求导数为0的方法. 但是，此方法不适用于计算机，并且可能无法解决或计算量很大. 在这里，我向大家推荐一个大数据技术交流圈: 658558542突破了技术瓶颈，提高了思考能力.

计算机科学界有一个称为“数值计算”的特殊学科，专门用于提高计算机执行各种计算的准确性和效率. 例如，著名的“梯度下降”和“牛顿法”是数值计算中的经典算法，也非常适合解决函数极值的求解问题. 梯度下降法是求解回归模型最简单有效的方法之一. 严格来说，由于下面的神经网络和推荐算法都具有线性回归因子，因此梯度下降法也被应用到后续的算法实现中.

逻辑回归是一种与线性回归非常相似的算法，但是从本质上讲，线性回归处理的问题类型与逻辑回归不一致. 线性回归处理数值问题，即最终的预测结果是一个数字，例如房价. Logistic回归是一种分类算法，也就是说，logistic回归预测结果是一个离散分类，例如判断此邮件是否为垃圾邮件，以及用户是否会点击此广告等.

在实现方面，逻辑回归仅将Sigmoid函数添加到线性回归的计算结果中，并将数值结果转换为0到1之间的概率（Sigmoid函数图像通常不直观，您只需要理解值越大，函数越接近1，值越小，接近0），则我们可以基于该概率进行预测，例如，如果概率大于0.5，则此电子邮件是垃圾邮件，还是肿瘤是恶性的等等. 直观地，逻辑回归画出了一条分类线.

通过逻辑回归算法绘制的分类线基本上是线性的（也有使用非线性分类线绘制的逻辑回归，但是这种模型在处理大量数据时效率很低），这意味着当两类之间的边界不是线性的，逻辑回归的表达能力不足. 以下两种算法是机器学习领域中最强大，最重要的算法，它们可以拟合非线性分类线.

2. 神经网络

神经网络（也称为人工神经网络，ANN）算法在1980年代的机器学习世界中是一种非常流行的算法，但在1990年代中期有所下降. 现在，随着“深度学习”的趋势，神经网络又回来了，它再次成为最强大的机器学习算法之一.

神经网络的诞生源于对大脑工作机制的研究. 生物界的早期学者使用神经网络来模拟大脑. 机器学习学者使用神经网络进行机器学习实验，发现视觉和语音识别的结果相当不错. 在BP算法（用于加速神经网络训练过程的数字算法）诞生之后，神经网络的发展进入了繁荣时期. BP算法的发明者之一是早先介绍的机器学习大亨Geoffrey Hinton.

具体来说，神经网络的学习机制是什么？简而言之，它是分解和整合. 在著名的Hubel-Wiesel实验中，学者们研究了这种猫的视觉分析机制.

例如，一个正方形分为四个折线以进入下一个视觉处理层. 四个神经元中的每一个都处理一条折线. 每条折线继续分解为两条直线，每条直线进一步分解为黑白面. 结果，复杂的图像变得很多细节并进入神经元. 在神经元经过处理然后整合之后，最终获得了看到正方形的结论. 这是大脑视觉识别的机制，也是神经网络工作的机制.

让我们看一个简单的神经网络的逻辑架构. 在此网络中，它分为输入层，隐藏层和输出层. 输入层负责接收信号，隐藏层负责数据的分解和处理，最终结果被集成到输出层. 每层中的一个圆圈代表一个处理单元，可以看作是模拟神经元，几个处理单元形成一个层，几个层形成一个网络，也称为“神经网络”.

在神经网络中，每个处理单元实际上是一个逻辑回归模型. 逻辑回归模型接收上层的输入，并将模型的预测结果作为输出传输到下一层. 通过这样的过程，神经网络可以完成非常复杂的非线性分类.

在1990年代，神经网络的发展进入了瓶颈时期. 主要原因是，尽管BP算法加速了，但是神经网络的训练过程仍然非常困难. 因此，支持向量机（SVM）算法在1990年代后期取代了神经网络的地位.

3，SVM（支持向量机）

支持向量机算法是一种经典算法，它起源于统计学习领域算法的数据包括哪些，并在机器学习领域大放异彩.

从某种意义上说，支持向量机算法是逻辑回归算法的增强: 通过为逻辑回归算法提供更严格的优化条件，支持向量机算法可以获得比逻辑回归更好的分类边界. 但是，如果没有某种类型的功能技术，则支持向量机算法最多是一种更好的线性分类技术.

但是，通过与高斯“核”结合，支持向量机可以表达非常复杂的分类边界，从而获得很好的分类效果. “内核”实际上是一个特殊功能. 最典型的特征是它可以将低维空间映射到高维空间.

如何在二维平面中划分圆形分类边界？在二维平面上可能比较困难，但是通过“核心”可以将二维空间映射到三维空间，然后使用线性平面来实现类似效果. 换句话说，被二维平面划分的非线性分类边界可以等同于三维平面的线性分类边界. 因此，通过在三维空间中进行简单的线性除法，可以在二维平面上实现非线性除法效果.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-282122-1.html