大数据结构和小数据算法

大数据挖掘是寻找隐藏在大型，不完整，嘈杂，模糊和随机大型中的有价值且潜在有用的信息和知识的过程. 这也是一个决策支持过程. 它主要基于人工智能，机器学习，模式学习，统计等. 大数据的挖掘是寻找隐藏在庞大，不完整，嘈杂，模糊和随机的大型中的有价值且潜在有用的信息和知识的过程. 这也是一个决策支持过程. 它主要基于人工智能，机器学习，模式学习，统计等.

（1）分类. 分类是在中找到一组数据对象的共同特征，然后根据分类模式将它们分为不同的类别. 其目的是通过分类模型将中的数据项映射到给定的类别. 它可以应用于应用程序分类和趋势预测. 例如，淘宝商店在一段时间内将用户的购买分为不同类别，并根据情况向用户推荐相关产品，从而增加了商店的销售额. 可以使用许多算法进行分类，例如决策树，knn，贝叶斯等.

（2）回归分析. 回归分析反映了中数据属性值的特征，并通过函数表示数据映射关系来表达属性值之间的关系. 可用于数据序列预测和相关性研究. 在市场营销中，回归分析可以应用于所有方面. 例如，通过对当前季度的销售进行回归分析，预测下一季度的销售趋势并进行有针对性的营销更改. 常见的回归算法包括: 最小二乘（普通最小二乘）算法的数据包括哪些，对数回归，逐步回归，多元自适应回归样条和局部分散平滑估计（局部估计散点图平滑）

（3）聚类. 聚类类似于分类，但是不同于分类的目的，它是根据数据的相似性和差异将一组数据划分为几个类别. 属于同一类别的数据之间的相似度很大，但是不同类别之间的数据的相似度很小，并且跨类别数据的相关性非常低. 常见的聚类算法包括k-Means算法和期望最大化（EM）.

（4）关联规则. 关联规则是数据项之间隐藏的关联或相互关系，即，可以基于一个数据项的外观来得出其他数据项的外观. 关联规则的挖掘过程主要包括两个阶段: 第一阶段是从大量原始数据中找到所有高频项目组；第二个极端是从这些高频项目组中生成关联规则. 关联规则挖掘技术已在金融行业公司中广泛用于预测客户需求. 银行使用其ATM机将客户可能感兴趣的信息捆绑在一起，以使用户理解并获取相应的信息以改善其营销. 常见的算法包括Apriori算法和Eclat算法.

（5）神经网络方法. 神经网络作为一种先进的人工智能技术，由于其自​​身的处理特性，分布式存储和高容错性，非常适合处理非线性，知识模糊，不完整和不完整的处理问题. 它的这个特性非常适合解决数据挖掘问题. 典型的神经网络模型主要分为三类: 第一类是用于分类预测和模式识别的前馈神经网络模型，主要由功能网络和感知器表示；第二类是神经网络模型. 第二类是关联. 记忆和优化算法的反馈神经网络模型由Hopfield的离散模型和连续模型表示. 第三类是ART模型代表的用于聚类的自组织映射方法. 尽管神经网络有许多模型和算法，但是在特定领域的数据挖掘中使用哪种模型和算法并没有统一的规则，人们很难理解网络的学习和决策过程.

（6）Web数据挖掘. Web数据挖掘是一项综合技术，这意味着Web可以从文档结构和所使用的集C中找到隐式模式P. 如果将C视为输入，将P视为输出，则可以将Web挖掘过程视为从输入到输出的映射过程. 当前，越来越多的Web数据以数据流的形式出现，因此对于Web数据流的挖掘具有重要意义. 当前常用的Web数据挖掘算法为: PageRank算法，HITS算法和LOGSOM算法. 这三种算法中提到的用户都是普通用户，并不区分各个用户. 当前，Web数据挖掘面临着一些问题，包括: 用户分类，网站内容的及时性，页面上的用户停留时间，页面进入和链接出问题等. 随着Web技术的飞速发展，这些问题仍然值得研究. 和解决.

（7）深度学习

深度学习算法是人工神经网络的发展. 最近，它引起了很多关注，特别是在百度开始致力于深度学习之后，它在中国引起了很多关注. 随着当今计算能力变得越来越便宜，深度学习试图构建更大，更复杂的神经网络. 许多深度学习算法是半监督学习算法，用于处理存在少量未识别数据的大型数据集. 常见的深度学习算法包括: 受限玻尔兹曼机（RBN），深度信念网络（DBN），卷积网络（卷积网络）和堆叠式自动编码器.

（8）集成算法

积分算法使用一些相对较弱的学习模型来独立训练相同的样本算法的数据包括哪些，然后对结果进行积分以进行整体预测. 整合算法的主要困难在于如何整合独立的较弱学习模型以及如何整合学习结果. 这是一种非常强大的算法，但也很受欢迎. 常见的算法包括: Boosting，自举聚合（Bagging），AdaBoost，Stacked Generalization（堆叠通用化，混合），Gradient Boosting Machine（GBM），随机森林（Random Forest）.

此外，降维在数据分析工程中也非常重要. 像聚类算法一样，降维算法试图分析数据的内部结构，但是降维算法试图利用无监督学习来总结或解释信息很少的数据. 此类算法可用于可视化高维数据或简化用于监督学习的数据. 常用算法包括: 主成分分析（原理成分分析，PCA），偏最小二乘回归（PLS），Sammon映射，多维缩放（多维缩放，MDS），投影跟踪（Projection Pursuit）等待.

一些用于详细利弊分析和算法选择参考的算法可以看看本博客中几种常用算法的适应方案及其优缺点（很好）

上述博客的以下段落:

算法选择参考:

我之前翻译过一些外国文章，其中一篇文章提供了一种简单的算法选择技术:

您应该选择的第一件事是逻辑回归. 如果效果不好，可以作为参考，与其他算法进行比较；

然后尝试决策树（随机森林）以查看它是否可以大大改善模型的性能. 即使最终没有将其用作最终模型，也可以使用随机森林删除噪声变量并进行特征选择；

如果特征数量和观察样本数量特别大，则在资源和时间充足（此前提非常重要）时，可以选择使用SVM.

通常: [XGBOOST> = GBDT> = SVM> = RF> = Adaboost> =其他…]，现在深度学习非常流行，并在许多领域中得到使用. 它基于神经网络. 目前，我也在学习中，但是理论知识不是很扎实，理解还不够深入，这里不再赘述.

尽管算法很重要，但是好的数据要比好的算法好，并且有助于设计好的功能. 如果数据集非常大，那么无论您使用哪种算法都可能对分类性能没有太大影响（此时，您可以根据速度和易用性进行选择）.

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-237199-1.html