4. 分析，总结和改进

目录

1. 数据集选择

2. 数据预处理

（1）数据清理

（2）数据集成

（3）数据减少

（4）数据转换和数据离散化

3. 数据分析算法

4. 分析，总结和改进

这学期，我通过选择课程提前学习了DataMining，最近我提交了论文，并且已经完全完成. 经过深思熟虑或写下一些东西，以后再使用该怎么办？仅供参考.

参考书: “数据挖掘的概念和技术”韩佳玮正在等待

首先，我们仍然需要了解一些基本概念. 数据挖掘是从大量数据中挖掘有趣的模式和知识的过程. 数据源通常是，数据仓库，Web等，并且获得的数据称为数据集. 其中，数据仓库是数据挖掘的独特内容，它是从多个数据源收集的信息存储库. 根据William H. Inmon的说法，“数据仓库是面向主题的，集成的，时变的，非易失性的数据收集，可支持管理人员的决策过程. ”比较的概念，“长时间存储在计算机中的有组织，共享的大量数据的集合”（“系统简介”（第四版）王山等）可以分为两类，数据处理（OnlineTransactionProcessing，OLTP）系统和分析处理（OnlineAnalyticalProcessing，OLAP）系统. 属于前者，而数据仓库属于后者. 比较如下:

图1 OLTP和OLAP比较图

然后要点: 数据挖掘的一般过程.

常规数据集已经存在或至少知道如何获取它们（访问特定，过滤和捕获所需数据，手动收集调查表等）. 数据集的选择确定数据挖掘模型是否有趣. 通用的数据挖掘模式包括频繁模式，用于预测分析的分类和回归模式，聚类分析模式等，它们代表了数据挖掘的特定目的. 当我第一次进行实验时，我不知道要做什么（通常是现有的数据集或想法，然后是数据挖掘），因此我检查了一些常见的数据集网站（如下所示）以查找我感兴趣的数据毕竟，兴趣是最好的老师. 有趣的是，数据挖掘可以快乐地继续.

UCI机器学习和智能系统

kdd2015预测学校的辍学率

下载并收集数据挖掘数据集

选择数据集后，我们开始对数据进行预处理，以便我们可以使用该数据. 数据预处理可提高数据质量: 准确性，完整性和一致性，包括数据清洗，数据集成，数据规范和数据转换方法.

图2数据预处理方法

忽略原始祖先

手动填写缺失值

使用属性中心度量来填充

给定的属性表示所有相同类型样本的均值或中值填充

最可能的值填充

实体识别

冗余和相关分析（卡方检验，相关系数，协方差等，使用spss更方便）

尺寸规格（小波变换和主成分分析，最常用）

数量规格（较小的数据代替原始数据）

数据压缩（有损且无损，尤其是通常用于图像和视频等多媒体）

数据转换: 平滑，属性构建，聚合，标准化，离散化和概念分层.

图3数据标准化的常用方法

图4数据离散化

例如: 3-4-5规则，基于最高有效位数:

分为3类: 最高位数是3679

4 248

5 15

一般步骤: 最少5％，最多95％；根据3-4-5规则进行细分；根据两端调整细分

此内容非常复杂，仅提出一些常见的参考:

最经典的是频繁模式挖掘，对象是事物发生的次数. 如著名的啤酒尿布. 最典型的算法是Ap​​riori算法，其中包括连接和修剪. 其中，有一些重要概念，例如频繁项集的置信度，支持和最小置信度阈值. 在相关分析中，还存在诸如提升，完全置信度简述数据挖掘的过程，Kulczy和余弦之类的判断标准，以及零不变性测量注意事项. 我个人认为，Uber是看到大量零事情的典型案例，从而打开了私家车市场并取得了巨大的成功. 也可以说是从不同的角度思考.

数据挖掘不仅用于挖掘频繁模式之间的联系，而且还经常用于分类和聚类.

分类的一般过程是使用分类算法分析训练数据，然后使用测试数据评估分类规则的准确性. 常用的分类标准包括决策树归纳，属性选择度量，树修剪等. 特定的常用算法包括朴素贝叶斯（前提属性彼此独立），贝叶斯信念网络，k近邻分类，遗传算法，神经网络，模糊集方法等. 这说明了智能机器学习算法的强大功能.

聚类相对麻烦，因为它是非监督学习. 聚类的常见划分方法是k均值和k中心点，它们均基于抽象距离（实际度量是密度，网格等）. 还有更多高级版本，例如基于概率的版本. 聚类中有许多重要概念，例如分区标准，离散聚类，相似性度量和聚类空间. 我个人认为，集群实际上是在尝试自定义标准以根据某种理解进行分类，然后测试自己的标准（尤其是离群值）.

算法已完成，请不要忘记对其进行检查.

世上没有什么东西天生就是完美的，因此我们经常会遇到非常奇怪的经历: 一段时间后，看看我们以前做过的事情，我们怎么能做到两次呢！

分析在数据挖掘中非常重要. 因此，如果您有任何想法，即使您当时觉得不好，也应将它们写下来，并在最终分析中加以查看. 如果您发现它们再次有用. 分析的对象主要是模型（或称为模型的评估）的优缺点，对自己作品的客观公正判断（最好由大师帮助）可以清醒自己的看法. 改进来自分析. 一般来说，要完成某种程度的学术性工作，请先确认您的基本思想和实际操作过程，然后转到大型（例如CNKI）进行搜索，看看其他人如何处理相关事务并进行比较. 无论如何简述数据挖掘的过程，盖高房子比在地面上盖建筑物要容易.

总结是对你的肯定，不要说什么，在总结后，看看你以前做过的事情，你仍然必须有很多自豪感！总结的过程就是思考的过程，因此我以后的每一本作品都比当前的要好！

利用到目前为止所学的肤浅知识，我可以写出这一点. .

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-284880-1.html