如何清理数据？

必须对大数据进行清理，分析，建模和可视化以反映其潜在价值. 但是，由于互联网用户数量的增加，业务应用程序的多样化以及社交网络的繁荣，单个文件（例如日志文件，音频和视频文件等）变得越来越大，阅读硬盘驱动器的速度以及文件的存储成本变得越来越捉襟见肘. 同时，政府，银行和保险公司内部有大量的非结构化和不规则数据；只有通过将这些数据收集并整理成结构化的常规数据，才能提高公司的决策支持和政府决策服务水平，从而发挥应有的作用.

因此，当前的数据清理主要是通过传统的数据提取，转换，加载（ETL）工具和分布式并行处理将数据分为结构化数据和非结构化数据.

尤其是，结构化数据可以存储在传统的关系中. 关系在处理事务，及时响应和确保数据一致性方有天然的优势.

非结构化数据可以存储在新型的分布式存储中，例如Hadoop的HDFS. 分布式存储在系统的水平扩展性，降低存储成本和提高文件读取速度方有独特的优势.

此外数据清洗，它是结构化数据和非结构化数据之间的数据迁移. 如果要将传统的结构化数据（例如从关系中的数据导入到分布式存储中），可以使用sqoop等工具先将关系的表结构（mysql，postgresql等）导入到分布式中（ Hive），然后将结构化数据导入分布式的表中.

对不同质量的原始数据进行分类以适合清洁工作

数据清理在汇总了来自多个维度，多个源和多个结构的数据之后，可以提取，转换和集成数据以进行加载. 在此过程中，除了纠正和修复系统中的某些错误数据外，还需要合并数据并将其存储在新的存储介质中. 其中，区分和掌握数据质量非常重要.

常见的数据质量问题可以根据数据源的数量及其级别（定义方案层和实例样本层）分为四类.

第一类，单一数据源定义层: 违反字段约束（例如1月0日），字段属性依赖项冲突（例如两条记录描述同一个人的某个属性，但是值不一致），违反唯一性（同一主键ID出现多次）.

第二类，单个数据源实例层: 单个属性值包含过多信息，拼写错误，空白值，噪声数据，数据重复，过时数据等.

第三类，多个数据源的定义层: 同一实体的不同名称（例如Bingxin和Xie Wanying，使用笔名或实名），同一属性的不同定义（例如不一致的字段长度定义） ，字段类型不一致等）.

第四类，多个数据源的实例层: 数据的维度和粒度不一致（例如，某些记录存储根据GB，某些记录存储根据TB；某些根据年度统计，某些根据每月统计数据），数据重复，拼写错误.

此外数据清洗，在数据处理过程中还会生成“辅助数据”，其中也可能包含噪声，重复或错误. 数据调整和清理还将涉及格式，测量单位以及与数据标准化和规范化有关的事项，这将对实验结果产生较大的影响. 通常，此类问题可归因于不确定性. 不确定性具有两个含义，包括每个数据点本身的不确定性和数据点属性值的不确定性. 前者可以用概率来描述，而后者可以有多种描述，例如描述属性值的概率密度函数和以方差表示的统计值.

对不同质量类型的数据使用不同的清洗方法

对于上述数据质量中常见的空位值，噪声值和不一致的数据，可以使用手动检测，统计方法，聚类，分类，基于距离的方法，关联规则等方法来获得数据清洁.

以前的手动检测方法不仅花费大量的人力，物力和时间，而且在数据清理过程中还会产生大量的派生错误. 近年来，可视化作为一种​​有效的显示和交互手段，可用于提高数据错误识别和清除的效率.

根据缺陷数据的分类，数据清理可以分为两个核心问题: 异常记录检测和重复记录检测.

异常记录检测. 包括解决空值，错误值和数据不一致的方法.

对于空值的处理，通常使用估计方法，例如使用均值，众数，最大值，最小值和中值填充. 但是，评估方法会引入错误. 如果有很多空值，结果将大大偏离.

对于误差值的处理，通常使用统计方法来处理它们，例如偏差分析，回归方程，正态分布等，并且还可以通过简单的规则库识别误差以检查值范围或基于属性的约束关系.

不一致数据的处理主要反映在数据不符合完整性约束的事实上. 您可以分析数据字典，元数据等，并整理出数据之间的关系并进行更正. 数据不一致通常是由于缺乏一套数据标准所致，也与相关部门未能执行相关标准有关.

重复数据检测. 该算法可分为基于场的匹配算法，递归场匹配算法，Smith Waterman算法，基于编辑距离和改进的余弦相似度函数的场匹配算法.

北京理工大学大数据搜索与挖掘实验室主任张华平开发的NLPIR大数据语义智能分析平台，结合了网络准确收集，自然语言理解，文本挖掘和语义搜索的研究成果，并且针对Internet内容处理. 整个技术链的共享开发平台. 该平台主要具有十多个功能模块，例如精确收集，文档转换，新单词发现，批量单词分割，语言统计，文本聚类，文本分类，摘要实体，智能过滤，情感分析，文档重复数据删除，全文检索，和编码转换. ，该平台提供了多种产品使用形式，例如客户端工具，云服务和二次开发接口.

以上内容希望对您有所帮助！

本文来自电脑杂谈，转载请注明本文网址：
https://www.pc-fly.com/a/jisuanjixue/article-256274-1.html