R语言: 离群值测试，离群值分析，离群值处理

R语言: 离群值测试，离群值分析，离群值处理

作者的信息: 离群值处理通常分为以下步骤: 离群值检测，离群值过滤和离群值处理. 其中，离群值检测的方法主要有: 箱形图，简单统计（如观察极值），离群值处理的方法有: 删除法，插值法和置换法. 当涉及到离群值时，必须说一个词: 稳健性. 它不受异常值的影响，并且通常是高度健壮的数据，是相对高质量的. 1.离群值测试离群值可能包括缺失值，离群值，重复值，并且数据不一致. 1.基本功能摘要可以显示每个变量的缺失值数量. 2.缺失值测试缺失值的检测应包括: 缺失值的数量，缺失值的比例，缺失值的筛选和完整值. [普通]查看普通复印纸？查看从CODE到我的CODE上的代码片的代码片#缺失值解决方案sum（complete.cases（saledata））#is.na（saledata）sum（！complete.cases（saledata））mean（！complete.cases（ saledata））#1/201数字，缺失值的比例saledata [！complete.cases（saledata），]#过滤掉缺失值的值3，箱形图测试离群值箱形图检测包括: 四分位数检测（包括在方框图中）+上下1δ标准偏差+离群数据点.

有一个非常适合放置箱形图的地方. 在箱线图绘制之后，结果将显示自己的异常值，在以下代码中为sp $ out. 这是一个箱形图，它基于上下边界之的箭头.

4. 重复数据删除重复数据删除与数据分组和合并之间存在一定差异. 重复数据删除纯粹是因为所有变量都是重复的r语言 nnet 预测未来十年的数据，而数据分组和合并可能是由于某些主键的重复. 重复数据删除包括重复检测（表，唯一功能）和重复数据处理（唯一/重复）. 通用函数是数据帧中唯一且重复的函数，重复的返回逻辑值. 二，离群值处理除直接删除外，常见的离群值处理方法还有删除方法，替换方法（连续变量均值替换，离散变量模式和中位数替换），插值方法（回归插值，多重插值），您可以将离群值变成丢失值，然后完成后续的缺失值. 实际上，离群值处理通常分为NA缺失值或返回公司进行数据修整（数据返工是主要方法）1.离群值识别使用图形框图来检测离群值. [普通]查看普通复印纸？查看从CODE到我的CODE上的代码片的代码片#异常值识别par（mfrow = c（1,2））#将绘图窗口分为1行和2列，并同时显示两张点图的图片（inputfile $ sales）#绘制单变量散点图，Doran图pc = boxplot（inputfile $ sales，horizo​​ntal = T）#绘制水平框图2，使用上限线法替换数据框中的99％和1％以上随后的点，超过该点值的99％=该点值的99％；小于点值的1％=点值的1％.

[html]查看普通副本？查看从CODE到我的CODE上的代码片的代码片#异常数据处理q1 <-quantile（result $ tot_derog，0.001）#1％时的变量值q99 <-quantile（result $ tot_derog，0.999）#replacement有1行，数据为0表示未更改1情况fix（inputfile）#以表格形式显示数据，其中（inputfile $ sales == 6607.4）#可以找到极值点序列号以将缺失值数据集与非缺失值数据集. [普通]查看普通复印纸？在CODE上查看从CODE到我的代码片的代码片#缺失值的处理inputfile $ date = as.numeric（inputfile $ date）#将日期转换为数值变量sub = that（is.na（inputfile $ sales） ）#识别缺少值的行数inputfile1 = inputfile [-sub，]#将数据集分为两部分: 完整数据和缺失数据inputfile2 = inputfile [sub，] 3，噪声数据处理-合并后该方法对连续变量进行了分级，不同分位数的数据将成为不同的数据等级，离散化了连续变量，消除了极值的影响.

4. 离群值处理-平均替换数据集分为两个部分: 缺失值和非缺失值. 对于缺失值处理，如果它是连续变量，则可以选择均值；对于离散变量，可以选择众数或中位数. 计算非缺失数据的平均值，并将其分配给缺失数据. [普通]查看普通复印纸？在CODE上查看从CODE到我的代码片的代码片#均值替换方法来处理丢失的数据，结果被转移#想法: 分成两部分，将丢失的值分配给平均值，然后重新组合avg_sales = mean（inputfile1 $ sales）#查找变量inputfile2缺失部分的平均值$ sales = rep（avg_sales，n）#将缺失的result2 = rbind（inputfile1，inputfile2）的平均值替换为#合并完成的数据5，异常值处理回归插值方法[纯文本]查看纯副本？在CODE#上查看从CODE派生的代码片#缺少回归插值方法处理，并将结果传输到model = lm（sales〜date，data = inputfile1）#回归模型拟合inputfile2 $ sales = predict（model，inputfile2）#模型预测结果3 = rbind（inputfile1，inputfile2）6.异常值处理-多重插值-鼠标包注: 多重插值有两种处理方法关键点: 首先删除Y变量的缺失值，然后插值1. 解释变量的缺失值不能填写，只能删除，不能随机补充; 2.仅插入模型中的解释变量.

此多重插值方法的更详细介绍. 作者总结了以下一般步骤: 丢失数据集-MCMC将插值估计为几个数据集-每个数据集的插值建模（glm，lm模型）-将这些模型集成在一起（合并）-评估模型的优缺点归因模型（模型系数的t统计量）-详细描述输出完整数据集（计算）的步骤: 函数mice（）从包含缺失数据的数据帧开始，然后返回（默认是5）完整数据集的对象. 每个完整的数据集都是通过在原始数据帧中内插丢失的数据而生成的. 由于插补具有随机成分，因此每个完整的数据集都略有不同. 其中，在Mice中使用决策树卡特车要注意以下几点: 该方法仅对数值变量进行插值，保留分类变量的缺失值，并且卡特尔插值方法一般不超过5k数据集. 然后，with（）函数可以将统计模型（例如线性模型或广义线性模型）依次应用于每个完整的数据集. 最后，pool（）函数将这些单独的分析结果集成到一组结果中. 最终模型的标准误差和p值都将准确反映由于缺少值和多次插补而导致的不确定性. [普通]查看普通复印纸？在CODE上查看从CODE到我的代码段的代码段#缺少多种插值方法处理，并且结果转移到了library（lattice）#进入功能包库（MASS）library（nnet）library（mice）#The前三个软件包是Rice imp = mice（inputfile，m = 4）#4重新插值的基础，即生成4个不丢失的数据集fit = with（imp，lm（sales〜date，data = inputfile ））#选择插值模型pooled = pool（fit）summary（pooled）result4 = complete（imp，action = 3）#选择第三个插值数据集作为结果的解释: （1）imp对象包含: 信息关于每个变量的缺失值数量，每个变量的插值方法（PMM，通用预测均值方法），估算变量是什么以及预测变量矩阵（在矩阵中，行代表估算变量，列代表提供信息的估算变量，1和0分别代表已使用和未使用ly同时，使用此代码imp $ imp $ sales可以找到每个插补数据集的缺失值位置的数据的具体值.

[普通]查看普通副本？查看从CODE到我的代码表的代码表> imp $ imp $ sales12349 3614.7 3393.1 4060.3 3393.115 2332.1 3614.7 3295.5 3614.7（2）与对象. 插值模型可以多样化，例如，可以直接应用lm和glm. 有关详细信息，请参见“ R语言战斗”的第15章. （3）池对象. 摘要之后，将显示lm模型系数. 如果系数不重要，则需要考虑更改插值模型. （4）完成对象. m个完整的插补数据集，同时可以使用此功能进行输出. 其他: mice程序包提供了一个很好的函数md.pattern（），可以用来更好地了解丢失数据的模式. 还有一些可视界面r语言 nnet 预测未来十年的数据，可通过VIM，箱形图，晶格显示缺失值. 3.离群值检测离群值检测与第2节中的离群值之间的主要区别在于，离群值是针对单个变量的，离群值是在将多个变量综合考虑后才指的是离群值. 下面介绍基于聚类+欧式距离的离群值检测方法. 基于聚类的离群值检测步骤如下: 数据标准化-聚类-查找每个类别的每个索引的均值-为每个类别的每个索引生成一个矩阵-计算欧几里得距离绘制判断.

[普通]查看普通副本？在CODE上查看从CODE导出到我的代码片的代码片Data = read.csv（“. data.csv”，header = T）[，2: 4] Data = scale（Data）set.seed（12）km = kmeans（Data，center = 3）print（km）km $ centers#每个类别的平均点#每个样本的欧式距离，每行x1 = matrix（km $ centers [1，]，nrow = 940，ncol = 3， byrow = T）juli1 = sqrt（rowSums（（Data-x1）^ 2））x2 = matrix（km $ centers [2，]，nrow = 940，ncol = 3，byrow = T）juli2 = sqrt（rowSums（（ Data-x2）^ 2））x3 =矩阵（km $ centers [3，]，nrow = 940，ncol = 3，byrow = T）juli3 = sqrt（rowSums（（Data -x3）^ 2））dist = data .frame（juli1，juli2，juli3）##最小欧几里得距离y = apply（dist，1，min）plot（1: 940，y，xlim = c（0,940），xlab =“ sample points”，ylab =“ Euclidean distance“）points（that（y> 2.5），y [which（y> 2.5）]，pch = 19，col =” red“）

本文来自电脑杂谈，转载请注明本文网址：
http://www.pc-fly.com/a/jisuanjixue/article-271196-1.html