缺失值处理在数据分析中是关键的一步,而且是开始的关键一步,我们对于数据的缺失处理直接影响模型的准确性.
调查者忘记回答了,拒绝回答,不完整的问卷,设备出故障,网络连接失效,数据误记,有意而为之等等.
识别缺失数据:is.na 或complete.cases 或数据量大时用mice包的md.pattern 与VIM包的许多函数
第一列表示此种情况的缺失的观测数据有多少行.最后一列表示此种情况的缺失有几个列变量是包含缺失的.
aggr(sleep,prop=F,number=T) #缺失图
matrixplot(sleep) #缺失矩阵图,红色表示缺失,颜色越深越大
marginplot(sleep[,c(7,4)],col=c("gray","red","blue")) #缺失散点图,红色点表示另外一个变量观测值缺失
检查导致数据缺失的原因. 我们做这么多探索,缺失值的数目,以及分布模式主要为了,分析缺失数据的潜在机制,评价缺失数据对分析 目标的影响.也即需要搞清楚: 缺失数据比例多大;缺失数据分布情况,缺失是随机的吗,缺失数据间的相关性
删除包含缺失值的实例或用合理的数值代替 行删除法:na.omit
多重插补(MI):从含缺失的数据集上,产生多个模拟数据集,不包含缺失,缺失的用蒙特卡诺模拟填补,然后对模拟数据集进行统计分析,得到结果再进行分析.填补的方法有用均值,用逻辑回归填补二值变量,多元逻辑回归填补多值变量,还包括贝叶斯线性回归,判别分析,两水平正太插补,以及随机抽样,下面是mice包的实现与原理
一起看看它到底怎么插补的:其中1.是每个变量的缺失情况 2,各变量的插补方法 3,为预测平均 下面的矩阵说明每个变量的插补参考了哪些变量.
具体插补的值是多少我们也可以看看. 分别是5次模拟数据集中,dream的缺失插补值.
完全随机缺失(MCAR):某个变量的观测值缺失与自身其他观测,以及其他数据集中的变量无关. eg:工作人员忘记填了
随机缺失(MAR):某个变量的观测值有缺失,与自身其他观测无关,但与数据集中其他变量有关.
非随机缺失(NMAR) 数据缺失不属于以上两种.处理此类缺失非常复杂.eg:去调查人们的收入情况这 一变量,那么缺失值往往是比较小的值和比较大的值,因为可能穷人不好意思说,富人不愿意说.
原文始发于微信公众号（PPV课数据科学社区）：数据咖小课堂：R语言十八讲–(补充)处理缺失值
原创文章，作者：ppvke，如若转载，请注明出处：http://www.ppvke.com/archives/13881
