认识达内从这里开始

数据清洗是程序员在做数据分析之前都会经历的一个数据优化过程，而本文我们就通过案例分析来简单了解一下，数据清洗包含哪些处理方法。

1.缺失值处理

实际开发获取信息和数据的过程中，会存在各类的原因导致数据丢失和空缺。针对这些缺失值的处理方法，主要是基于变量的分布特性和变量的重要性采用不同的方法。主要分为以下几种：

删除变量：若变量的缺失率较高(大于80%)，覆盖率较低，且重要性较低，可以直接将变量删除;

统计量填充：若缺失率较低(小于95%)且重要性较低，则根据数据分布的情况用基本统计量填充(大值、小值、均值、中位数、众数)进行填充;

插值法填充：包括随机插值、多重差补法、热平台插补、拉格朗日插值、牛顿插值等;

模型填充：使用回归、贝叶斯、随机森林、决策树等模型对缺失数据进行预测;

哑变量(虚拟变量)填充：若变量是离散型，且不同值较少，可转换成哑变量(通常取值0或1);

总结来看，常用的做法是：先用Python中的pandas.isnull.sum()检测出变量的缺失比例，考虑删除或者填充，若需要填充的变量是连续型，一般采用均值法和随机差值进行填充，若变量是离散型，通常采用中位数或哑变量进行填充。

2.噪声处理

噪声(noise)是被测量变量的随机误差或方差，是观测点和真实点之间的误差。

通常的处理办法：

分箱法：对数据进行分箱操作，等频或等宽分箱，然后用每个箱的平均数，中位数或者边界值(不同数据分布，处理方法不同)代替箱中所有的数，起到平滑数据的作用;

回归法：建立该变量和预测变量的回归模型，根据回归系数和预测变量，反解出自变量的近似值。

3.离群点处理

异常值(离群点)是数据分布的常态，处于特定分布区域或范围之外的数据通常被定义为异常或噪声。异常分为两种：“伪异常”，由于特定的业务运营动作产生，是正常反应业务的状态，而不是数据本身的异常;“真异常”，不是由于特定的业务运营动作产生，而是数据本身分布异常，即离群点。主要有以下检测离群点的方法：

简单统计分析：根据箱线图、各分位点判断是否存在异常，例如Python中pandas的describe函数可以快速发现异常值。

基于绝对离差中位数(MAD)：这是一种稳健对抗离群数据的距离值方法，采用计算各观测值与平均值的距离总和的方法。放大了离群值的影响。

基于距离：通过定义对象之间的临近性度量，根据距离判断异常对象是否远离其他对象，缺点是计算复杂度较高，不适用于大数据集和存在不同密度区域的数据集

基于密度：离群点的局部密度显著低于大部分近邻点，适用于非均匀的数据集

基于聚类：利用聚类算法，丢弃远离其他簇的小簇。

4.不一致数据处理

实际数据生产过程中，由于一些人为因素或者其他原因，记录的数据可能存在不一致的情况，需要对这些不一致数据在分析前需要进行清理。例如，数据输入时的错误可通过和原始记录对比进行更正，知识工程工具也可以用来检测违反规则的数据。

数据清洗是一项繁重的任务，需要根据数据的准确性、完整性、一致性、时效性、可信性和解释性来考察数据，从而得到标准的、干净的、连续的数据。

【免责声明】本文系本网编辑部分转载，转载目的在于传递更多信息，并不代表本网赞同其观点和对其真实性负责。如涉及作品内容、版权和其它问题，请在30日内与管理员联系，我们会予以更改或删除相关文章，以保证您的权益!更多内容请加danei456学习了解。欢迎关注“达内在线”参与分销，赚更多好礼。