Press "Enter" to skip to content

干货!用Python进行数据清洗方式,这几种都很常见!

 

大家好~我是小刀!

 

在数据分析中,数据清洗是一个必备阶段。数据分析所使用的数据一般都很庞大,致使数据不可避免的出现重复、缺失、格式错误等异常数据,如果忽视这些异常数据,可能导致分析结果的准确性。

 

用以下数据为例,进行讲解数据清洗常用方式:

 

 

下面的操作只做示例,具体数据的清洗方式要根据数据特性进行选择!

 

重复值处理

 

重复值处理,一般采用直接删除重复值的方式。在pandas中,可以用duplicated函数进行查看和drop_duplicates函数删除重复数据。

 

如下所示,可以通过duplicated函数查看重复的数据:

 

 

需要删除重复值时,可直接用drop_duplicates函数完成:

 

 

缺失值处理

 

缺失值与重复值一样,都是数据中比较常见的问题,必须进行处理才能进行下一步分析,保证分析的准确性。缺失值在数据中一般用NaN表示,在处理缺失值时,一般采用删除和填补方式进行处理。但在实际中,缺失值的处理是一件非常困难的事情,删除和填补方式都无法解决,最后只能留着。

 

在pandas中,其有多种方式查看和处理缺失值的方法。

 

查看缺失值

 

最为基础的可以通过isnull和notnul,或者info函数来实现。

 

用info函数可以很清楚的知道每一列的缺失值情况,进而做出判断处理:

 

 

isnull函数为判断序列元素是否为缺失,notnul函数判断序列元素是否不为缺失,二者在本质上是一样的。而二者在数据量庞大时,效果很差。所以一般不会单独使用,而是配合其它方法进行使用。

 

 

查看某列缺失值所在的行:

 

 

isnull函数配合sum函数计算每列缺失值的个数:

 

 

在多数查看缺失值中,经常会采用计算缺失值在列中占比的方式,判断缺失对数据具有多大的影响,从而选择是删除数据还是填补数据。计算占比可使用以下方式:

 

df.apply(lambda x: x.isnull().sum()/x.size)

 

x.size为各个数据列总行数:

 

 

缺失值删除

 

删除缺失值的情形,一般是在不会影响分析结果、造成的影响无伤大雅,或者难以填补的时候采用。

 

在pandas中,可以直接用dropna函数进行删除所有含有缺失值的行,或者选择性删除含有缺失值到的行:

 

 

缺失值填补

 

在无法直接删除缺失值时,或者包含缺失值的行具有很多而无法选择性删除时,填补是最佳的选择,但填补的方式要根据数据来选择,否则填补的数据依然会影响分析的准确性。

 

在pandas中,可以使用fillna函数完成对缺失值的填补,例如对表中的体重列进行填补,填补方法为中位数:

 

 

或者用平均值填补:

 

 

也可以用pandas中的ffill函数对缺失值进行前向填补,但在前向填补时需要注意各个列数据的情况:

 

 

但可以看到,体重列的第一行未填补完成,而pandas中提供了bfill函数进行后向填补:

 

 

数据类型转换

 

数据类型关乎后面的数据处理和数据可视化,不同的数据类型处理和进行可视化的用法都不一样,因此,事先把数据的类型转换好,利于后面的相关步骤。

 

在pandas中,可以用info和dtypes方法进行查看数据类型:

 

 

常用的数据类型包括str(字符型)、float(浮点型)和int(整型)。当某列数据的类型出现错误时,可通过astype函数进行强制转换数据类型。例如下面通过astype函数对数值型列转换为字符型:

 

 

文本处理

 

在数据中,文本在某种程度上可以说是最‘脏’的数据,不管在录入的数据,还是爬取的数据,总会出现各种各样的‘脏’数据,处理难度非常高。在处理中,主要是切分字符串、值替换。

 

pandas提供了df.str.split.str()方法对字符串的切割,以下通过此方法获得地级市名称:

 

 

对于一些多数词,可以通过df.str.replace()方法进行增加、替换或者删除:

 

 

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注