Press "Enter" to skip to content

数据分析之数据预处理

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

本文给大家介绍数据分析中一个基础也是比较核心关键的环节——数据预处理,这是我们在做数据分析时候的最重要的前提,如果这步要是处理的很好的话,在后期的数据分析的环节中会很顺畅的,并且分析出来的结论也是很准确的。因此这个环节至关重要的。

 

数据预处理其实严格的说是在数据分析之前的一个环节,当我们从数据库或者其他途径获取到数据之后,接下来的环节不是马上对数据进行数据分析的。因为总有一些数据不是完整的或者不是我们业务所需要的,这写不需要的数据就是我们经常提到的“脏数据”。这个时候,我们就需要在做数据分析之前对数据进行相应的预处理,即把这些“脏数据”做一定的处理。首先我们介绍的是数据的无量钢化。

 

一、数据无量钢化

 

在机器学习算法的实践中,我们往往有着将不同规格的数据规格转换到同一规格,或不同分布的数据转换到某个特定分布的需求,这种需求就是我们经常提到的将数据进行“无量钢化”。正如梯度和矩阵为核心的算法中,对于逻辑回归(Logistic Regression,LR)、支持向量机(Support Vector Machine, SVM)、神经网络(Neural Networks, NN),无量钢化可以加快求解速度;而在距离类模型,比如K近邻,k-Means聚类中,无量钢化可以帮助我们提升模型精度,避免某一个取值范围特别大的特征对距离计算造成的影响。这里有一个使用无量钢化处理特别成熟的领域——在决策树和树的集成算法们,对决策树我们不需要无量钢化,决策树可以把任意数据处理的都很好的。

 

数据的无量钢化可以是线性的,也可以是非线性的。线性的无量钢化包括中心化(Zero-centered或者Mean-subtraction)处理和缩放处理(Scale)。其实中心化的本质就是让所有的记录减去一个固定好的值,即让数据样本数据平移到某个位置。缩放的本质是通过除以一个固定值,将数据固定在某个范围之中,取对数也算是一种缩放处理。

 

1、数据归一化

 

当数据(x)按照最小值中心化后,再按极差(最大值-最小值)缩放,数据就移动了最小值个单位,并且会被收敛到[0-1]之间,而这个过程我们就叫做数据归一化(Normalization,又称Min-Max Scaling)。这里需要我们注意的是: Normalization是归一化并不是正则化,其实真正的正则化是regularization。 不是数据预处理的一种手段。具体的数据归一化公式如下:

 

 

我们通过代码来事项数据的简单归一化,具体实现如下:

 

import numpy as np
import pandas as pd
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
x = np.array(data)
print(x)
# 实现numpy来实现归一化
x_nor = (x - x.min(axis=0)) / (x.max(axis=0) - x.min(axis=0))
print(x_nor)
# 逆转归一化
x_returned = x_nor * (x.max(axis=0) - x.min(axis=0)) + x.min(axis= 0)
print(x_returned)
# 使用pandas来实现归一化
x_pandas = pd.DataFrame()
# 使⽤pandas来实现归⼀化
x_normor =  (x - x.min()) / (x.max() - x.min())
print(x_normor)
#逆转归⼀化
x_adverse = x_normor * (x.max() - x.min()) + x.min()
print(x_adverse)

 

具体的执行结果如下:

 

 

在sklearn工具中,我们使用​ ​preprocessing.MinMaxScaler​ ​​来是现在这个功能。​ ​MinMaxScaler​ ​​有一个重要的参数,​ ​feature_range​ ​——控制我们希望把数据压缩到一定的范围,其中默认是[0,1]。具体实现如下:

 

from sklearn.preprocessing import MinMaxScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
#实现归⼀化
scaler = MinMaxScaler()   # 实例化
scaler = scaler.fit(data) #fit,在这⾥本质是⽣成min(x)和max(x)
result = scaler.transform(data) #通过接⼝导出结果
print(result)
result_ = scaler.fit_transform(data) #训练和导出结果⼀步达成
scaler.inverse_transform(result) #将归⼀化后的结果逆转
#使⽤MinMaxScaler的参数feature_range实现将数据归⼀化到[0,1]以外的范围中
scaler_1 = MinMaxScaler(feature_range=[5,10]) #依然实例化
result_1 = scaler.fit_transform(data) #fit_transform⼀步导出结果
print(result_1)

 

具体代码的执行结果如下:

 

 

2、数据标准化

 

当数据(x)按均值(μ)中心化后,再按标准差(δ)缩放,数据就变成满足均值为0,方差为1的分布,而这个过程就叫做数据标准化(Standardization,又称Z-score normalization),具体公式如下:

 

 

同样地,我们也可以通过​ ​sklearn​ ​​中​ ​preprocessing.StandardScaler模块​ ​可以实现这一功能。具体实现如下:

 

from sklearn.preprocessing import StandardScaler
data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]]
scaler = StandardScaler() #实例化
print(scaler.fit(data)) #fit,本质是⽣成均值和⽅差
print(scaler.mean_) #查看均值的属性mean_
print(scaler.var_) #查看⽅差的属性var_
x_std = scaler.transform(data) #通过接⼝导出结果
print(x_std.mean()) #导出的结果是⼀个数组,⽤mean()查看均值
print(x_std.std()) #⽤std()查看⽅差
print(scaler.fit_transform(data)) # 使⽤fit_transform(data)⼀步达成结果
print(scaler.inverse_transform(x_std)) #使⽤inverse_transform逆转标准化

 

具体执行结果如下:

 

 

我们刚才介绍的是通过​ ​sklearn​ ​​中​ ​preprocessing.StandardScaler模块​ ​​实现了数据的归一化以及标准化。但是对于​ ​StandardScaler​ ​​和​ ​MinMaxScaler​ ​​来说,​ ​空值NaN​ ​会被当做是缺失值,在fit的时候忽略。在transform的时候保持缺失NaN的状态显示。并且,尽管去量纲化过程不是具体的算法,但在fit接口中,依然只允许导入至少二维数组,一维数组导入会报错。通常来说,我们输入的X会是我们的特征矩阵,但是在现实案例中特征矩阵不太可能是⼀维所以不会存在这个问题。

 

我们刚才在进行代码实现的时候,我们同时引用了sklearn中的​ ​StandardScaler​ ​​和​ ​MinMaxScaler​ ​​,那幺这两个我们一般在解决实际问题的时候应该如何选择呢?其实这需要看情况的,具体问题其实需要具体分析的。大多数机器学习算法中,会选择​ ​StandardScaler​ ​​来进行特征缩放,因为​ ​MinMaxScaler​ ​​对异常,值非常敏感。在PCA,聚类,逻辑回归,支持向量机,神经网络这些算法中,StandardScaler往往是最好的选择。MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛,比如,数字图像处理中量化像素强度时,都会使用​ ​MinMaxScaler​ ​将数据压缩于[0,1]区间之中。这个时候建议先试试看StandardScaler,效果不好换MinMaxScaler。

 

除了​ ​StandardScaler​ ​​和​ ​MinMaxScaler​ ​​之外,​ ​sklearn​ ​​中也提供了各种其他缩放处理(中心化只需要一个pandas广播一下减去某个数就好了,因此​ ​sklearn​ ​​不提供任何中心化功能)。比如,在希望压缩数据,却不影响数据的稀疏性时(不影响矩阵中取值为0的个数时),我们会使用​ ​MaxAbsScaler​ ​​;在异常值多,噪声非常大时,我们可能会选择分位数来无量纲化,此时使用​ ​RobustScaler​ ​。

 

二、缺失值处理

 

机器学习和数据挖掘中所使用的数据,永远不可能是完美的。很多特征,对于分析和建模来说意义非凡,但对于实际收集数据的人却不是如此,因此数据挖掘之中,常常会有重要的字段缺失值很多,但是不能舍弃字段的情况。因此,数据预处理中非常重要的一项就是处理缺失值。

 

我们通过​ ​pandas​ ​​来实现这一缺失值的处理,再实现之前,我们首先创建一个名为​ ​Narrativedata.csv​ ​的数据文件,具体内容如下:

 

 

为了方便大家练习, 大家也需要在自己电脑上创建这幺一个名字一样的文件,数据可以随便造,但是标题一定要一模一样,否则会报错的 。将创建好的文件放到我们代码同一级目录,本人放置的位置如下:

 

 

都准备好数据和文件的前提下,我们接着去实现相应的代码,具体实现如下:

 

import pandas as pd
data = pd.read_csv("Narrativedata.csv")
print(data.head())

 

具体执行的结果如下:

 

 

在这里,我们需要解释一下数据的来源,该数据是从一个特别经典的《泰坦尼克号》提取出来的数据,这个数据有三个特征,一个数值型,两个字符型,标签也是字符型。(数据说明:Embarked指乘客登船港⼝,S是英国的Southampton,C是法国的Cherbourg,Q是爱尔兰的Queens town)从这里开始,我们就使用这个数据给大家作为例子,让大家慢慢熟悉sklearn中数据预处理的各种方式。

 

首先就是​ ​impute.SimpleImputer​ ​,具体源码是这样的:

 

class sklearn.impute.SimpleImputer (missing_values=nan, strategy=’mean’, fill_value=None,
verbose=0, copy=True)

 

这个类是专门用来填补缺失值的。它包括四个重要参数,具体详情如下:

 

 

我们通过代码具体实现如何使用这些方法的,具体实现如下:

 

import pandas as pd
from sklearn.impute import SimpleImputer
data = pd.read_csv("Narrativedata.csv")
print(data.info())
#查看缺失值
print(data.isnull().sum())
#填补年龄
Age = data.loc[:,"Age"].values.reshape(-1,1) #sklearn当中特征矩阵必须是⼆维
print(Age[:20])
imp_mean = SimpleImputer() #实例化,默认均值填补
imp_median = SimpleImputer(strategy="median") #⽤中位数填补
imp_0 = SimpleImputer(strategy="constant",fill_value=0) #⽤0填补
#fit_transform⼀步完成调取结果
imp_mean = imp_mean.fit_transform(Age)
imp_median = imp_median.fit_transform(Age)
imp_0 = imp_0.fit_transform(Age)
print(imp_mean[:20])
print(imp_median[:20])
print(imp_0[:20])
#在这⾥我们使⽤中位数填补Age
data.loc[:,"Age"] = imp_median
print(data.info())
#使⽤众数填补Embarked
Embarked = data.loc[:,"Embarked"].values.reshape(-1,1)
imp_mode = SimpleImputer(strategy = "most_frequent")
data.loc[:,"Embarked"] = imp_mode.fit_transform(Embarked)
print(data.info())

 

具体执行的结果如下:

 

 

 

我们再通过Pandas和Numpy来进行实现这个功能,具体实现如下:

 

import pandas as pd
data = pd.read_csv("Narrativedata.csv")
print(data.head())
data.loc[:,"Age"] = data.loc[:,"Age"].fillna(data.loc[:,"Age"].median())
#.fillna 在DataFrame⾥⾯直接进⾏填补
print(data.dropna(axis=0,inplace=True))

 

具体执行的结果如下:

 

 

三、处理分类型特征:编码与哑变量

 

在机器学习中,大多数算法,比如k近邻算法,逻辑回归,支持向量机SVM等都只能够处理数值型数据,不能处理文字,在sklearn当中,除了专用来处理文字的算法,其他算法在fit的时候全部要求输⼊数组或矩阵,也不能够导导入字型数据(其实手写决策树和朴素贝叶斯可以处理文字,但是sklearn中规定必须导入数值型)。

 

然而在现实中,许多标签和特征在数据收集完毕的时候,都不是以数字来表现的。比如说,学历的取值可以是[“小学”,“初中”,“高中”,”大学”],付费方式可能包含[“支付宝”,“现金”,“微信”]等等。在这种情况下,为了让数据适应算法和库,我们必须将数据进行编码,即是说,将文字型数据转换为数值型。

 

在​ ​skleran​ ​​中,​ ​preprocessing.LabelEncoder​ ​是标签专用,能够将分类转换为分类数值。具体实现如下:

 

import pandas as pd
from sklearn.preprocessing import LabelEncoder
data = pd.read_csv("Narrativedata.csv")
y = data.iloc[:,-1] #要输⼊的是标签,不是特征矩阵,所以允许⼀维
le = LabelEncoder() #实例化
le = le.fit(y) #导⼊数据
label = le.transform(y) #transform接⼝调取结果
data.iloc[:,-1] = label #让标签等于我们运⾏出来的结果
print(data.head())
#查看相关属性
print(le.classes_) #属性.classes_查看标签中究竟有多少类别
print(label) #查看获取的结果label
print(le.fit_transform(y)) #也可以直接fit_transform⼀步到位
print(le.inverse_transform(label)) #使⽤inverse_transform可以逆转
#如果不需要教学展示的话我们一般会这幺写:
data.iloc[:,-1] = LabelEncoder().fit_transform(data.iloc[:,-1])

 

具体的实现如下:

 

 

 

另外还有一个方法​ ​preprocessing.OrdinalEncoder​ ​特征专用,能够将分类特征转换为分类数值。具体实现代码如下:

 

import pandas as pd
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import OrdinalEncoder
data = pd.read_csv("Narrativedata.csv")
data_ = data.copy()
data_.iloc[:,1:-1] = OrdinalEncoder().fit_transform(data_.iloc[:,1:-1])
#接⼝categories_对应LabelEncoder的接⼝classes_,⼀模⼀样的功能
OrdinalEncoder().fit(data_.iloc[:,1:-1]).categories_
data_.head()

 

程序会报有空值的情况,具体执行结果如下:

 

 

方法​ ​preprocessing.OrdinalEncoder​ ​​特征专用,能够将分类特征转换为分类数值。而​ ​preprocessing.OneHotEncoder​ ​独热编码,创建哑变量。

 

我们刚才已经用​ ​OrdinalEncoder​ ​​把分类变量​ ​Sex​ ​​和​ ​Embarked​ ​​都转换成数字对应的类别了。在登船港口​ ​Embarked​ ​这一列中,我们使用[0,1,2]代表了三个不同的舱门,然而这种转换是正确的吗?然而我们在思考三种不同性质的分类数据:

 

登船港口(S,C,Q),三种取值S,C,Q是相互独立的,彼此之间完全没有联系,表达的是S≠C≠Q的概念。这是名义变量。

 

学历(小学,初中,高中),三种取值不是完全独立的,我们可以明显看出,在性质上可以有高中>初中>小学这样的联系,学历有高低,但是学历取值之间却不是可以计算的,我们不能说小学 + 某个取值 = 初中。这是有序变量。

 

体重(>45kg,>90kg,>135kg),各个取值之间有联系,且是可以互相计算的,比如120kg – 45kg = 90kg,分类之间可以通过数学计算互相转换。这是有距变量。

 

然而在对特征进⾏编码的时候,这三种分类数据都会被我们转换为[0,1,2],这三个数字在算法看来,是连续且可以计算的,这三个数字互不相等,有大小,并且有着可以相加相乘的联系。所以算法会把舱门,学历这样的分类特征,都误会成是体重这样的分类特征。这是说,我们把分类转换成数字的时候,忽略了数字中⾃带的数学性质,所以给算法传达了一些不准确的信息,而这会影响我们的建模。

 

类别​ ​OrdinalEncoder​ ​可以用来处理有序变量,但对于名义变量,我们只有使用哑变量的方式来处理,才能够尽量向算法传达最准确的信息,具体转换如下:

 

 

这样的变化,让算法能够彻底领悟,原来三个取值是没有可计算性质的,是“有你就没有我”的不等概念。在我们的数据中,性别和登船港口,都是这样的名义变量。因此我们需要使用独热编码,将两个特征都转换为哑变量。具体实现如下:

 

import pandas as pd
from sklearn.preprocessing import OrdinalEncoder
from sklearn.preprocessing import OneHotEncoder
data = pd.read_csv("Narrativedata.csv")
X = data.iloc[:,1:-1] #提取出所有的名义变量
result = OneHotEncoder(categories='auto').fit_transform(X).toarray() #进⾏独热编码
newdata = pd.concat([data,pd.DataFrame(result)],axis=1) #合并原数据和编码后的结果
newdata.drop(["Sex","Embarked"],axis=1,inplace=True) #删除原名义变量
newdata.columns =["Age","Survived","Female","Male","Embarked_C","Embarked_Q","Embarked_S"] #重命名列名
print(newdata)
#实例化并训练模型
enc = OneHotEncoder(categories='auto').fit(X)
#transform接⼝调取结果
re = enc.transform(X).toarray()
print(re)
print(re.shape)
#依然可以还原
print(pd.DataFrame(enc.inverse_transform(re)))
#获取模型特证名
print(enc.get_feature_names())
#合并原数据和独热编码
df = pd.concat([data,pd.DataFrame(re)],axis=1)
#axis=1,表示跨⾏进⾏合并,也就是将量表左右相连,如果是axis=0,就是将量表上下相连
print(df.head())
#删除做过独热编码的特征
print(df.drop(['Embarked','Sex'],axis=1,inplace=True))
print(df.head())
#修改列名
df.columns = ['Age','Survived','Female', 'Male', 'Embarked_C', 'Embarked_Q',
'Embarked_S']
print(df.head())

 

特征可以做哑变量,标签也可以吗?可以,使用类​ ​sklearn.preprocessing.LabelBinarizer​ ​可以对标签做哑变量,许多算法都可以处理多标签问题(比如说决策树),但是这样的做法在现实中不常用,因此我们在这里就不赘述了。以下是编码与哑编码的相关介绍:

 

 

当然数据类型以数据类型以及常用的统计量,具体如下:

 

 

四、处理连续型特征:二值化与分段

 

根据阈值将数据二值化(将特征值设置为0或1),用于处理连续型变量。大于阈值的值映射为1,而小于或等于阈值的值映射为0。默认阈值为0时,特征中所有的正值都映射到1。二值化是对文本计数数据的常用操作,分析人员可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤(例如,使用贝叶斯设置中的伯努利分布建模)。

 

import pandas as pd
from sklearn.preprocessing import Binarizer
data = pd.read_csv("Narrativedata.csv")
data_2 = data.copy()
print(data_2)
X = data_2.iloc[:,0].values.reshape(-1,1) #类为特征专⽤,所以不能使⽤⼀维数组
transformer = Binarizer(threshold=30).fit_transform(X)
print(transformer)

 

​preprocessing.KBinsDiscretizer​ ​是将连续型变量划分为分类变量的类,能够将连续型变量排序后按顺序分箱后编码。总共包含三个重要参数,主要含义如下:

 

 

具体用法如下:

 

import pandas as pd
from sklearn.preprocessing import KBinsDiscretizer
data = pd.read_csv("Narrativedata.csv")
X = data.iloc[:,0].values.reshape(-1,1)
est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform')
print(est.fit_transform(X))
#查看转换后分的箱:变成了⼀列中的三箱
print(set(est.fit_transform(X).ravel()))
est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='uniform')
#查看转换后分的箱:变成了哑变量
print(est.fit_transform(X).toarray())
est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='quantile')
#查看转换后分的箱:变成了哑变量,且每个类别数量基本相等
print(est.fit_transform(X).toarray().sum(0))

 

总结

 

本文主要给大家介绍了数据分析中最为重要的一步——数据预处理。主要包括数据无量钢化,其中有数据归一化以及数据的标准化。接着又介绍了数据中缺失值的处理以及处理分类型的特征——编码与哑编码、二值化与分段,文中各大方法都通过Python案例加以实现。希望大家认真掌握。

 

参考文献

 

[1]. ​ ​数据无量钢化​

 

[2]. ​ ​数据归一化​

 

[3]. ​ ​编码与哑编码​

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。