本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.
本文给大家介绍数据分析中一个基础也是比较核心关键的环节——数据预处理，这是我们在做数据分析时候的最重要的前提，如果这步要是处理的很好的话，在后期的数据分析的环节中会很顺畅的，并且分析出来的结论也是很准确的。因此这个环节至关重要的。
数据预处理其实严格的说是在数据分析之前的一个环节，当我们从数据库或者其他途径获取到数据之后，接下来的环节不是马上对数据进行数据分析的。因为总有一些数据不是完整的或者不是我们业务所需要的，这写不需要的数据就是我们经常提到的“脏数据”。这个时候，我们就需要在做数据分析之前对数据进行相应的预处理，即把这些“脏数据”做一定的处理。首先我们介绍的是数据的无量钢化。
一、数据无量钢化
在机器学习算法的实践中，我们往往有着将不同规格的数据规格转换到同一规格，或不同分布的数据转换到某个特定分布的需求，这种需求就是我们经常提到的将数据进行“无量钢化”。正如梯度和矩阵为核心的算法中，对于逻辑回归(Logistic Regression，LR)、支持向量机(Support Vector Machine, SVM)、神经网络(Neural Networks, NN)，无量钢化可以加快求解速度；而在距离类模型，比如K近邻，k-Means聚类中，无量钢化可以帮助我们提升模型精度，避免某一个取值范围特别大的特征对距离计算造成的影响。这里有一个使用无量钢化处理特别成熟的领域——在决策树和树的集成算法们，对决策树我们不需要无量钢化，决策树可以把任意数据处理的都很好的。
数据的无量钢化可以是线性的，也可以是非线性的。线性的无量钢化包括中心化(Zero-centered或者Mean-subtraction)处理和缩放处理(Scale)。其实中心化的本质就是让所有的记录减去一个固定好的值，即让数据样本数据平移到某个位置。缩放的本质是通过除以一个固定值，将数据固定在某个范围之中，取对数也算是一种缩放处理。
1、数据归一化
当数据(x)按照最小值中心化后，再按极差(最大值-最小值)缩放，数据就移动了最小值个单位，并且会被收敛到[0-1]之间，而这个过程我们就叫做数据归一化(Normalization，又称Min-Max Scaling)。这里需要我们注意的是： Normalization是归一化并不是正则化，其实真正的正则化是regularization。 不是数据预处理的一种手段。具体的数据归一化公式如下：
我们通过代码来事项数据的简单归一化，具体实现如下：
import numpy as np import pandas as pd data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]] x = np.array(data) print(x) # 实现numpy来实现归一化 x_nor = (x - x.min(axis=0)) / (x.max(axis=0) - x.min(axis=0)) print(x_nor) # 逆转归一化 x_returned = x_nor * (x.max(axis=0) - x.min(axis=0)) + x.min(axis= 0) print(x_returned) # 使用pandas来实现归一化 x_pandas = pd.DataFrame() # 使⽤pandas来实现归⼀化 x_normor = (x - x.min()) / (x.max() - x.min()) print(x_normor) #逆转归⼀化 x_adverse = x_normor * (x.max() - x.min()) + x.min() print(x_adverse)
具体的执行结果如下：
在sklearn工具中，我们使用 preprocessing.MinMaxScaler 来是现在这个功能。 MinMaxScaler 有一个重要的参数， feature_range ——控制我们希望把数据压缩到一定的范围，其中默认是[0,1]。具体实现如下：
from sklearn.preprocessing import MinMaxScaler data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]] #实现归⼀化 scaler = MinMaxScaler() # 实例化 scaler = scaler.fit(data) #fit，在这⾥本质是⽣成min(x)和max(x) result = scaler.transform(data) #通过接⼝导出结果 print(result) result_ = scaler.fit_transform(data) #训练和导出结果⼀步达成 scaler.inverse_transform(result) #将归⼀化后的结果逆转 #使⽤MinMaxScaler的参数feature_range实现将数据归⼀化到[0,1]以外的范围中 scaler_1 = MinMaxScaler(feature_range=[5,10]) #依然实例化 result_1 = scaler.fit_transform(data) #fit_transform⼀步导出结果 print(result_1)
具体代码的执行结果如下：
2、数据标准化
当数据(x)按均值(μ)中心化后，再按标准差(δ)缩放，数据就变成满足均值为0，方差为1的分布，而这个过程就叫做数据标准化(Standardization，又称Z-score normalization)，具体公式如下：
同样地，我们也可以通过 sklearn 中 preprocessing.StandardScaler模块 可以实现这一功能。具体实现如下：
from sklearn.preprocessing import StandardScaler data = [[-1, 2], [-0.5, 6], [0, 10], [1, 18]] scaler = StandardScaler() #实例化 print(scaler.fit(data)) #fit，本质是⽣成均值和⽅差 print(scaler.mean_) #查看均值的属性mean_ print(scaler.var_) #查看⽅差的属性var_ x_std = scaler.transform(data) #通过接⼝导出结果 print(x_std.mean()) #导出的结果是⼀个数组，⽤mean()查看均值 print(x_std.std()) #⽤std()查看⽅差 print(scaler.fit_transform(data)) # 使⽤fit_transform(data)⼀步达成结果 print(scaler.inverse_transform(x_std)) #使⽤inverse_transform逆转标准化
具体执行结果如下：
我们刚才介绍的是通过 sklearn 中 preprocessing.StandardScaler模块 实现了数据的归一化以及标准化。但是对于 StandardScaler 和 MinMaxScaler 来说， 空值NaN 会被当做是缺失值，在fit的时候忽略。在transform的时候保持缺失NaN的状态显示。并且，尽管去量纲化过程不是具体的算法，但在fit接口中，依然只允许导入至少二维数组，一维数组导入会报错。通常来说，我们输入的X会是我们的特征矩阵，但是在现实案例中特征矩阵不太可能是⼀维所以不会存在这个问题。
我们刚才在进行代码实现的时候，我们同时引用了sklearn中的 StandardScaler 和 MinMaxScaler ，那幺这两个我们一般在解决实际问题的时候应该如何选择呢？其实这需要看情况的，具体问题其实需要具体分析的。大多数机器学习算法中，会选择 StandardScaler 来进行特征缩放，因为 MinMaxScaler 对异常，值非常敏感。在PCA，聚类，逻辑回归，支持向量机，神经网络这些算法中，StandardScaler往往是最好的选择。MinMaxScaler在不涉及距离度量、梯度、协方差计算以及数据需要被压缩到特定区间时使用广泛，比如，数字图像处理中量化像素强度时，都会使用 MinMaxScaler 将数据压缩于[0,1]区间之中。这个时候建议先试试看StandardScaler，效果不好换MinMaxScaler。
除了 StandardScaler 和 MinMaxScaler 之外， sklearn 中也提供了各种其他缩放处理（中心化只需要一个pandas广播一下减去某个数就好了，因此 sklearn 不提供任何中心化功能）。比如，在希望压缩数据，却不影响数据的稀疏性时（不影响矩阵中取值为0的个数时），我们会使用 MaxAbsScaler ；在异常值多，噪声非常大时，我们可能会选择分位数来无量纲化，此时使用 RobustScaler 。
二、缺失值处理
机器学习和数据挖掘中所使用的数据，永远不可能是完美的。很多特征，对于分析和建模来说意义非凡，但对于实际收集数据的人却不是如此，因此数据挖掘之中，常常会有重要的字段缺失值很多，但是不能舍弃字段的情况。因此，数据预处理中非常重要的一项就是处理缺失值。
我们通过 pandas 来实现这一缺失值的处理，再实现之前，我们首先创建一个名为 Narrativedata.csv 的数据文件，具体内容如下：
为了方便大家练习， 大家也需要在自己电脑上创建这幺一个名字一样的文件，数据可以随便造，但是标题一定要一模一样，否则会报错的 。将创建好的文件放到我们代码同一级目录，本人放置的位置如下：
都准备好数据和文件的前提下，我们接着去实现相应的代码，具体实现如下：
import pandas as pd
data = pd.read_csv("Narrativedata.csv")
print(data.head())
具体执行的结果如下：
在这里，我们需要解释一下数据的来源，该数据是从一个特别经典的《泰坦尼克号》提取出来的数据，这个数据有三个特征，一个数值型，两个字符型，标签也是字符型。（数据说明：Embarked指乘客登船港⼝，S是英国的Southampton，C是法国的Cherbourg，Q是爱尔兰的Queens town）从这里开始，我们就使用这个数据给大家作为例子，让大家慢慢熟悉sklearn中数据预处理的各种方式。
首先就是 impute.SimpleImputer ，具体源码是这样的：
class sklearn.impute.SimpleImputer (missing_values=nan, strategy=’mean’, fill_value=None, verbose=0, copy=True)
这个类是专门用来填补缺失值的。它包括四个重要参数，具体详情如下：
我们通过代码具体实现如何使用这些方法的，具体实现如下：
import pandas as pd
from sklearn.impute import SimpleImputer
data = pd.read_csv("Narrativedata.csv")
print(data.info())
#查看缺失值
print(data.isnull().sum())
#填补年龄
Age = data.loc[:,"Age"].values.reshape(-1,1) #sklearn当中特征矩阵必须是⼆维
print(Age[:20])
imp_mean = SimpleImputer() #实例化，默认均值填补
imp_median = SimpleImputer(strategy="median") #⽤中位数填补
imp_0 = SimpleImputer(strategy="constant",fill_value=0) #⽤0填补
#fit_transform⼀步完成调取结果
imp_mean = imp_mean.fit_transform(Age)
imp_median = imp_median.fit_transform(Age)
imp_0 = imp_0.fit_transform(Age)
print(imp_mean[:20])
print(imp_median[:20])
print(imp_0[:20])
#在这⾥我们使⽤中位数填补Age
data.loc[:,"Age"] = imp_median
print(data.info())
#使⽤众数填补Embarked
Embarked = data.loc[:,"Embarked"].values.reshape(-1,1)
imp_mode = SimpleImputer(strategy = "most_frequent")
data.loc[:,"Embarked"] = imp_mode.fit_transform(Embarked)
print(data.info())
具体执行的结果如下：
我们再通过Pandas和Numpy来进行实现这个功能，具体实现如下：
import pandas as pd
data = pd.read_csv("Narrativedata.csv")
print(data.head())
data.loc[:,"Age"] = data.loc[:,"Age"].fillna(data.loc[:,"Age"].median())
#.fillna 在DataFrame⾥⾯直接进⾏填补
print(data.dropna(axis=0,inplace=True))
具体执行的结果如下：
三、处理分类型特征：编码与哑变量
在机器学习中，大多数算法，比如k近邻算法，逻辑回归，支持向量机SVM等都只能够处理数值型数据，不能处理文字，在sklearn当中，除了专用来处理文字的算法，其他算法在fit的时候全部要求输⼊数组或矩阵，也不能够导导入字型数据（其实手写决策树和朴素贝叶斯可以处理文字，但是sklearn中规定必须导入数值型）。
然而在现实中，许多标签和特征在数据收集完毕的时候，都不是以数字来表现的。比如说，学历的取值可以是[“小学”，“初中”，“高中”，”大学”]，付费方式可能包含[“支付宝”，“现金”，“微信”]等等。在这种情况下，为了让数据适应算法和库，我们必须将数据进行编码，即是说，将文字型数据转换为数值型。
在 skleran 中， preprocessing.LabelEncoder 是标签专用，能够将分类转换为分类数值。具体实现如下：
import pandas as pd
from sklearn.preprocessing import LabelEncoder
data = pd.read_csv("Narrativedata.csv")
y = data.iloc[:,-1] #要输⼊的是标签，不是特征矩阵，所以允许⼀维
le = LabelEncoder() #实例化
le = le.fit(y) #导⼊数据
label = le.transform(y) #transform接⼝调取结果
data.iloc[:,-1] = label #让标签等于我们运⾏出来的结果
print(data.head())
#查看相关属性
print(le.classes_) #属性.classes_查看标签中究竟有多少类别
print(label) #查看获取的结果label
print(le.fit_transform(y)) #也可以直接fit_transform⼀步到位
print(le.inverse_transform(label)) #使⽤inverse_transform可以逆转
#如果不需要教学展示的话我们一般会这幺写：
data.iloc[:,-1] = LabelEncoder().fit_transform(data.iloc[:,-1])
具体的实现如下：
另外还有一个方法 preprocessing.OrdinalEncoder 特征专用，能够将分类特征转换为分类数值。具体实现代码如下：
import pandas as pd
from sklearn.preprocessing import LabelEncoder
from sklearn.preprocessing import OrdinalEncoder
data = pd.read_csv("Narrativedata.csv")
data_ = data.copy()
data_.iloc[:,1:-1] = OrdinalEncoder().fit_transform(data_.iloc[:,1:-1])
#接⼝categories_对应LabelEncoder的接⼝classes_，⼀模⼀样的功能
OrdinalEncoder().fit(data_.iloc[:,1:-1]).categories_
data_.head()
程序会报有空值的情况，具体执行结果如下：
方法 preprocessing.OrdinalEncoder 特征专用，能够将分类特征转换为分类数值。而 preprocessing.OneHotEncoder 独热编码，创建哑变量。
我们刚才已经用 OrdinalEncoder 把分类变量 Sex 和 Embarked 都转换成数字对应的类别了。在登船港口 Embarked 这一列中，我们使用[0,1,2]代表了三个不同的舱门，然而这种转换是正确的吗？然而我们在思考三种不同性质的分类数据：
登船港口（S，C，Q），三种取值S，C，Q是相互独立的，彼此之间完全没有联系，表达的是S≠C≠Q的概念。这是名义变量。
学历（小学，初中，高中），三种取值不是完全独立的，我们可以明显看出，在性质上可以有高中>初中>小学这样的联系，学历有高低，但是学历取值之间却不是可以计算的，我们不能说小学 + 某个取值 = 初中。这是有序变量。
体重（>45kg，>90kg，>135kg），各个取值之间有联系，且是可以互相计算的，比如120kg – 45kg = 90kg，分类之间可以通过数学计算互相转换。这是有距变量。
然而在对特征进⾏编码的时候，这三种分类数据都会被我们转换为[0,1,2]，这三个数字在算法看来，是连续且可以计算的，这三个数字互不相等，有大小，并且有着可以相加相乘的联系。所以算法会把舱门，学历这样的分类特征，都误会成是体重这样的分类特征。这是说，我们把分类转换成数字的时候，忽略了数字中⾃带的数学性质，所以给算法传达了一些不准确的信息，而这会影响我们的建模。
类别 OrdinalEncoder 可以用来处理有序变量，但对于名义变量，我们只有使用哑变量的方式来处理，才能够尽量向算法传达最准确的信息，具体转换如下：
这样的变化，让算法能够彻底领悟，原来三个取值是没有可计算性质的，是“有你就没有我”的不等概念。在我们的数据中，性别和登船港口，都是这样的名义变量。因此我们需要使用独热编码，将两个特征都转换为哑变量。具体实现如下：
import pandas as pd
from sklearn.preprocessing import OrdinalEncoder
from sklearn.preprocessing import OneHotEncoder
data = pd.read_csv("Narrativedata.csv")
X = data.iloc[:,1:-1] #提取出所有的名义变量
result = OneHotEncoder(categories='auto').fit_transform(X).toarray() #进⾏独热编码
newdata = pd.concat([data,pd.DataFrame(result)],axis=1) #合并原数据和编码后的结果
newdata.drop(["Sex","Embarked"],axis=1,inplace=True) #删除原名义变量
newdata.columns =["Age","Survived","Female","Male","Embarked_C","Embarked_Q","Embarked_S"] #重命名列名
print(newdata)
#实例化并训练模型
enc = OneHotEncoder(categories='auto').fit(X)
#transform接⼝调取结果
re = enc.transform(X).toarray()
print(re)
print(re.shape)
#依然可以还原
print(pd.DataFrame(enc.inverse_transform(re)))
#获取模型特证名
print(enc.get_feature_names())
#合并原数据和独热编码
df = pd.concat([data,pd.DataFrame(re)],axis=1)
#axis=1,表示跨⾏进⾏合并，也就是将量表左右相连，如果是axis=0，就是将量表上下相连
print(df.head())
#删除做过独热编码的特征
print(df.drop(['Embarked','Sex'],axis=1,inplace=True))
print(df.head())
#修改列名
df.columns = ['Age','Survived','Female', 'Male', 'Embarked_C', 'Embarked_Q',
'Embarked_S']
print(df.head())
特征可以做哑变量，标签也可以吗？可以，使用类 sklearn.preprocessing.LabelBinarizer 可以对标签做哑变量，许多算法都可以处理多标签问题（比如说决策树），但是这样的做法在现实中不常用，因此我们在这里就不赘述了。以下是编码与哑编码的相关介绍：
当然数据类型以数据类型以及常用的统计量，具体如下：
四、处理连续型特征：二值化与分段
根据阈值将数据二值化（将特征值设置为0或1），用于处理连续型变量。大于阈值的值映射为1，而小于或等于阈值的值映射为0。默认阈值为0时，特征中所有的正值都映射到1。二值化是对文本计数数据的常用操作，分析人员可以决定仅考虑某种现象的存在与否。它还可以用作考虑布尔随机变量的估计器的预处理步骤（例如，使用贝叶斯设置中的伯努利分布建模）。
import pandas as pd
from sklearn.preprocessing import Binarizer
data = pd.read_csv("Narrativedata.csv")
data_2 = data.copy()
print(data_2)
X = data_2.iloc[:,0].values.reshape(-1,1) #类为特征专⽤，所以不能使⽤⼀维数组
transformer = Binarizer(threshold=30).fit_transform(X)
print(transformer)
preprocessing.KBinsDiscretizer 是将连续型变量划分为分类变量的类，能够将连续型变量排序后按顺序分箱后编码。总共包含三个重要参数，主要含义如下：
具体用法如下：
import pandas as pd
from sklearn.preprocessing import KBinsDiscretizer
data = pd.read_csv("Narrativedata.csv")
X = data.iloc[:,0].values.reshape(-1,1)
est = KBinsDiscretizer(n_bins=3, encode='ordinal', strategy='uniform')
print(est.fit_transform(X))
#查看转换后分的箱：变成了⼀列中的三箱
print(set(est.fit_transform(X).ravel()))
est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='uniform')
#查看转换后分的箱：变成了哑变量
print(est.fit_transform(X).toarray())
est = KBinsDiscretizer(n_bins=3, encode='onehot', strategy='quantile')
#查看转换后分的箱：变成了哑变量,且每个类别数量基本相等
print(est.fit_transform(X).toarray().sum(0))
总结
本文主要给大家介绍了数据分析中最为重要的一步——数据预处理。主要包括数据无量钢化，其中有数据归一化以及数据的标准化。接着又介绍了数据中缺失值的处理以及处理分类型的特征——编码与哑编码、二值化与分段，文中各大方法都通过Python案例加以实现。希望大家认真掌握。
参考文献
[1]. 数据无量钢化
[2]. 数据归一化
[3]. 编码与哑编码
Be First to Comment