Press "Enter" to skip to content

Pandas高级数据分析快速入门之六——机器学习预测分析篇

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

 

0. 训练集、测试集

 

标注客户交易特征数据集[4] ,经过流失标注(流失为1,不流失为0),拆分为训练集、测试集两部分,训练集用于建立模型,测试集评估模型的预测等能力。

 

如何拆分训练集和测试集?

 

train_test_split()函数是用来随机划分样本数据为训练集和测试集的,是从样本中随机的按比例选取train_data和test_target。

 

优点:随机客观的划分数据,减少人为因素

 

完整模板:

 

x_train,x_test, y_train, y_test = train_test_split(train_data,train_target,test_size=0.3,random_state=5)

 

参数解释:

train_data:待划分样本数据
train_target:待划分样本数据的结果(标签)
test_size:测试数据占样本数据的比例,若整数则样本数量
random_state:设置随机数种子,保证每次都是同一个随机数。若为0或不填,则每次得到数据都不一样

import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
import xgboost as xgb
from xgboost import plot_importance
import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score,precision_score
from sklearn.metrics import recall_score
from sklearn.metrics import roc_auc_score

 

把数据集拆分为训练集和测试集。

 

Columns_Name = ['flag','carduser_id','balance','balancerate',...]
df = pd.read_csv('train0605.csv')
cols = Columns_Name.copy()
cols.remove('carduser_id')
df = df[cols]
# 构建数据集
flag_col = 'flag'
X = df.drop([flag_col],axis=1)
Y = df[[flag_col]]
# 2、拆分训练数据与测试数据,为了进行交叉验证        
x_train,x_test, y_train, y_test = train_test_split(X,Y,test_size=0.3)

 

1. XGBoost分类模型训练

 

XGBoost号称“比赛夺冠的必备大杀器”,横扫机器学习Kaggle、天池、DataCastle、Kesci等国内外数据竞赛罕逢敌手,堪称机器学习算法中的王者,业界使用者众多!

 

在涉及非结构化数据(图像、文本等)的预测问题中,人工神经网络显着优于所有其他算法或框架。但当涉及到中小型结构/表格数据时,基于决策树的算法现在被认为是最佳方法。而基于决策树算法中最惊艳的,非XGBoost莫属了。

 

XGBoost最初由陈天奇开发。陈天奇是华盛顿大学计算机系博士生,研究方向为大规模机器学习。他曾获得KDD CUP 2012 Track 1第一名,并开发了SVDFeature,XGBoost,cxxnet等着名机器学习工具,是Distributed (Deep) Machine Learning Common的发起人之一。

 

1.1. 输入数据集

 

XGBoost中使用的数据矩阵DMatrix。

 

DMatrix是XGBoost使用的一种内部数据结构,它针对内存效率和训练速度进行了优化。您可以从多个不同的数据源构造DMatrix。

 

xgboost.DMatrix(data,label=None,*,weight=None…)

 

参数:

 

data(os.PathLike/string/numpy.array/scipy.sparse/pd.DataFrame/)–DMatrix的数据源。xgboost可以读取的二进制文件。

 

label – 训练数据的标签。

 

dtrain = xgb.DMatrix(x_train, label=y_train)
dtest = xgb.DMatrix(x_test,label=y_test)

 

1.2. 超参数设置

 

学习任务参数objective

 

objective [默认= reg:squarederror]

multi:softmax:设置XGBoost以使用softmax目标进行多类分类,还需要设置num_class(类数)
multi:softprob:与softmax相同,但输出向量,可以进一步将其整形为矩阵。结果包含属于每个类别的每个数据点的预测概率。ndata * nclass

验证数据的评估指标eval_metric [根据目标默认]

mlogloss:多分类的logloss
merror:多类分类错误率。计算公式为。#(wrong cases)/#(all cases)

Tree Booster参数

eta[默认= 0.3,别名:learning_rate]
在更新中使用步长收缩以防止过度拟合。在每个增强步骤之后,我们都可以直接获得新特征的权重,并eta缩小特征权重以使增强过程更加保守。范围:[0,1]
gamma[默认= 0,别名:min_split_loss]
在树的叶节点上进行进一步分区所需的最小损失减少。越大gamma,算法将越保守。范围:[0,∞]
max_depth [默认= 6]
一棵树的最大深度。增加此值将使模型更复杂,并且更可能过度拟合。仅lossguided当tree_method设置为hist且表示深度没有限制时,才在增长策略中接受0 。注意,训练一棵深树时,XGBoost会大量消耗内存。范围:[0,∞](仅lossguided当tree_method设置为时,增长策略才接受0 hist)
min_child_weight [默认值= 1]
子级中实例重量的最小总和(hessian)。如果树划分步骤导致叶节点的实例权重之和小于min_child_weight,则构建过程将放弃进一步的划分。在线性回归任务中,这仅对应于每个节点中需要的最少实例数。越大min_child_weight,算法将越保守。范围:[0,∞]

实际案例代码如下:

 

params ={
 'learning_rate': 0.1,
  'max_depth': 10,                # 构建树的深度,越大越容易过拟合
  'num_boost_round':2000,
  'gamma': 0.1,                  # 用于控制是否后剪枝的参数,越大越保守,一般0.1、0.2这样子。
  'objective': 'multi:softprob', # 多分类的问题
  'random_state': 1,
  'silent':0,
  'subsample':0.8,               # 用于训练模型的子样本占整个样本集合的比例
  'min_child_weight':3,          # [0,无穷],越大越趋于保守,有利于防止过拟合
  'num_class':2,                 # 类别数,与 multisoftmax 并用
  'colsample_bytree':0.9,        # 特征比例
  'seed':3,
  'eval_metric':['mlogloss','merror'] #,'auc'],   # 多分类情况
}

 

1.3. 模型训练

 

watchlist = [(dtrain,'train'),(dtest,'eval')]
evals_result = {
 }
best_nround = 200
model = xgb.train(params,dtrain,num_boost_round=best_nround,evals = watchlist,evals_result=evals_result)

 

(1)学习过程监控

 

训练过程监控输出,使用watchlist(list数据类型)不会影响模型训练。

 

[0]train-mlogloss:0.62928train-merror:0.10594eval-mlogloss:0.63007eval-merror:0.11204
[1]train-mlogloss:0.57597train-merror:0.09733eval-mlogloss:0.57752eval-merror:0.10408
[2]train-mlogloss:0.53121train-merror:0.09527eval-mlogloss:0.53324eval-merror:0.10269
[3]train-mlogloss:0.49237train-merror:0.09376eval-mlogloss:0.49516eval-merror:0.10094
[4]train-mlogloss:0.45872train-merror:0.09190eval-mlogloss:0.46240eval-merror:0.09932
[5]train-mlogloss:0.43001train-merror:0.09100eval-mlogloss:0.43436eval-merror:0.09835

 

(2)可视化输出学习过程,损失、错误率变换情况:

import matplotlib.pyplot as plt
from sklearn.metrics import accuracy_score,precision_score
from sklearn.metrics import recall_score
from sklearn.metrics import roc_auc_score
print('绘制训练AUC下降趋势图')
#验证数据评估指标,与param参数,'eval_metric':['logloss','error','auc']相关
#验证包括训练和验证两个部分(train、eval),如上所示3个参数,则是6组数据
plt.figure(111)
plt.rcParams['font.family']='sans-serif'        
plt.rcParams['font.sans-serif']=['KaiTi'] #显示中文
plt.rcParams['axes.unicode_minus']=False 
plt.grid()      
plt.plot(evals_result['train']['mlogloss'],label = '训练集-损失',color='green')
plt.plot(evals_result['train']['merror'],label = '训练集-错误率',color='blue')
plt.plot(evals_result['eval']['mlogloss'],label = '评估集-损失',color='deeppink')
plt.plot(evals_result['eval']['merror'],label = '评估集-错误率',color='red')        
plt.xlabel('训练次数')
# 显示图例
plt.legend()

 

(4)输出预测结果

 

y_pred=model.predict(xgb.DMatrix(x_test))       
yprob = np.argmax(y_pred, axis=1)  # return the index of the biggest pro
predictions = [value for value in yprob]       # 用于多分类
# 计算准确率
accuracy = accuracy_score(y_test, predictions)
print("Accuracy: %.2f%%" % (accuracy * 100.0))
print(params)

 

Accuracy: 96.12%
{'learning_rate': 0.1, 'max_depth': 10, 'num_boost_round': 2000, 'gamma': 0.1, 'objective': 'multi:softprob', 'random_state': 1, 'silent': 0, 'subsample': 0.8, 'min_child_weight': 3, 'num_class': 2, 'colsample_bytree': 0.9, 'seed': 3, 'eval_metric': ['mlogloss', 'merror']}
绘制训练AUC下降趋势图

 

1.4. 模型持久化

 

训练结束时保存为模型文件。

 

test = False
Model_Filename = 'XGboost0605.model'
if test==False:
    model.save_model(Model_Filename)

 

2. 预测结果分析

 

2.1. 重要特征

 

完成模型训练,给出特征重要分值,如下图所示显示特征重要程度图(截取部分)。

XGBoost的特征重要性是如何得到的?某个特征的重要性(feature score),等于它被选中为树节点分裂特征的次数的和,比如特征“daysnum”在第一次迭代中(即第一棵树)被选中了1次去分裂树节点,在第二次迭代被选中2次……那幺最终特征“daysnum”的feature score就是 1+2+….。

 

# 显示重要特征
fig,ax = plt.subplots(figsize=(15,15))
plt.rcParams['font.sans-serif']=['KaiTi'] #显示中文
plt.rcParams['font.family']='sans-serif'
plt.rcParams['axes.unicode_minus']=False
plot_importance(model, ax=ax, height=0.5, title='特征重要程度', xlabel='特征值', ylabel='特征')
plt.subplots_adjust(left=0.4)

 

2.2. 模型评估

 

基于机器学习的混淆矩阵,以及常用的准确率、精准率、召回率、F1分数、ROC与AUC曲线等做为此二分类问题模型的评价指标。

 

ROC与AUC曲线如图所示。

模型评估工具,使用sklearn的metrics,metrics包含了许多模型评估指标括:分类、回归、聚类等模型评估工具。

 

由于此部分通用性较强,封装成类Multi_class_evaluation便于使用,详情参考博文[1]。

 

import Multi_class_evaluation
Mce = Multi_class_evaluation.Multi_class_evaluation(y_test,y_pred,n_class=2,flag='flag') #多分类方式
def get_one_hot(y_pred):
    y_pred = np.round(y_pred)
    y_pred2 = []
    for v in y_pred:
        v = int(v)
        tmp = np.zeros(2,dtype=np.int)
        tmp[v] = tmp[v] + 1
        y_pred2.append(tmp)
    y_pred2 = np.array(y_pred2)
    return y_pred2
Mce.calculation_ROC_AUC()
Mce.draw_ROC()
y,  y_ =Mce.y, Mce.y_pred
precision = precision_score(y_test.values, np.array(predictions),average='macro')       
print('precision Score: %.2f%%' % (precision*100.0))  
recall = recall_score(y_test.values, np.array(predictions),average='macro')       
print('Recall Score: %.2f%%' % (recall*100.0))
auc = roc_auc_score(y,  y_ ,multi_class='ovo',average='macro')
print('Roc Auc Score: %.2f%%' % (auc*100.0))

 

3. XGBoost分类持久化模型应用

 

通过xgb.Booster()加载持久化模型文件,执行predict()预测方法预测。

 

XGB_Model = xgb.Booster(model_file=Model_Filename)
x = xgb.DMatrix(x_test)
#模型预测
y = XGB_Model.predict(x)
yprob = np.argmax(y, axis=1)  # return the index of the biggest pro
print(yprob)
# 取预测结果标识
y_pred = [value for value in yprob] 
#print(y_pred)
# 取预测概率,索引第二列(1)为流失
yprob = np.round(y[:,1]*100,2)
print(yprob)

 

附录:参数

 

学习任务参数objective

 

objective [默认= reg:squarederror]

multi:softmax:设置XGBoost以使用softmax目标进行多类分类,还需要设置num_class(类数)
multi:softprob:与softmax相同,但输出向量,可以进一步将其整形为矩阵。结果包含属于每个类别的每个数据点的预测概率。ndata * nclass
其他配置
reg:squarederror:损失平方回归。
reg:squaredlogerror:对数损失平方回归
所有输入标签都必须大于-1。另外,请参阅指标rmsle以了解此目标可能存在的问题。
reg:logistic:逻辑回归
reg:pseudohubererror:使用伪Huber损失进行回归,这是绝对损失的两倍可微选择。
binary:logistic:二元分类的逻辑回归,输出概率
binary:logitraw:用于二进制分类的逻辑回归,逻辑转换之前的输出得分
binary:hinge:二进制分类的铰链损失。这使预测为0或1,而不是产生概率。
count:poisson –计数数据的泊松回归,泊松分布的输出平均值
max_delta_step 在泊松回归中默认设置为0.7(用于维护优化)
survival:cox:针对正确的生存时间数据进行Cox回归(负值被视为正确的生存时间)。请注意,预测是按危险比等级返回的(即,比例危险函数中的HR = exp(marginal_prediction))。h(t) = h0(t) * HR
survival:aft:用于检查生存时间数据的加速故障时间模型。有关详细信息,请参见具有加速故障时间的生存分析。
aft_loss_distribution:survival:aft目标和aft-nloglik度量使用的概率密度函数。
rank:pairwise:使用LambdaMART进行成对排名,从而使成对损失最小化
rank:ndcg:使用LambdaMART进行列表式排名,使标准化折让累积收益(NDCG)最大化
rank:map:使用LambdaMART进行列表平均排名,使平均平均精度(MAP)最大化
reg:gamma:使用对数链接进行伽马回归。输出是伽马分布的平均值。例如,对于建模保险索赔的严重性或对可能是伽马分布的任何结果,它可能很有用。
reg:tweedie:使用对数链接进行Tweedie回归。它可能有用,例如,用于建模保险的总损失,或用于可能是Tweedie分布的任何结果。

验证数据的评估指标eval_metric [根据目标默认]

mlogloss:多分类的logloss
merror:多类分类错误率。计算公式为。#(wrong cases)/#(all cases)
其他配置:
rmse:均方根误差
rmsle:均方根对数误差

reg:squaredlogerror目标的默认指标。此指标可减少数据集中异常值所产生的错误。但是由于log采用功能,rmsle可能nan在预测值小于-1时输出。有关reg:squaredlogerror其他要求,请参见。

mae:平均绝对误差
mape:平均绝对百分比误差
mphe:平均伪Huber错误。reg:pseudohubererror目标的默认指标。
logloss:负对数似然
error:二进制分类错误率。计算公式为。对于预测,评估会将预测值大于0.5的实例视为肯定实例,而将其他实例视为否定实例。#(wrong cases)/#(all cases)
[email protected]:可以通过提供’t’的数值来指定不同于0.5的二进制分类阈值。
merror:多类分类错误率。计算公式为。#(wrong cases)/#(all cases)
auc:曲线下面积
aucpr:PR曲线下的面积
ndcg:归一化累计折扣
map:平均平均精度
[email protected][email protected]:’n’可以被指定为整数,以切断列表中的最高位置以进行评估。
ndcg-,map-,[email protected][email protected]:在XGBoost,NDCG和MAP将评估清单的比分没有任何阳性样品为1加入-在评价指标XGBoost将评估这些得分为0,是在一定条件下一致””。
poisson-nloglik:泊松回归的负对数似然
gamma-nloglik:伽马回归的对数似然比为负
cox-nloglik:Cox比例风险回归的负对数似然率
-gamma-deviance:伽马回归的剩余偏差
-tweedie-nloglik:Tweedie回归的负对数似然(在tweedie_variance_power参数的指定值处)
aft-nloglik:加速故障时间模型的负对数可能性。有关详细信息,请参见具有加速故障时间的生存分析。
interval-regression-accuracy:其预测标签位于间隔检查的标签中的数据点的分数。仅适用于间隔检查的数据。有关详细信息,请参见具有加速故障时间的生存分析。

参考:

 

[1] . 肖永威 .不平衡多分类问题模型评估指标探讨与sklearn.metrics实践
,CSDN博客 , 2021.05

 

[2] . 忆凡人生 .【ML-6-4-1】xgboost参数说明
,博客园,yifanhunter, 2020.10

 

[3] . 肖永威 .XGBoost线性回归工控数据分析实践案例(原生篇)
,CSDN博客 ,2020.08

 

[4] . 肖永威 .Pandas高级数据分析快速入门之五——机器学习特征工程篇
,CSDN博客 ,2021.09

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注