Press "Enter" to skip to content

统计学习:模型评估与验证–K折交叉验证与自助法

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

一、K折交叉验证

 

如果给定的样本数据充足,进行模型选择的一种简单方法是随机的将数据集切分成三部分,分为训练集,验证集和测试集。训练集用来训练模型,一般来说数据量要更大一些,验证集用于模型的选择,而测试集用于最终对学习方法进行评估(查看模型泛化能力)

 

在学习到的不同复杂度的模型中,选择对验证集有最小预测误差的模型,由于验证集有足够多的数据,用他对模型选择也是有效的。

 

但是,在许多实际应用中数据时不充足的。为了更好地选择模型,可以采用交叉验证的方法。交叉验证的基本思想就是重复的使用数据;把给定的数据进行切分,将切分的数据集组合为训练集和测试集,在此基础上反复地进行训练、测试以及模型选择。

 

课程中老师给出了使用K折交叉验证来选择k近邻算法的超参数例子,计算不同的k取值下,模型的精度,以此来选择合适的超参数。

 

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
# 另外一个绘图工具,底层是matplotlib,在基础上进行改进
import seaborn as sns
from sklearn.metrics import accuracy_score
from sklearn import datasets # 导入数据集
# 导入数据集划分工具
from sklearn.model_selection import train_test_split, cross_val_score
# 标准化
from sklearn.preprocessing import StandardScaler
# 导入模型
from sklearn.linear_model import LogisticRegression
# 导入k近邻包
from sklearn.neighbors import KNeighborsClassifier
# 导入数据集
iris = datasets.load_iris()
# 将模型分为数据和标签
X, target = iris.data, iris.target
# 数据标准化,计算数据的平均值和标准偏差
X = StandardScaler().fit_transform(X)
def K_nn_model_train(X, y):
    # 采用十次交叉验证法对k近邻算法的超参数进行选择 划分数据集
    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=111, stratify=y)
    # 超参数区间
    k = range(1, 31)
    # 存储每次调参的10次交叉验证均值
    cv_scores = []
    for i in k:
        knn = KNeighborsClassifier(i,algorithm='brute')
        scores = cross_val_score(knn, X_train, y_train, scoring='accuracy', cv=10)
        cv_scores.append(scores.mean())
    return cv_scores
def plt__knn_score(cv_score):
    # 绘制knn参数选择的图像
    plt.plot(cv_score, '.-')
    plt.xlabel("knn-k value")
    plt.ylabel("mean accuracy")
    plt.title("KNN super-args of mean accuracy")
    plt.show()

 

二、 评估方法—自助法

 

自助法直接以自助采样法为基础。给定包含m个样本的数据集D,对他进行采样产生数据集D(new),每次随机从D中挑选一个样本,将其拷贝放入D(new)里面,然后再将该样本放回原始数据集D中,使得该样本在下次采样时仍有可能被采到,这个过程重复执行m次,就得到了包含m个样本的数据集D(new)。

 

初始数据集D中约有36.8%的样本未出现在新的数据集里面,于是可以将新的数据集用作训练集,原始数据集剔除新数据集内元素后作为测试集。这样,实际评估的模型与期望的评估的模型都使用m个训练样本,而仍有三分之一的没在训练集出现的样本用作测试。这样的测试结果,称为 保外估计 (out-of-bad estimate)

 

自助法在数据集较小的时候有用,但是会新的数据集会改变原始的数据分布,引入估计偏差。

 

代码为:

 

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
# 另外一个绘图工具,底层是matplotlib,在基础上进行改进
import seaborn as sns
from sklearn.metrics import accuracy_score
from sklearn import datasets # 导入数据集
# 导入数据集划分工具
from sklearn.model_selection import train_test_split, cross_val_score
# 标准化
from sklearn.preprocessing import StandardScaler
# 导入模型
from sklearn.linear_model import LogisticRegression
# 导入k近邻包
from sklearn.neighbors import KNeighborsClassifier
# 导入数据集
iris = datasets.load_iris()
# 将模型分为数据和标签
X, target = iris.data, iris.target
# 数据标准化,计算数据的平均值和标准偏差
X = StandardScaler().fit_transform(X)
def bootstrap_method(X, y):
    # 自助法,大数定理的思想
    iris_data = pd.DataFrame(np.hstack((X, target[:, np.newaxis])),
                             columns=["sepal_length", "sepal_width", "petal_length", "petal_width", "class"])
    n = iris_data.shape[0]
    # 存储每次采样不被采集的样本序列
    ratio_list = []
    for i in range(10000):
        # 存储每次采样选中的样本序号
        bootstrapping = []
        for j in range(n):
            # 存储索引
            bootstrapping.append(int(np.random.random()*n))
        train = iris_data.iloc[bootstrapping, :]
        test = iris_data.iloc[np.setdiff1d(iris_data.index, train.index)]
        ratio = test.shape[0] / n
        ratio_list.append(ratio)
    sns.displot(ratio_list, kind="hist", color="green")
    plt.show()

 

运行结果:

三、使用

 

有了上面自助法采样得到的数据集,就可以在数据集上进行训练和测试模型,由于采样次数太多运行速度慢,这里进行了一些更改,同时在每次采样结束后都用其数据对模型进行训练和预测

 

代码如下:

 

import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
# 另外一个绘图工具,底层是matplotlib,在基础上进行改进
import seaborn as sns
from sklearn.metrics import accuracy_score
from sklearn import datasets # 导入数据集
# 导入数据集划分工具
from sklearn.model_selection import train_test_split, cross_val_score
# 标准化
from sklearn.preprocessing import StandardScaler
# 导入模型
from sklearn.linear_model import LogisticRegression
# 导入k近邻包
from sklearn.neighbors import KNeighborsClassifier
# 导入数据集
iris = datasets.load_iris()
# 将模型分为数据和标签
X, target = iris.data, iris.target
# 数据标准化,计算数据的平均值和标准偏差
X = StandardScaler().fit_transform(X)
def bootstrap_method(X, y):
    # 自助法,大数定理的思想
    iris_data = pd.DataFrame(np.hstack((X, target[:, np.newaxis])),
                             columns=["sepal_length", "sepal_width", "petal_length", "petal_width", "class"])
    n = iris_data.shape[0]
    # 存储每次采样不被采集的样本序列
    ratio_list = []
    for i in range(100):
        # 存储每次采样选中的样本序号
        bootstrapping = []
        for j in range(n):
            # 存储索引
            bootstrapping.append(int(np.random.random()*n))
        train = iris_data.iloc[bootstrapping, :]
        # pandas的其中方法函数,可以根据索引提取数据表(DataFrame)里的数据
        test = iris_data.iloc[np.setdiff1d(iris_data.index, train.index)]
        bootstrap_train_model(train, test)
        ratio = test.shape[0] / n
        ratio_list.append(ratio)
    sns.displot(ratio_list, kind="hist", color="green")
    plt.show()
def bootstrap_train_model(train, test):
    X_train, y_train = train.iloc[:, 0:4].values, train.iloc[:, 4].values
    X_test, y_test = test.iloc[:, 0:4].values, test.iloc[:, 4].values
    print(len(X_train))
    print(len(X_test))
    # 前面使用K折交叉验证获得的超参数,老师是14,我这里显示是7
    knn = KNeighborsClassifier(7)
    knn.fit(X_train, y_train)
    y_pre = knn.predict(X_test)
    acc = accuracy_score(y_test, y_pre)
    print("泛化精度为:", acc)
if __name__ == "__main__":
    # cv_score = K_nn_model_train(X,target)
    # train_precision, test_precision = model_learn(X, LogisticRegression)
    # plt_precision(train_precision, test_precision)
    # plt__knn_score(cv_score)
    bootstrap_method(X, target)

 

总结: 使用自助法提取数据,获得多个数据集,在训练的时候,保证了每次送入模型训练的数据都是150个,这里面的数据来源于对原始数据集进行采样;测试集根据每次采样的不同而变化,测试集里面的数据总是原始数据集剔除掉采样数据集里面的数据,这样使得,测试集里面的数据内容与训练集完全不同。

 

需要掌握的方法:

 

K折交叉验证思想

 

自助法增强数据

 

pandas的DataFrame数据结构

 

numpy.setdiffld(列表1,列表2)方法可以将两个列表内元素进行比较,返回列表1包含而列表二不包含的数据,相当于把列表1里面的数据进行剔除操作,剔除的对象为列表2内的数据。

 

举例:

 

列表1 = [1, 2, 3, 4]

 

列表2 = [2, 3]

 

返回值: [1, 4]

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注