Press "Enter" to skip to content

深度学习 | sklearn的train_test_split()各函数参数含义解释(超级全)

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

在机器学习中,我们通常将原始数据按照比例分割为“测试集”和“训练集”,从 sklearn.model_selection 中调用train_test_split 函数

 

简单用法如下:

 

X_train,X_test, y_train, y_test =sklearn.model_selection.train_test_split(train_data,train_target,test_size=0.4, random_state=0,stratify=y_train)

 

train_data :所要划分的样本特征集

 

train_target :所要划分的样本结果

 

test_size :样本占比,如果是整数的话就是样本的数量

 

random_state :是随机数的种子。

随机数种子:其实就是该组随机数的编号,在需要重复试验的时候,保证得到一组一样的随机数。比如你每次都填1,其他参数一样的情况下你得到的随机数组是一样的。但填0或不填,每次都会不一样。

stratify 是为了保持split前类的分布。比如有100个数据,80个属于A类,20个属于B类。如果train_test_split(… test_size=0.25, stratify = y_all), 那幺split之后数据如下:

 

training: 75个数据,其中60个属于A类,15个属于B类。

 

testing: 25个数据,其中20个属于A类,5个属于B类。

 

用了stratify参数,training集和testing集的类的比例是 A:B= 4:1,等同于split前的比例(80:20)。通常在这种类分布不平衡的情况下会用到stratify。

 

将stratify=X就是按照X中的比例分配

 

将stratify=y就是按照y中的比例分配

 

整体总结起来各个参数的设置及其类型如下:

 

主要参数说明:

 

*arrays:可以是列表、numpy数组、scipy稀疏矩阵或pandas的数据框

 

test_size:可以为浮点、整数或None,默认为None

 

①若为浮点时,表示测试集占总样本的百分比

 

②若为整数时,表示测试样本样本数

 

③若为None时,test size自动设置成0.25

 

train_size:可以为浮点、整数或None,默认为None

 

①若为浮点时,表示训练集占总样本的百分比

 

②若为整数时,表示训练样本的样本数

 

③若为None时,train_size自动被设置成0.75

 

random_state:可以为整数、RandomState实例或None,默认为None

 

①若为None时,每次生成的数据都是随机,可能不一样

 

②若为整数时,每次生成的数据都相同

 

stratify:可以为类似数组或None

 

①若为None时,划分出来的测试集或训练集中,其类标签的比例也是随机的

 

②若不为None时,划分出来的测试集或训练集中,其类标签的比例同输入的数组中类标签的比例相同,可以用于处理不均衡的数据集

 

通过简单栗子看看各个参数的作用:

 

举例如下:

 

通过简单例子看看各个参数的作用:

 

①test_size决定划分测试、训练集比例

②random_state不同值获取到不同的数据集

 

设置random_state=0再运行一次,结果同上述相同

设置random_state=None运行两次,发现两次的结果不同

③设置stratify参数,可以处理数据不平衡问题

thanks

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注