Press "Enter" to skip to content

随机森林算法梳理

首先来说一下集成学习。集成学习在学术界和工业界都有很高的热度,例如Kaggle竞赛中神挡杀神佛挡杀佛的XGBoost就是一个典型的例子。那幺什幺是集成学习?最通俗易懂的理解就是:”三个臭皮匠,顶个诸葛亮”。把”臭皮匠”组合起来,其决策能力可能超过”诸葛亮”。

 

根据其训练基学习器的特点将其分为2大类: Boosting和Bagging。

 

Boosting

 

Boosting采用串行的方式训练基学习器,各学习器之间相互依赖。与人类的学习过程类似,人们学习的时候总是不断犯错不断去更正,降低下次犯错的概率,Boosting也是Learn from your mistakes。

 

 

Bagging

 

Bagging的主要思想是:集体投票决策。Bagging各基学习器之间无强依赖,可以进行并行训练。随机森林(Random Forest)就是一种比较着名的以决策树为基学习器的Bagging算法。因为各个学习器之间无强依赖,所以在训练过程中,随机森林将训练集分为若干子集。

 

 

结合策略

 

有了基学习器,我们怎幺进行组合呢?这就要说到 结合策略 了。主要是平均法,投票法和学习法三个结合策略。

 

平均法

 

对于数值类的回归预测问题,通常使用的结合策略是 平均法 ,也就是说,对于若干个弱学习器的输出进行平均得到最终的预测输出。可以是一般的mean也可以加权平均。

 

投票法

 

对于分类问题的预测,我们通常使用的是 投票法 。最简单的投票法是 相对多数投票法 ,即少数服从多数。 绝对多数投票法 稍微复杂一点,在相对多数投票法的基础上,还要求票过半数。否则会拒绝预测。更加复杂的是 加权投票法 ,每个弱学习器的分类票数要乘以一个权重,最终将各个类别的加权票数求和,最大的值对应的类别为最终类别。

 

学习法

 

以上两种方法相对比较简单,但是可能学习误差较大。于是就有了学习法,典型代表就是 stacking ,当使用stacking结合策略时, 我们不是对弱学习器的结果做简单的逻辑处理,而是再加上一层学习器,也就是说,我们将训练集弱学习器的学习结果作为输入,将训练集的输出作为输出,重新训练一个学习器来得到最终结果。在这种情况下,我们将弱学习器称为初级学习器,将用于结合的学习器称为次级学习器。对于测试集,我们首先用初级学习器预测一次,得到次级学习器的输入样本,再用次级学习器预测一次,得到最终的预测结果。

 

随机森林

 

理解了bagging算法,随机森林(Random Forest)就好理解了。它是Bagging算法的进化版。首先,RF使用了CART决策树作为弱学习器。第二,在使用决策树的基础上,RF对决策树的建立做了改进,对于普通的决策树,我们会在节点上所有的n个样本特征中选择一个最优的特征来做决策树的左右子树划分,但是RF通过随机选择节点上的一部分样本特征,这个数字小于n,为m,然后在这些随机选择的m个样本特征中,选择一个最优的特征来做决策树的左右子树划分。这样进一步增强了模型的泛化能力。

 

 

由于RF在实际应用中的良好特性,基于RF,有很多变种算法,应用也很广泛,不光可以用于分类回归,还可以用于特征转换,异常点检测等。extra trees是RF的一个变种, 原理几乎和RF一模一样。仅有区别有:

 

对于每个决策树的训练集,RF采用的是随机采样bootstrap来选择采样集作为每个决策树的训练集,而extra trees一般不采用随机采样,即每个决策树采用原始训练集

 

在选定了划分特征后,RF的决策树会基于基尼系数,均方差之类的原则,选择一个最优的特征值划分点,这和传统的决策树相同。但是extra trees比较的激进,他会随机的选择一个特征值来划分决策树。因此在某些时候,extra trees的泛化能力比RF更好。

 

随机森林优缺点

 

优点

 

1、采用并行方法训练因此可以高度并行化,对于大数据的大样本训练速度有优势。

 

2、由于可以随机选择决策树节点划分特征,这样在样本特征维度很高的时候,仍然能高效的训练模型。

 

3、在训练后,可以给出各个特征对于输出的重要性。

 

4、由于采用了随机抽样,训练出来的模型的方差小,泛化能力强。

 

5、相对于Boosting系列的Adaboost和GBDT,RF实现比较简单。

 

6、对部分特征缺失不敏感。

 

缺点

1、在某些噪音比较大的样本集上,RF模型容易陷入过拟合。

2、取值划分比较多的特征容易对RF的决策产生更大的影响,从而影响拟合的模型的效果。

 

sklearn参数解释

 

n_estimators :基学习器的数量,越大越好,但是训练时间会越长。

 

criterion :寻找最有切分点的依据,默认采用Gini index。

 

max_features :随机特征子集的大小,默认是”auto”,一般默认就可以,如果特征纬度特别大,可以灵活改变最大特征数,以控制决策树的生成时间。

 

max_depth :最大深度默认”None”,当样本和特征都很多的情况下可以控制深度。

 

min_samples_split :节点最小样本数量,当某节点的样本数少于min_samples_split,则不会继续再尝试选择最优特征来进行划分。默认为2,若样本数量大,可以考虑增大这个值。

 

min_samples_leaf :叶子节点最少样本数。若某叶子节点数目小于min_samples_leaf,则会和兄弟节点一起被剪枝。默认是1,当样本量增大的时候推荐增大这个值。

 

min_weight_fraction_leaf :叶子节点最小的样本权重和。若叶子节点所有样本权重和的最小值,如果小于这个值,则会和兄弟节点一起被剪枝。默认是0,缺失值较多,或者分类树样本的分布类别偏差很大,就会引入样本权重,这时我们就要注意这个值了。

 

max_leaf_nodes :最大叶子节点数。通过限制最大叶子节点数,可以防止过拟合。默认为”None”。

 

min_impurity_split :节点划分最小不纯度。如果某节点的不纯度小于这个值,就不再生成子结点。

 

应用

 

当数据维度相对低(几十维),同时对准确性有较高要求时,我们可以选用随机森林,同时它不需要很多参数调整就可以达到不错的效果,基本上不知道用什幺方法的时候都可以先试一下随机森林。

 

Be First to Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注