1. 问题
张无忌在金大侠的世界里面就是一个Bug级别的存在。无论走到什幺地方,都有美女一见倾心。虽然金庸自己说,小昭是他所有角色中最喜欢的,偏偏和张无忌走到走后的却是赵敏,不由让人遗憾。
于是我在琢磨,如果上天把她俩摆在我的面前,我会怎幺选呢?
2. 分析
这可真是个难题,所以我们需要辅助工具。比如决策树(Decision Tree),就是一个非常好的办法。
Decision Tree 是监督学习里面最简洁明了的一个算法。我们可以简单的把它理解成一个个 If/Then
的判断语句,通过不断的细化,最后给出结果。每次判断,都是先从最优特征下手,通过以损失函数最小化确定决策路径。最后生成的树,对于每一个条件,都是唯一且完备的。
比如说,老师可以根据学生的出勤率、回答问题次数、作业提交率等特征,预测学生的成绩分类。出勤率大于90%、作业提交率大于90%可以预测为 A,出勤率小于90%、作业提交率大于90%,可以预测为 B ……
原理上,决策树是基于信息增益选择特征。对于训练数据集,计算每个特征的信息增益,然后选择信息增益最大的特征进行判断。每次判断,都是在上一层判断里面进行细分,如下图所示
需要注意的是,决策树会对每个case都进行判断,容易导致过拟合。避免过拟合的方法有前处理(pre-pruning)和后处理(post-pruning)两种。前处理是一开始就指定树的最大深度,后处理是先生成完全的树,然后再进行剪枝,将不重要的特征合并至其父枝。scikit-learn里面采用的是前处理。
决策树虽然理解上容易,但理论也不简单。具体背后的原理可参考文献[5],有非常详细的解读。
3. 实现
我们用经典的 Breast cancer dataset 做 Decision Tree 的实现
from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split import sklearn.datasets as datasets X, y = datasets.load_breast_cancer(return_X_y=True) X_train, X_test, y_train, y_test = train_test_split(X, y) tree = DecisionTreeClassifier() tree = tree.fit(X_train, y_train) print("Training set score: {:.2f}".format(tree.score(X_train, y_train))) print("Test set score: {:.2f}".format(tree.score(X_test, y_test)))
测试结果
Training set score: 1.00 Test set score: 0.95
好像不错。但是我们导出其决策结果看看就会发现,模型太过复杂了
|--- feature_22 <= 117.45 | |--- feature_27 <= 0.16 | | |--- feature_13 <= 35.44 | | | |--- feature_22 <= 112.80 | | | | |--- feature_21 <= 30.15 | | | | | |--- class: 1 | | | | |--- feature_21 > 30.15 | | | | | |--- feature_22 <= 101.30 | | | | | | |--- feature_20 <= 14.41 | | | | | | | |--- class: 1 | | | | | | |--- feature_20 > 14.41 | | | | | | | |--- feature_0 <= 13.08 | | | | | | | | |--- class: 0 | | | | | | | |--- feature_0 > 13.08 | | | | | | | | |--- class: 1 | | | | | |--- feature_22 > 101.30 | | | | | | |--- feature_2 <= 95.75 | | | | | | | |--- class: 0 | | | | | | |--- feature_2 > 95.75 | | | | | | | |--- class: 1 | | | |--- feature_22 > 112.80 | | | | |--- feature_26 <= 0.35 | | | | | |--- class: 1 | | | | |--- feature_26 > 0.35 | | | | | |--- feature_15 <= 0.04 | | | | | | |--- class: 0 | | | | | |--- feature_15 > 0.04 | | | | | | |--- class: 1 | | |--- feature_13 > 35.44 | | | |--- feature_23 <= 874.85 | | | | |--- feature_25 <= 0.08 | | | | | |--- class: 0 | | | | |--- feature_25 > 0.08 | | | | | |--- feature_26 <= 0.29 | | | | | | |--- class: 1 | | | | | |--- feature_26 > 0.29 | | | | | | |--- feature_18 <= 0.03 | | | | | | | |--- class: 0 | | | | | | |--- feature_18 > 0.03 | | | | | | | |--- class: 1 | | | |--- feature_23 > 874.85 | | | | |--- class: 0 | |--- feature_27 > 0.16 | | |--- feature_22 <= 97.16 | | | |--- feature_21 <= 28.01 | | | | |--- class: 1 | | | |--- feature_21 > 28.01 | | | | |--- class: 0 | | |--- feature_22 > 97.16 | | | |--- class: 0 |--- feature_22 > 117.45 | |--- feature_19 <= 0.00 | | |--- feature_2 <= 116.60 | | | |--- class: 1 | | |--- feature_2 > 116.60 | | | |--- class: 0 | |--- feature_19 > 0.00 | | |--- class: 0
一个几百个数据的dataset就出现这幺复杂的结果,实际应用时是不可接受的。测试模型正确率100%,显然出现了过拟合。我们设置最大深度限制一下
tree = DecisionTreeClassifier(max_depth=3) tree = tree.fit(X_train, y_train) print("Training set score: {:.2f}".format(tree.score(X_train, y_train))) print("Test set score: {:.2f}".format(tree.score(X_test, y_test)))
结果为
Training set score: 0.95 Test set score: 0.94
测试结果仅下降了 1%,但模型复杂度却大大降低
|--- feature_22 <= 117.45 | |--- feature_27 <= 0.16 | | |--- feature_13 <= 35.44 | | | |--- class: 1 | | |--- feature_13 > 35.44 | | | |--- class: 1 | |--- feature_27 > 0.16 | | |--- feature_22 <= 97.16 | | | |--- class: 1 | | |--- feature_22 > 97.16 | | | |--- class: 0 |--- feature_22 > 117.45 | |--- feature_27 <= 0.09 | | |--- feature_19 <= 0.00 | | | |--- class: 1 | | |--- feature_19 > 0.00 | | | |--- class: 0 | |--- feature_27 > 0.09 | | |--- class: 0
4. 总结
今天我们大致介绍了 Decision Tree 及其实现。决策树是非常有用的模型,而且结果易于解释,所以应用广泛。
回到最初的问题,用决策树模型,怎幺决定到底是选赵敏还是选小昭呢?答案当然是选荔姐了。
荔姐才是世界上最好的丫头,吼吼~
相关代码均已上传到 Github(https://github.com/jetorz/Data2Science),欢迎标记 Star。
5. 交流
独学而无友则孤陋寡闻。现有「数据与统计科学」微信交流群,内有数据行业资深从业人员、海外博士、硕士等,欢迎对数据科学、数据分析、机器学习、人工智能有兴趣的朋友加入,一起学习讨论。
大家可以扫描下面二维码,添加荔姐微信邀请加入,暗号:机器学习加群。
6. 扩展
6.1. 延伸阅读
K-nearest Neighbors,隔壁小芳可还好 – 机器学习
6.2. 参考文献
G. James, D. Witten, T. Hastie R. Tibshirani, An introduction to statistical learning: with applications in R. New York: Springer, 2013.
T. Hastie, R. Tibshirani, J. H. Friedman, The elements of statistical learning: data mining, inference, and prediction, 2nd ed. New York, NY: Springer, 2009.
W. Härdle, L. Simar, Applied multivariate statistical analysis, 3rd ed. Heidelberg ; New York: Springer, 2012.
周志华, 机器学习 = Machine learning. 北京: 清华大学出版社, 2016.
李航, 统计学习方法. 北京: 清华大学出版社, 2012.
Be First to Comment