Press "Enter" to skip to content

机器学习(公式推导与代码实现)–sklearn机器学习库

一.scikit-learn概述

 

1.sklearn模型

 

sklearn全称是scikit-learn,它是一个基于Python的机器学习类库,主要建立在NumPy、Pandas、SciPy和Matplotlib等类库之上,基本上覆盖了常见了分类、回归、聚类、降维、模型选择和预处理模块。

 

2.sklearn源码

 

下图是sklearn在GitHub上的源代码,编程语言主要包括:91.4%的Python,6.5%的Cython,1.3%的C++和0.8%的Other。如下所示:

 

二.模型选择和预处理

 

1.模型选择

 

解析:网格搜索,交叉验证

 

2.预处理

 

解析:评估指标,数据预处理

 

三.有监督学习模型

 

可以将有监督模型分为生成式模型和判别式模型,常见的生成式模型包括朴素贝叶斯、HMM和隐含狄利克雷分配(LDA),其它的基本都是判别式模型。

 

1.线性模型

 

解析:线性回归,对数几率回归,LASSO回归,Ridge回归,线性判别分析(LDA)

 

2. \({k}\) 近邻

 

3.决策树

 

解析:ID3,C4.5,CART

 

4.神经网络

 

解析:感知机,神经网络

 

5.支持向量机

 

解析:线性可分,近似线性可分,线性不可分

 

6.集成模型

 

(1)Boosting

 

解析:AdaBoost,GBDT,XGBoost,LightGBM,CatBoost

 

(2)Bagging

 

解析:随机森林

 

四.无监督学习模型

 

1.聚类

 

解析: \(k\) 均值聚类,层次聚类,谱聚类

 

2.降维

 

解析:主成分分析(PCA),奇异值分解(SVD)

 

五.概率模型

 

1.最大信息熵模型

 

2.贝叶斯概率模型

 

解析:朴素贝叶斯,贝叶斯网络

 

3.期望最大化(EM)算法

 

4.概率图模型

 

解析:隐马尔科夫模型(HMM),条件随机场(CRF)

 

5.马尔可夫链蒙特卡洛(MCMC)

 

参考文献:

 

[1]scikit-learn: https://scikit-learn.org/stable/

 

[2]scikit-learn(sklearn)官方文档中文版: https://sklearn.apachecn.org/#/?id=scikit-learn-sklearn-官方文档中文版

 

[3]scikit-learn安装: https://scikit-learn.org/stable/install.html

 

[4]scikit-learn用户指南: https://scikit-learn.org/stable/user_guide.html

 

[5]scikit-learn API参考: https://scikit-learn.org/stable/modules/classes.html

 

[6]scikit-learn例子: https://scikit-learn.org/stable/auto_examples/index.html

 

[7]scikit-learn博客: https://blog.scikit-learn.org/

 

[8]scikit-learn教程: https://scikit-learn.org/stable/tutorial/index.html

 

[9]scikit-learn FAQ: https://scikit-learn.org/stable/faq.html

 

[10]scikit-learn GitHub: https://github.com/scikit-learn/scikit-learn

 

[11]scikit-learn不同版本文档: https://scikit-learn.org/dev/versions.html

 

[12]scikit-learn wiki: https://github.com/scikit-learn/scikit-learn/wiki

 

[13]scikit-learn版本更新日志: https://scikit-learn.org/stable/whats_new/v1.1.html

 

[14]scikit-learn开发指南: https://scikit-learn.org/dev/developers/index.html

 

[15]scikit-learn相关类库: https://scikit-learn.org/stable/related_projects.html

 

[16]Hugging Face: https://huggingface.co/

 

[17]《机器学习:公式推导与代码实现》

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注