K近邻算法
悄悄介绍自己:
作者:神的孩子在跳舞
本人是快升大四的小白,在山西上学,学习的是python方面的知识,希望能找到一个适合自己的实习公司,哪位大佬看上我的可以留下联系方式我去找您,或者加我微信chenyunzhiLBP
一. 简介
- 简单理解 :以你为 起点 找到最 接近 你的那个点
- 定义 :如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的 大多数属于某一个类别 ,则该样本也属于这个类别。
- 常用公式 :
以下公式是我个人方便理解写的,具体方法自行百度
(1) 欧式距离 (Euclidean Distance):平面内,已知两点求直线距离
(2) 曼哈顿距离 (Manhattan Distance):平面内,已知两点求垂直距离
(3) 切比雪夫距离 (Chebyshev Distance):方格中,直行、横行、斜行
(4) 闵可夫斯基距离 (Minkowski Distance)
(5) 标准化欧氏距离 (Standardized EuclideanDistance):将各个分量都“标准化”到均值、方差相等
(6) 余弦距离 (Cosine Distance)
二. KNN算法API使用
2.1 导入Scikit-learn工具
- 安装scikit-learn需要Numpy, Scipy等库
pip3 install scikit-learn==0.19.1 import sklearn
包含内容
(1)分类、聚类、回归
(2)特征工程
(3)模型选择、调优
2.2 k-近邻算法API案例
API介绍
sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
- n_neighbors :int类型(默认= 5),
n_neighbors
- 查询默认使用的邻居数
我们一般将n_neighbors叫做k值, K值过小 : 容易受到异常点的影响, k值过大 : 受到样本均衡的问题
- algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’}
快速k近邻搜索算法,默认参数为auto,可以理解为算法自己决定合适的搜索算法。除此之外,用户也可以自己指定搜索算法ball_tree、kd_tree、brute方法进行搜索,
(1) brute :是 蛮力搜索 ,也就是线性扫描,当训练集很大时,计算非常耗时。 比如 问是1吗?不是,是0幺?是,一个个问
(2) kd_tree :构造kd树存储数据以便对其进行快速检索的树形数据结构,kd树也就是数据结构中的二叉树。以中值切分构造的树,每个结点是一个超矩形,在维数小于20时效率高。
(3) ball_tree :特征值大于20,就用ball_tree
- 实现流程
(1)计算已知类别数据集中的点与当前点之间的距离
(2)按距离递增次序排序
(3)选取与当前点距离最小的k个点
(4)统计前k个点所在的类别出现的频率
(5)返回前k个点出现频率最高的类别作为当前点的预测分类
- 代码演示
#导入模块 from sklearn.neighbors import KNeighborsClassifier import matplotlib.pyplot as plt #获取数据 x = [[0], [1], [2], [3]] y = [0, 0, 1, 1] #机器学习——模型训练 # 实例化API estimator = KNeighborsClassifier(n_neighbors=2) print(estimator) # 使用fit方法进行训练 estimator.fit(x, y) print(estimator.fit(x, y)) estimator.predict([[2]])
输出
KNeighborsClassifier(n_neighbors=2) KNeighborsClassifier(n_neighbors=2) array([0])
本人博客: https://blog.csdn.net/weixin_46654114
本人b站求关注: https://space.bilibili.com/391105864
Be First to Comment