Press "Enter" to skip to content

原力计划 K近邻算法简单介绍——机器学习 K近邻算法一. 简介二. KNN算法API使用2.1 导入Scikit-lear…

K近邻算法

 

悄悄介绍自己:

 

作者:神的孩子在跳舞

 

本人是快升大四的小白,在山西上学,学习的是python方面的知识,希望能找到一个适合自己的实习公司,哪位大佬看上我的可以留下联系方式我去找您,或者加我微信chenyunzhiLBP

 

一. 简介

 

 

    1. 简单理解 :以你为 起点 找到最 接近 你的那个点

 

    1. 定义 :如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的 大多数属于某一个类别 ,则该样本也属于这个类别。

 

    1. 常用公式 :

 

 

以下公式是我个人方便理解写的,具体方法自行百度

 

(1) 欧式距离 (Euclidean Distance):平面内,已知两点求直线距离

 

(2) 曼哈顿距离 (Manhattan Distance):平面内,已知两点求垂直距离

 

(3) 切比雪夫距离 (Chebyshev Distance):方格中,直行、横行、斜行

 

(4) 闵可夫斯基距离 (Minkowski Distance)

 

(5) 标准化欧氏距离 (Standardized EuclideanDistance):将各个分量都“标准化”到均值、方差相等

 

(6) 余弦距离 (Cosine Distance)

 

二. KNN算法API使用

 

2.1 导入Scikit-learn工具

 

 

    1. 安装scikit-learn需要Numpy, Scipy等库

 

 

pip3 install scikit-learn==0.19.1
import sklearn

 

 

包含内容

(1)分类、聚类、回归

(2)特征工程

(3)模型选择、调优

 

 

2.2 k-近邻算法API案例

 

API介绍

 

sklearn.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

 

 

    1. n_neighbors :int类型(默认= 5),

n_neighbors

    1. 查询默认使用的邻居数

 

 

我们一般将n_neighbors叫做k值, K值过小 :​ 容易受到异常点的影响, k值过大 :​ 受到样本均衡的问题

 

 

    1. algorithm:{‘auto’,‘ball_tree’,‘kd_tree’,‘brute’}

 

 

快速k近邻搜索算法,默认参数为auto,可以理解为算法自己决定合适的搜索算法。除此之外,用户也可以自己指定搜索算法ball_tree、kd_tree、brute方法进行搜索,

 

(1) brute :是 蛮力搜索 ,也就是线性扫描,当训练集很大时,计算非常耗时。 比如 问是1吗?不是,是0幺?是,一个个问

 

(2) kd_tree :构造kd树存储数据以便对其进行快速检索的树形数据结构,kd树也就是数据结构中的二叉树。以中值切分构造的树,每个结点是一个超矩形,在维数小于20时效率高。

 

(3) ball_tree :特征值大于20,就用ball_tree

 

 

    1. 实现流程

 

 

(1)计算已知类别数据集中的点与当前点之间的距离

 

(2)按距离递增次序排序

 

(3)选取与当前点距离最小的k个点

 

(4)统计前k个点所在的类别出现的频率

 

(5)返回前k个点出现频率最高的类别作为当前点的预测分类

 

 

    1. 代码演示

 

 

#导入模块
from sklearn.neighbors import KNeighborsClassifier
import matplotlib.pyplot as plt
#获取数据
x = [[0], [1], [2], [3]]
y = [0, 0, 1, 1]
#机器学习——模型训练
# 实例化API
estimator = KNeighborsClassifier(n_neighbors=2)
print(estimator)
# 使用fit方法进行训练
estimator.fit(x, y)
print(estimator.fit(x, y))
estimator.predict([[2]])

 

输出

 

KNeighborsClassifier(n_neighbors=2)
KNeighborsClassifier(n_neighbors=2)
array([0])

 

本人博客: https://blog.csdn.net/weixin_46654114

 

本人b站求关注: https://space.bilibili.com/391105864

 

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注