Press "Enter" to skip to content

【机器学习09】kNN 解决回归问题:以波士顿房价为例

kNN 既可以解决分类问题也可以解决回归问题。

 

摘要:以波士顿房价数据集为例,使用 kNN 模型解决回归问题——预测房价。

 

之前我们花了大量篇幅介绍使用 kNN 算法解决分类问题,其实 kNN 是少数机器学习算法中,既适合解决 分类问题 也适合解决 回归问题 的算法。

 

在 sklearn 中使用 KNeighborsClassifier 类解决分类,回归问题则可以调用 KNeighborsRegressor 类。

 

 

先来回顾一下 kNN 是如何解决分类问题的。下图中,红绿色点表示两种类别,根据黄色点最近 K 个点的类别来评估其所属类别。假设 k 取 3 ,则黄色点大概率属于红色类别。

 

 

当要解决回归问题时,我们面对的问题不再是判断样本属于哪个类别,样本值也不是离散值而是连续的具体值。比如预测学生的成绩具体是多少分。

 

计算思路也很简单,主要分两步。 第一步和分类算法一样,找到离待预测节点最近的 K 个点,第二步则是取这 K 个节点值的平均值作为待预测点的预测值。

 

 

是不是很简单?

 

下面我们就通过一个简单的数据集来熟悉一下 kNN 回归模型。

 

训练集有 6 个红色样本点,每个样本点有 X Y 两个特征,点的标签值分别是 1-6。现在需要预测绿色样本点的标签值。假设 k 取 3,很容易就能得到左下角的三个红点是离绿色点最近的,则绿点的标签值等于(1+2+3)/3=2。 当 k 取 5 时,绿色点的标签值等于(1+2+3+4+5)/5=3。

 

 

编码实现如下:

 

 

下面我们再用 kNN 的回归模型解决一个实际案例: 波士顿房价 。

 

波士顿房价是机器学习中很常用的一个解决回归问题的数据集。数据统计于 1978 年,包括 506个房价样本,每个样本包括波士顿不同郊区房屋的13 种特征信息,比如:住宅房间数、城镇教师和学生比例等。标签值则是每栋房子的房价(千美元)。所以这是一个小型数据集,有 506 * 14 维。

 

我们通过这几步来预测房价:

加载数据集并初步探索
划分训练集和测试集
对特征做均值方差归一化
建立 kNN 回归模型并预测

先加载数据集并做简单的初步探索。

 

 

每个特征的含义如下:

CRIM: 城镇人均犯罪率(%)
ZN: 住宅用地所占比例(%)
INDUS: 城镇中非住宅用地所占比例(%)
CHAS: 0-1分类变量,是否靠近Charles River,靠近1,否则0
NOX: 一氧化氮指数
RM: 每栋住宅的房间数
AGE: 1940 年以前建成的自住单位的比例(%)
DIS: 距离 5 个波士顿的就业中心的加权距离
RAD: 距离高速公路的便利指数
TAX: 每一万美元的不动产税率(%)
PTRATIO: 城镇中的教师学生比例(%)
B: 关于黑人比例的一个参数(%)
LSTAT: 地区中有多少房东属于低收入人群(%)
MEDV: 自住房屋房价中位数(也就是均价,单位千美元)

可以看到特征之间数值差异较大,所以最好先对数据做归一化再建立模型。

 

样本一共有 13 个特征,建立模型时可以纳入全部特征也可以只纳入部分,我们选择后者。使用 SelectKBest 方法可以筛选出和标签最相关的 K 个特征,这里选择和房价最相关的 3 个特征:

RM
PTRATIO
LSTAT

 

特征选择好之后,接下来划分数据集并归一化,然后建模,代码如下:

 

 

这样我们就计算出了房价预测值和相应的模型得分。

 

房价预测值和实际值见下图,可以看到预测效果总体还不错。

 

 

模型得分这里使用了 均方根误差(RMSE)和 R2_score 来判断。

 

上图中,这两个值分别为 4.58 和 0.74。

 

均方根误差表示模型的偏离程度,越接近 0 越好。此处 4.58 的含义就是说 68% 的预测房价值和真实房价(均值为 22.53)之间的差值在 4.58(一个标准差) 之间,也就是 68% 的房价位于 [18,27] 之间(单位千美元)。 95% 的房价位于均值的两个标准差之间,也就是 [13.5,31.5]。

 

R2_score 表示模型拟合数据集的好坏,越接近1 表示拟合效果越好。

 

为了比较不同模型的均方根误差和 R2 值,我们还可以使用之前说的 网格搜索 方法进一步优化模型。

 

 

可以看到均方根误差降低到了 4.35 ,R2 值提升到了 0.76,说明网格搜索建立的模型效果更好。

 

 

之后我们学习其他算法(比如线性回归)的时候还会再对这个数据集建立模型并计算得分。

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注