Press "Enter" to skip to content

多元线性回归详解

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

入门小菜鸟,希望像做笔记记录自己学的东西,也希望能帮助到同样入门的人,更希望大佬们帮忙纠错啦~侵权立删。

 

目录

 

三、解决问题 —— 找w和b

 

四、潜藏的问题——可能不是满秩矩阵

 

五、潜藏问题解决方法——正则化

 

1、L1正则化——Lasso回归

 

六、线性回归的变化与应用

 

八、线性模型——回归问题分类问题

 

一、问题描述

 

我们现在手头上有一个数据集D:每一个样本都由d个属性来描述,即 ,其中 是样本x在第i个属性上的取值。而每个样本 最终对应的结果值为 。

 

现在来了一个新的样本 ,想知道它的结果值

 

二、问题分析

 

我们需要根据数据集D来找到一个线性模型来进行以 预测 ,即找到 中合适的w和b。

 

三、解决问题 —— 找w和b

 

我们可以使用最小二乘法来解决这个问题。

 

1、向量形式变换

 

首先把w和b合成一个向量形式 ,大小为(d+1)* 1;

 

然后改写数据矩阵X: ,大小为(d+1)*  m。

 

然后对标记y也写成向量模式:

 

2、目标式

 

 

 

3、导数为0得出结论

 

 

4、最终模型结果

 

 

 

四、潜藏的问题—— 可能不是满秩矩阵

 

可能不是满秩矩阵,会产生多个 最优解,该选择哪个解作为

 

比如说:样本数较小,特征属性多,甚至已经超过样本数了,那幺此时 不是满秩矩阵,可以解出多个 的解。

 

五、潜藏问题解决方法——正则化

 

正则化的作用是选择经验风险与模型复杂度同时较小的模型

 

1、L1正则化——Lasso回归

 

在目标函数后面加一项

 

则,目标函数变为

 

第一项是上述所说的经验风险,第二项控制的是模型的复杂度。

 

其中 ,控制惩罚力度: ;

 

这也被称为Lasso回归。

 

如下图所示(假设只有两个属性):L1正则化平方误差项等值线和正则化等值线常相交于坐标轴上,这就意味着舍弃了其中某个属性,体现了特征选择的特性,更易得到稀疏解(相较于下面的L2正则化)—— 即求得的W向量中会有更少的非零值 。

 

 

2、L2正则化——岭回归

 

在目标函数后面加一项

 

则,目标函数变为

 

这也被称为岭回归。

 

L2正则化均匀选择参数,让拟合曲线各项系数都差不多,虽然没能减少项的个数,但是均衡了各项系数,这是原理上与L1正则化不同的地方。

 

六、线性回归的变化与应用

 

如果该问题的模型不是线性回归,则可尝试令模型预测值逼近y的衍生物。

 

比如——对数线性回归

 

更一般的: ,这称为广义线性模型。

 

七、python实现

 

1、多元线性回归

 

from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
X_train,X_test,Y_train,Y_test=train_test_split(x,y,test_size=0.3,random_state=1)//x,y分别为已经分好的属性数据和标记数据
model = LinearRegression()
model.fit(X_train, Y_train)
score = model.score(X_test, Y_test)
print('模型测试得分:'+str(score))
Y_pred = model.predict(X_test)
print(Y_pred)

 

2、岭回归

 

from sklearn.linear_model import Ridge
from sklearn.model_selection import train_test_split
X_train,X_test,Y_train,Y_test=train_test_split(x,y,test_size=0.3,random_state=1)//x,y分别为已经分好的属性数据和标记数据
model = Ridge(alpha=1)
model.fit(X_train, Y_train)
score = model.score(X_test, Y_test)
print('模型测试得分:'+str(score))
Y_pred = model.predict(X_test)
print(Y_pred)

 

3、lasso回归

 

from sklearn.linear_model import Lasso
from sklearn.model_selection import train_test_split
X_train,X_test,Y_train,Y_test=train_test_split(x,y,test_size=0.3,random_state=1)//x,y分别为已经分好的属性数据和标记数据
model = Lasso(alpha=0.1)
model.fit(X_train, Y_train)
score = model.score(X_test, Y_test)
print('模型测试得分:'+str(score))
Y_pred = model.predict(X_test)
print(Y_pred)

 

八、线性模型——回归问题 分类问题

 

上述说的都是用线性模型解决回归问题,其实线性模型也可以用来解决分类问题——逻辑回归(对数几率回归)。

 

详见 逻辑回归(Logistic Regression)_tt丫的博客-CSDN博客_逻辑回归csdn

 

欢迎大家在评论区批评指正,谢谢大家~

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。