Press "Enter" to skip to content

免费Python机器学习课程三:多项式回归

线性回归的改进版本中的多项式回归。如果您知道线性回归,那幺对您来说很简单。如果没有,我将在本文中解释这些公式。还有其他先进且更有效的机器学习算法。但是,学习基于线性的回归技术是一个好主意。因为它们简单,快速并且可以使用众所周知的公式。尽管它可能不适用于复杂的数据集。

 

 

多项式回归公式

 

仅当输入变量和输出变量之间存在线性相关性时,线性回归才能很好地执行。如前所述,多项式回归建立在线性回归的基础上。如果您需要线性回归的基础知识,请访问线性回归:

 

Python中的线性回归算法

 

学习线性回归的概念并从头开始在python中开发完整的线性回归算法

 

多项式回归可以更好地找到输入要素与输出变量之间的关系,即使该关系不是线性的。它使用与线性回归相同的公式:

 

Y = BX + C

 

我敢肯定,我们都在学校学过这个公式。对于线性回归,我们使用如下符号:

在这里,我们从数据集中获得X和Y。X是输入要素,Y是输出变量。Theta值是随机初始化的。

 

对于多项式回归,公式如下所示:

我们在这里添加更多术语。我们使用相同的输入功能,并采用不同的指数以制作更多功能。这样,我们的算法将能够更好地了解数据。

 

幂不必为2、3或4。它们也可以为1 / 2、1 / 3或1/4。然后,公式将如下所示:

成本函数和梯度下降

 

成本函数给出了预测假设与值之间的距离的概念。公式为:

这个方程可能看起来很复杂。它正在做一个简单的计算。首先,从原始输出变量中减去假设。取平方消除负值。然后将该值除以训练示例数量的2倍。

 

什幺是梯度下降?它有助于微调我们随机初始化的theta值。我不打算在这里进行微积分。如果对每个θ取成本函数的偏微分,则可以得出以下公式:

在这里,alpha是学习率。您选择alpha的值。

 

多项式回归的Python实现

 

这是多项式回归的逐步实现。

 

(1) 在此示例中,我们将使用一个简单的虚拟数据集,该数据集提供职位的薪水数据。导入数据集:

 

import pandas as pd 
import numpy as np 
df = pd.read_csv('position_salaries.csv') 
df.head()

(2) 添加theta 0的偏差列。该偏差列将仅包含1。因为如果将1乘以数字,则它不会改变。

 

df = pd.concat([pd.Series(1, index=df.index, name='00'), df], axis=1) 
df.head()

(3) 删除”位置”列。由于”位置”列中包含字符串,并且算法无法理解字符串。我们有”级别”列来代表职位。

 

dfdf = df.drop(columns='Position')

 

(4) 定义我们的输入变量X和输出变量y。在此示例中,”级别”是输入功能,而”薪水”是输出变量。我们要预测各个级别的薪水。

 

y = df['Salary']X = df.drop(columns = 'Salary') 
X.head()

(5) 以”级别”列的指数为基础,创建”级别1″和”级别2″列。

 

X['Level1'] = X['Level']**2 
X['Level2'] = X['Level']**3 
X.head()

(6) 现在,标准化数据。用每一列除以该列的最大值。这样,我们将获得每列的值,范围从0到1。即使没有规范化,该算法也应该起作用。但这有助于收敛更快。同样,计算m的值,它是数据集的长度。

 

m = len(X) 
XX = X/X.max()

 

(7) 定义假设函数。这将使用X和theta来预测” y”。

 

def hypothesis(X, theta):  
  y1 = theta*X  
  return np.sum(y1, axis=1)

 

(8) 使用上面的成本函数公式定义成本函数:

 

def cost(X, y, theta):  
  y1 = hypothesis(X, theta)  
  return sum(np.sqrt((y1-y)**2))/(2*m)

 

(9) 编写梯度下降函数。我们将不断更新theta值,直到找到最佳成本。对于每次迭代,我们将计算成本以供将来分析。

 

def gradientDescent(X, y, theta, alpha, epoch): 
    J=[] 
    k=0 
    while k < epoch: 
        y1 = hypothesis(X, theta) 
        for c in range(0, len(X.columns)): 
            theta[c] = theta[c] - alpha*sum((y1-y)* X.iloc[:, c])/m 
        j = cost(X, y, theta) 
        J.append(j) 
        k += 1 
    return J, theta

 

(10) 定义了所有功能。现在,初始化theta。我正在初始化零数组。您可以采用任何其他随机值。我选择alpha为0.05,我将迭代700个纪元的theta值。

 

theta = np.array([0.0]*len(X.columns)) 
J, theta = gradientDescent(X, y, theta, 0.05, 700)

 

(11) 我们还获得了最终的theta值以及每次迭代的成本。让我们使用最终theta查找薪水预测。

 

y_hat = hypothesis(X, theta)

 

(12) 现在根据水平绘制原始薪水和我们的预期薪水。

 

%matplotlib inline 
import matplotlib.pyplot as plt 
plt.figure() 
plt.scatter(x=X['Level'],yy= y)            
plt.scatter(x=X['Level'], y=y_hat) 
plt.show()

我们的预测并不完全符合薪资趋势,但接近。线性回归只能返回一条直线。但是在多项式回归中,我们可以得到这样的曲线。如果该线不是一条好曲线,则多项式回归也可以学习一些更复杂的趋势。

 

(13) 让我们绘制我们在梯度下降函数中每个时期计算的成本。

 

plt.figure() 
plt.scatter(x=list(range(0, 700)), y=J) 
plt.show()

成本从一开始就急剧下降,然后下降缓慢。在一个好的机器学习算法中,成本应该一直下降直到收敛。请随意尝试不同的时期和不同的学习率(alpha)。

这是数据集:salary_data https://github.com/rashida048/Machine-Learning-With-Python/blob/master/position_salaries.csv
请点击以下链接获取完整的工作代码:多项式回归 https://github.com/rashida048/Machine-Learning-With-Python/blob/master/polynomial%20regression.ipynb

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注