10 逻辑回归
分类算法-逻辑回归
应用场景 (二分类)
广告点击率 (典型的二分类问题,点了或者没点,也能得出)
是否为垃圾邮件
是否患病
金融诈骗
虚假账号
逻辑回归定义
- 逻辑回归: 是一种分类算法,使用线性回归的式子作为输入,通过sigmoid函数转换为概率问题。
sigmoid函数:1/(1+e^-x), 将输入值x,映射到(0,1), 与概率值联系起来
逻辑回归公式
线性回归的输入 –> sigmoid 转换 –>分类 [0,1] 概率值, 阈值一般取0.5
- 逻辑回归的损失函数、优化
与线性回归原理相同,但由于是分类问题,损失函数不一样,只能通过梯度下降求解
对数似然损失函数:
y =1, 目标值为1 ,预测值为1的概率是100%, 则损失最小(接近0)
注: 哪一类别数据量小,则哪一种特征为正例1
目标值是0类,预测1类的概率越大,则损失越大。(预测属于0的概率越大越好)
只判断属于一个类别的概率,这里是属于1的概率,如果属于1的概率较小(小于阈值),则非1,即为0。
完整损失函数举例:(损失越小,精度越高)
损失函数
均方误差
只有一个最小值,不存在多个局部最低点
对数似然函数
多个局部最小值,使用梯度下降时,会存在问题,尽管没有全局最低点,但效果还可以。
改善方法:
随机初始化,多次比较最小值结果
求解过程中,调整学习率
逻辑回归案例
良/恶性乳腺癌数据
原始数据的下载地址:
https://archive.ics.uci.edu/ml/machine-learning-databases/
数据描述
(1)699条样本,共11列数据,第一列用语检索的id,后9列分别是与肿瘤
相关的医学特征,最后一列表示肿瘤类型的数值。
(2)包含16个缺失值,用”?”标出。
from sklearn.linear_model import LinearRegression, SGDRegressor, Ridge, LogisticRegression from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, classification_report from sklearn.externals import joblib import pandas as pd import numpy as np def logistic(): """ 逻辑回归做二分类癌症预测 :return: None """ # 1.读取数据 # 构造列标签名字 column = ['Sample code number','Clump Thickness', 'Uniformity of Cell Size','Uniformity of Cell Shape','Marginal Adhesion','Single Epithelial Cell Size','Bare Nuclei','Bland Chromatin','Normal Nucleoli','Mitoses','Class'] data = pd.read_csv('https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data', names=column) print(data) # 2.缺失值处理 data = data.replace(to_replace='?', value=np.nan) data = data.dropna() # 直接删除nan # 3. 进行数据分割 x_train, x_test, y_train, y_test = train_test_split(data[column[1:10]], data[column[10]], test_size=0.25) # 取特征值,目标值 # 4.标准化处理 (分类问题,目标值不做标准化) std = StandardScaler() x_train = std.fit_transform(x_train) x_test = std.transform(x_test) # 5. 逻辑回归预测 lg = LogisticRegression(C=1.0) lg.fit(x_train, y_train) # 训练lg模型 print(lg.coef_) y_predict = lg.predict(x_test) print('准确率:', lg.score(x_test, y_test)) print('召回率:',classification_report(y_test, y_predict, labels=[2,4], target_names=['良性','恶性'])) if __name__ == '__main__': logistic()
逻辑回归总结
- 应用:广告点击率预测,是否患病,金融诈骗,是否为虚假账号 (带有概率的二分类问题)
- 优点:适合需要得到一个分类概率的场景,简单,速度快
- 缺点:不方便处理多分类问题 1 vs 1, 1 vs
生成模型与判别模型比较
有没有先验概率 ( P(C) ) 需不需要总结历史数据
Be First to Comment