Press "Enter" to skip to content

基于(线性 | 逻辑)回归的思想分类(神经网络的由来)

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

目录

 

基于回归的思想分类:

训练时 :类 A 记为 1 ;类 B 记为 -1 。
测试时 :将接近 1 的数分为 A 类,接近 -1 的数分为 B 类。

1 线性回归

 

用 贝叶斯决策 计算每个样本的 P(C 1 |x)(后验概率) ; P(C i )称为先验概率 ,即不对样本进行任何观察的概率; P(X|C i )称为概率密度 ,即x在C i 中的分布概率。 Σ (P(C i ) P(X|C i ))称为全概率公式 ,即在所有情况下x发生的概率。

通过 高斯函数 (可用其他方法,但都是为了找到最大化 最大似然 的参数),基于均值μ和协方差Σ得到一个 最大化 的 最大似然值 。
注:最大似然 即在已知试验结果(即是样本)的情况下,用来估计满足这些样本分布的参数,把可能性最大的那个参数作为真实的参数估计。

2 逻辑回归

由不同的 w 和 b 得到函数 f 来表示样本 x 为 C i 类的概率。
**注:**σ为激活函数。

将需要最小化的 损失函数 表示为Σ n 减去两个伯努利分布(p,q)的交叉熵。
注: 交叉熵 一般用于 目标与预测值 之间的差距,熵越小,差距越小。

3 对比&总结

在 第一阶段 , 线性回归 的 目标函数 最终实际可以写为下图f w,b 的形式,由于线性回归的函数 未加 σ激活函数,因此其 输出 的是 任意值 ;而 逻辑回归 则由于 加 了σ激活函数, 输出 值被限定在 0,1之间 。
而在第二阶段,线性回归的损失函数直接通过对 期望值f (x)和 目标值y n 帽 做 平方差 即可;而逻辑回归则要求对 期望值f (x)和 目标值y n 帽 求熵。
同时,两者的 目标值y n 帽 也不同, 逻辑回归 的 目标值 只有 0,1 来代表两类;而 线性回归 的 目标值 则不唯一。

交叉熵和 平方差 的 区别 在于当初值里 目标值 (谷底)远时, 交叉熵 可以很快的接近 目标值 ,而 平方差 则由于过于 平坦 ,计算的会很 慢 。

-下面对激活函数σ进行讲解,如下图,σ用于将最终的输出结果转化为0-1之间。

 

 

4 回归分类的局限性&神经网络的由来

 

由于逻辑回归的界限为一条直线。如遇下图的情况,红点和蓝点的分类无法表示出来。

可以通过特征转化让他们的位置改变来完成分类。

因此可以通过几个逻辑回归函数叠加来完成更加复杂的分类,如下图,而这种叠加的方式称为神经网络。

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注