基于（线性 | 逻辑）回归的思想分类（神经网络的由来）

目录

基于回归的思想分类：

训练时 ：类 A 记为 1 ；类 B 记为 -1 。
测试时 ：将接近 1 的数分为 A 类，接近 -1 的数分为 B 类。

1 线性回归

用 贝叶斯决策 计算每个样本的 P(C 1 |x)（后验概率） ； P（C i ）称为先验概率 ，即不对样本进行任何观察的概率； P（X|C i ）称为概率密度 ，即x在C i 中的分布概率。 Σ （P（C i ） P（X|C i ））称为全概率公式 ，即在所有情况下x发生的概率。

通过 高斯函数 （可用其他方法，但都是为了找到最大化 最大似然 的参数），基于均值μ和协方差Σ得到一个 最大化 的 最大似然值 。
注：最大似然 即在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。

2 逻辑回归

由不同的 w 和 b 得到函数 f 来表示样本 x 为 C i 类的概率。
**注：**σ为激活函数。

将需要最小化的 损失函数 表示为Σ n 减去两个伯努利分布（p，q）的交叉熵。
注： 交叉熵 一般用于 目标与预测值 之间的差距，熵越小，差距越小。

3 对比&总结

在 第一阶段 ， 线性回归 的 目标函数 最终实际可以写为下图f w,b 的形式，由于线性回归的函数 未加 σ激活函数，因此其 输出 的是 任意值 ；而 逻辑回归 则由于 加 了σ激活函数， 输出 值被限定在 0，1之间 。
而在第二阶段，线性回归的损失函数直接通过对 期望值f （x）和 目标值y n 帽 做 平方差 即可；而逻辑回归则要求对 期望值f （x）和 目标值y n 帽 求熵。
同时，两者的 目标值y n 帽 也不同， 逻辑回归 的 目标值 只有 0，1 来代表两类；而 线性回归 的 目标值 则不唯一。

交叉熵和 平方差 的 区别 在于当初值里 目标值 （谷底）远时， 交叉熵 可以很快的接近 目标值 ，而 平方差 则由于过于 平坦 ，计算的会很 慢 。

-下面对激活函数σ进行讲解，如下图，σ用于将最终的输出结果转化为0-1之间。

4 回归分类的局限性&神经网络的由来

由于逻辑回归的界限为一条直线。如遇下图的情况，红点和蓝点的分类无法表示出来。

可以通过特征转化让他们的位置改变来完成分类。

因此可以通过几个逻辑回归函数叠加来完成更加复杂的分类，如下图，而这种叠加的方式称为神经网络。