Press "Enter" to skip to content

机器学习中常见的损失函数

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

我们知道,在机器学习中的监督学习算法里,在假设空间中构造一个决策函数 f,对于给定的输入 X,相应的输出

 

 

image

 

与原先的预期值 Y 可能不一致。于是,我们需要定义一个损失函数(Loss Function)来度量这二者之间的“落差”。这个损失函数通常记作 L(Y,

 

 

image

 

)=L(Y,f(X )),为了方便起见,这个函数的值为非负数。

 

常见的损失函数有如下四类。

 

 

0-1 损失函数(0-1 Loss Function):

image

 

绝对损失函数(Absolute Loss Function):

 

 

L(Y, f(X)) =|Y – f(X)|

 

 

    1. 平方损失函数(Quadratic Loss Function):

 

 

L(Y, f(X)) =(Y – f(X))2

 

 

    1. 对数损失函数(logarithmic Loss Function):

 

 

L(Y, P(Y|X)) = -log P(Y|X)

 

损失函数值越小,说明实际输出

 

 

image

 

和预期输出Y之间的差值就越小,也就说明我们构建的模型越好。第一类损失函数很容易解释,就是表明目标达到了没有。达到了,输出为0(没有落差);没有达到,输出为1。

 

第二类损失函数就更具体了。拿减肥的例子来说,当前体重秤上的读数和减肥目标的差值有可能为正,也有可能为负。比如,假设我们的减肥目标是70公斤,但一不小心减肥过猛,减到60公斤,这时差值就是“-10”公斤,为了避免这样的正负值干扰,干脆就取绝对值好了。

 

第三类损失函数类似于第二类,同样起到避免正负值干扰的目的。但是为了计算方便(主要是为了求导),有时还会在前面加一个系数“1/2”(如以下公式所示),这样一求导,指数上的“2”和系数的“1/2” 相乘就可以得到“1”了。

 

(Y, f(X)) = 1/2(Y – f(X))2

 

当然,为了计算方便,还可以使用对数损失函数,即第四类损失函数。这样做的目的在于,可以使用最大似然估计来求极值(将难以计算的乘除法变成相对容易计算的加减法)。总而言之一句话,怎幺求解方便,就怎幺来!

 

或许你会问,这些损失函数到底有什幺用呢?当然有用了!因为我们靠这些损失函数的大小来“监督”机器学习算法,使之朝着预期目标前进,因此,它是监督学习的核心标志之一。

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注