Press "Enter" to skip to content

概念篇-多分类多标签

本站内容均来自兴趣收集,如不慎侵害的您的相关权益,请留言告知,我们将尽快删除.谢谢.

最近在处理一个多分类的归类问题。多分类问题是个很常见的问题。但由于大家问题描述的角度不同,纠结点不一样,用词不同,导致有时候理解上出现了what?的尴尬情况。但透过现象看本质,抓住机器学习本质就是找公式,解方程,解不出来就尽量优化这个核心思想,就不会lost。

 

什幺是归类。

 

在图像归类中,

 

手写数字识别,预测目标是0,1,2…9中的某一个数字

 

自动驾驶中的目标检测,预测目标是汽车,行人,建筑物

 

在自然语言处理中,

 

情感分类,预测目标文字所要表达的情感是高兴,悲伤,愤怒

 

传统的逻辑回归分类问题,是二项分类,是非问题,就是预测目标是不是属于某个分类。比如说,是新冠病毒携带者吗?是合理的吗?是坏的吗?当把传统的二项分类逻辑回归算法衍生到多分类的时候,该如何处理呢。因为逻辑回归算法比较简单,一个线性方程再加一个激活函数,解决问题能力有限,因此一个模型直接用于多分类,效果不理想。(图片来自网络)

 

 

所以,处理多分类问题的时候,通常就是分解为多个二项模型,然后一一判断是不是属于某个分类。

 

对于手写数字识别问题,就是有10个二项分类模型,分别预测是不是0,是不是1。。。

 

这样的做法,就是很可能,一个目标可能会落入多个分类中。对于实际问题,确实也有属于多分类的情况。比如说,自然语言处理中的命名实体识别NER,某个词组可能同时归类于”组织”和”时间发生地”。可以说多个二项分类模型的组合是default的解决了目标可能处于多个分类的这个问题。

 

但是如何处理只能是其中一个分类的问题呢。我们知道,逻辑回归的输出其实是代表概率,为了避免又是1又是0的问题,最后以选取概率最大的分类,作为最后的目标分类,就可以解决这个问题。

 

当我们用多层神经网络来取代罗辑回归算法的时候,由于网络的复杂,可以fit的情况越来越多,也就是可以用更加复杂的方程来匹配样本。(逻辑回归分类只有一层,怎幺整都没法匹配复杂样本的) 。这个时候,多个分类问题并不需要分成多个网络来分别处理。

 

这时候需要保证的是输出层的节点数必须与分类的个数是一致的。从概念上,可以从更通用的角度来理解,这个模型网络就是一个n维(n个feature)的矢量到一个m维(m个分类)适量的transformer。(图片来自网络)

 

 

而以上提到的两种归类问题(多个分类可以共存与否)被转换为两个互相对立的概念: multi-class(不可共存,排他) 和multi-label(可以共存)

 

其实我很不喜欢把它们对立起来,明明就是同样的网络模型嘛,唯一的区别就是激活函数。multi-class 的激活函数用softmax,这样保证最后只有一个class被选中。multi-label的激活函数用sigmoid, 不管别人怎样,我根据我自己的标准来归类。激活函数不一样,最后的loss function的cross entropy的公式自然也不一样,但本质上就是交叉熵,最大似然。

 

所以再用pre-trained的模型时候,至少两件事情必须考虑,根据类别数量确定输出层的节点数,根据是多分类问题还是多标签问题确定激活函数。

 

当然有衍生的复杂问题。例如对目标进行不同角度的分类,比如说一首音乐对于风格和流行度同时进行分类,一个排他一个不排他。回到概念的本质,其实也一样,定位输出,找出优化方程(loss function)。

 

Be First to Comment

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注