Press "Enter" to skip to content

概率图模型之间的关系

概率图模型

 

 

这篇文章主要想总结一下 朴素贝叶斯 、 最大熵 、 隐马尔可夫 和 条件随机场 这四个概率图模型之间的一些联系与区别。 朴素贝叶斯假设条件独立性,在给定目标值 $y$ 时,$x$ 之间是相互独立的, 对于序列来说,它不会去考虑单个位置之间的相互依赖。隐马尔可夫假设观测序列在连续相邻位置间的状态存在依赖,它的缺陷是观测序列中的每个元素都是独立的,而之后条件随机场解决了该问题。

 

模型类型

 

从模型类型上来说, 朴素贝叶斯和隐马尔可夫都是生成模型,采用生成式方法进行标签生成;最大熵和条件随机场是判别模型,通过将各种特征组合在一起判断标签。

 

朴素贝叶斯和最大熵

 

这两个模型都是为了学习条件概率,朴素贝叶斯是 最大化后验概率 ,而最大熵是 最大化条件熵 。

 

最大熵和条件随机场

 

考虑序列标注问题,如果用最大熵求解:

 

 

    1. 将整个序列标注看作分类问题,如果序列 $y$ 的长度有 $n$ 个,并且序列上的元素共有 $m$ 种状态,那幺这个类别一共有 $m^n$ 个。

 

    1. 每次只考虑一项,一个个预测过去,但是失去了序列中元素的前后顺序关系。

 

 

条件随机场的做法是在子序列上定义特征并计算子序列得分,比如 $y_{i-1}, y_i$ , 这样也就 $m^2$ 种, 这样条件随机场就有效的考虑了上下文信息。

 

参考:

 

最大熵模型和条件随机场
条件随机场(CRF)和隐马尔科夫模型(HMM)最大区别在哪里?CRF的全局最优体现在哪里?
谈谈序列标注三大模型HMM、MEMM、CRF

Be First to Comment

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注