概率图模型
这篇文章主要想总结一下 朴素贝叶斯 、 最大熵 、 隐马尔可夫 和 条件随机场 这四个概率图模型之间的一些联系与区别。 朴素贝叶斯假设条件独立性,在给定目标值 $y$ 时,$x$ 之间是相互独立的, 对于序列来说,它不会去考虑单个位置之间的相互依赖。隐马尔可夫假设观测序列在连续相邻位置间的状态存在依赖,它的缺陷是观测序列中的每个元素都是独立的,而之后条件随机场解决了该问题。
模型类型
从模型类型上来说, 朴素贝叶斯和隐马尔可夫都是生成模型,采用生成式方法进行标签生成;最大熵和条件随机场是判别模型,通过将各种特征组合在一起判断标签。
朴素贝叶斯和最大熵
这两个模型都是为了学习条件概率,朴素贝叶斯是 最大化后验概率 ,而最大熵是 最大化条件熵 。
最大熵和条件随机场
考虑序列标注问题,如果用最大熵求解:
- 将整个序列标注看作分类问题,如果序列 $y$ 的长度有 $n$ 个,并且序列上的元素共有 $m$ 种状态,那幺这个类别一共有 $m^n$ 个。
- 每次只考虑一项,一个个预测过去,但是失去了序列中元素的前后顺序关系。
条件随机场的做法是在子序列上定义特征并计算子序列得分,比如 $y_{i-1}, y_i$ , 这样也就 $m^2$ 种, 这样条件随机场就有效的考虑了上下文信息。
参考:
最大熵模型和条件随机场
条件随机场(CRF)和隐马尔科夫模型(HMM)最大区别在哪里?CRF的全局最优体现在哪里?
谈谈序列标注三大模型HMM、MEMM、CRF
Be First to Comment