机器学习(八):隐马尔科夫模型

持续更新中。。。


贝叶斯网络、马尔科夫网络、EM、条件随机场、最大熵模型的联系

1、将随机变量作为结点,若两个随机变量相关或者不独立,则将二者连接一条边;若给定若干随机变量,则形成一个有向图,即构成一个网络。
2、如果该网络是有向无环图,则这个网络称为贝叶斯网络。
3、如果这个有向图的拓扑结构退化成线性链的形式,则得到马尔科夫模型;因为每个结点都是随机变量,将其看成各个时刻(或空间)的相关变化,以随机过程的视角,则可以看成是马尔科夫过程。
4、若上述网络是无向的,则称为概率无向图模型,又称马尔科夫随机场。
5、如果在给定某些条件的前提下,研究这个马尔科夫随机场,则得到条件随机场。
6、如果使用条件随机场解决标注问题,并且进一步将条件随机场中的网络拓扑变成线性的,则得到线性链条件随机场。

  • 变量 + 依赖关系 –> 概率图网络
    • 概率有向图
      • 贝叶斯网络
        • 马尔科夫过程
        • 一阶马尔科夫链
        • 马尔科夫模型
    • 概率无向图(马尔科夫随机场)
      • 条件随机场
        • 线性链条件随机场
  • 生成式模型对联合分布概率p(x,y)进行建模,判别式模型直接对条件概率p(y|x)进行建模。
  • 贝叶斯网络又称信度网络或信念网络,是一个有向无环图。它的理论基础是贝叶斯公式。
  • 朴素贝叶斯基于贝叶斯定理与特征条件独立假设。
  • 概率无向图模型又称马尔科夫随机场,是一个可以由无向图表示的联合概率分布
  • 随机过程又称为随机函数,是随时间而随机变化的过程。
  • 马尔科夫性质:可以简单理解为将来与现在有关,与过去无关
  • HMM的预测问题又称为解码问题,它的学习问题可以用EM算法解决。
  • 最大熵模型:满足已知条件的所有概率模型中,熵最大的模型就是最好的模型。
  • 条件随机场与最大熵模型都是指数模型,CRF的求解借鉴了最大熵的思想
  • 只要可以转换为 序列标注 的问题,都可以用HMM、CRF和 MEMM(最大熵隐马尔科夫模型)解决

概率图模型演变
马尔科夫链与马尔科夫模型
马尔科夫随机场(概率无向图模型)
条件随机场
线性链条件随机场
隐马尔科夫的三个基本问题