1个例子解释 隐马尔科夫模型(HMM) 的 5 个基本要素

隐马尔可夫模型（Hidden Markov Model，HMM）是一个寻找事物在一段时间里的变化模式的统计学方法，它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析。

HMM 现已成功地用于语音识别，自然语言处理，模式识别以及故障诊断等领域。

下面，通过一个例子，通俗易懂地解释 HMM 的 5 个基本要素，希望对大家有所启发。

基本要素

隐马尔可夫模型的 5 个要素如下所示：

1. 隐含状态 S

这些状态之间满足马尔可夫性质，是马尔可夫模型中实际所隐含的状态。这些状态通常无法通过直接观测而得到。

2. 可观测状态 O

在模型中与隐含状态相关联，可通过直接观测而得到，例如O1、O2、O3等。

3. 初始状态概率矩阵 π

表示隐含状态在初始时刻 t=1 的概率矩阵，例如 t=1 时，P(S1)=p1、P(S2)=P2、P(S3)=p3，则初始状态概率矩阵 π=[ p1 p2 p3 ].

4. 隐含状态转移概率矩阵 A

描述了HMM模型中 各个隐含状态 之间的转移概率，Aij = P( Sj | Si ), 1≤i, j≤N

表示在 t 时刻、状态为 Si 的条件下，在 t+1 时刻状态是 Sj 的概率。

5. 观测状态转移概率矩阵 B，英文为 Confusion Matrix，令N代表隐含状态数目，M代表可观测状态数目，则：Bij = P( Oi | Sj ), 1≤i≤M, 1≤j≤N ，表示在 t 时刻、隐含状态是 Sj 条件下，观察状态为 Oi 的概率。

例子解释

假设我们手里有三个不同的骰子，第一个骰子是我们平常见的骰子，称这个骰子为 D6，6个面，每个面（1，2，3，4，5，6）出现的概率是1/6。第二个骰子是个四面体，称这个骰子为 D4，每个面（1，2，3，4）出现的概率是1/4。第三个骰子有八个面，称这个骰子为 D8，每个面（1，2，3，4，5，6，7，8）出现的概率是1/8。

因此，HMM 的 5 个要素中的 2 个已经知道了，即：隐含状态 S = { D6, D4, D8 }；可观测状态 O = {1，2，3，4，5，6，7，8 }. 同时，其他3个矩阵的shape也能确定了，初始状态初始状态概率矩阵的 shape 为 (3,1) , 隐含状态转移概率矩阵 A 的 shape 为 (3,3) ，观测状态转移概率矩阵 B 的shape 为 (3, 8).

假设我们开始掷骰子，我们先从三个骰子里挑一个，挑到每一个骰子的概率都是1/3。然后我们掷骰子，得到一个数字，1，2，3，4，5，6，7，8中的一个。不停的重复上述过程，我们会得到一串数字，每个数字都是1，2，3，4，5，6，7，8中的一个。

例如我们可能得到这么一串数字（掷骰子5次）：1 6 3 5 2 . 这串数字叫做可见状态链。但是在隐马尔可夫模型中，我们不仅仅有这么一串可见状态链，还有一串隐含状态链。在这个例子里，这串隐含状态链就是你用的骰子的序列。比如，隐含状态链有可能是：D6 D8 D8 D6 D4

一般来说，HMM中说到的马尔可夫链其实是指隐含状态链，因为隐含状态（骰子）之间存在转换概率（transition probability）。在我们这个例子里，设定 t= 1 时， 抽中骰子 D4, D6, D8 的概率分别为 1/3 ，则初始状态概率矩阵为 (1/3, 1/3, 1/3).

设定，D6后面不能接D4，D6后面是D6的概率是0.9，是D8的概率是0.1；D4后面是D4 的概率为 0.3，D6的概率为 0.3，D8的概率是 0.4 ；D8后面是D4 的概率为 0.6，D6的概率为 0.1，D8的概率是 0.3 ；则 隐含状态转移概率矩阵 A

D4 D6 D8

D4 0.3 0.3 0.4

D6 0 0.9 0.1

D8 0.6 0.1 0.3

尽管可见状态之间没有转换概率，但是隐含状态和可见状态之间有一个概率叫做输出概率（emission probability）。就我们的例子来说，六面骰（D6）产生1的输出概率是1/6。产生2，3，4，5，6的概率也都是1/6。我们同样可以对输出概率进行其他定义。比如，我有一个被赌场动过手脚的六面骰子，掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10，因此 ，观测状态转移概率矩阵 B

1 2 3 4 5 6 7 8

D4 1/4 1/4 1/4 1/4 0 0 0 0

D6 1/6 1/6 1/6 1/6 1/6 1/6 0 0

D8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8

我们同样可以对输出概率进行其他定义。比如，我有一个D6筛子被赌场动过手脚掷出来是1的概率更大，是1/2，掷出来是2，3，4，5，6的概率是1/10，则此时的 观测状态转移概率矩阵 B

1 2 3 4 5 6 7 8

D4 1/4 1/4 1/4 1/4 0 0 0 0

D6 1/2 1/10 1/10 1/10 1/10 1/10 0 0

D8 1/8 1/8 1/8 1/8 1/8 1/8 1/8 1/8

总结

例子解释 HMM 的 5 元素，希望对大家有用。如果觉得有点帮助，欢迎点赞和转发，您的鼓励是我一直前进的最大动力！

相关链接

• https://blog.csdn.net/applenob/article/details/51470729
• https://www.cnblogs.com/skyme/p/4651331.html

点击以下标题查看相关内容：

• 深度学习|大师之作，必是精品
• 免费送6本精选的算法，机器学习，深度学习的书
• 机器学习、深度学习干货分享
• 自然语言处理|语言模型介绍
• 自然语言处理之词To词向量
• 一文了解自然语言处理的每个范畴用到的核心技术，难点和热点(1)
• NLP入门：CNN,RNN应用文本分类，个性化搜索，苹果和乔布斯关系抽取(2)
• 下一代信息服务新风口：以自然语言为基本输入方式的问答系统综述(附两篇论文)
• 一文梳理NLP之机器翻译和自动摘要的发展现状
• 斯坦福大学NLP课程笔记系列1：深度学习应用于NLP介绍
• TensorFlow 实战 3层网络求解嵌入词向量，附代码详解