隐藏的马尔可夫模型与马尔可夫过渡模型与状态空间模型……?


18

对于我的硕士学位论文,我正在为血清状态定义的不同状态之间的转换开发统计模型。现在,我不会在此上下文中提供太多细节,因为我的问题是更笼统/理论上的。无论如何,我的直觉是我应该使用隐马尔可夫模型(HMM)。在研究文献和制定模型所需的其他背景研究时,我遇到的麻烦是对术语的困惑以及不同类型的隐藏过程模型之间的确切差异。我只是很模糊地意识到它们的区别(后面的例子)。此外,在我看来,至少从我在文献中看到的来看,围绕这种类型的建模建立了非常不标准的词汇,

因此,我希望人们能帮助我消除其中的某些歧义。我有很多问题,但是我猜想,随着一两个问题得到令人满意的回答,其余的事情将因此而纠结。我希望这不会太冗长;如果主持人希望我将其拆分为多个帖子,我会。无论如何,我都会用粗体显示问题,然后是在文献搜索过程中发现的问题的详细信息。

因此,没有特别的顺序:

1)什么是“隐藏过程模型”?

我一直认为“隐藏过程模型”是一个笼统的术语,可以用来描述许多不同类型的统计模型,这些模型本质上都是对“重叠系统,潜在隐藏的线性累加过程”([1])。确实,[2]将“隐藏过程模型”定义为“指代状态空间模型或隐藏马尔可夫模型的通用术语”。[1]似乎可以推断出隐马尔可夫模型是专门针对二进制状态推论的隐式过程模型的子类型。在我看来,基本含义是隐藏过程模型是隐藏马尔可夫模型的概括。我有时会看到“隐藏的流程模型”和“

我的直觉对吗?如果不是,是否有人参考可以更清楚地描述这些方法?

2)隐马尔可夫模型和状态空间模型有什么区别?

再次回到[2](仅是因为该论文带有清晰的术语表,而不是因为该论文本身似乎特别权威;它只是单句定义的便捷来源),差异似乎在于隐马尔可夫模型是状态空间模型的一种特定类型,其中状态是马尔可夫状态(似乎对马尔可夫过程的阶没有明确的限制;即,一阶,...,k阶)。这里,状态空间模型被定义为“一个模型,它并行运行两个时间序列,一个捕获真实状态(潜在)的动态,另一个捕获由这些潜在但可能未知的状态组成的观测值。” 如果那些州也表现出马尔可夫性质,那么它就是一个隐马尔可夫模型。

然而,[3]将状态空间模型与隐马尔可夫模型之间的差异定义为与潜在状态的特征有关。在这里,隐马尔可夫模型处理离散状态,而状态空间模型处理连续状态。否则,它们在概念上是相同的。

在我看来,这是两个截然不同的定义。在一种情况下,隐马尔可夫模型是状态空间模型的子类型,而在另一种情况下,它们两者都是更广泛的隐藏过程模型类的不同实例。以下哪项是正确的?我的直觉指向我遵循[3]而不是[2],但是我找不到支持这一观点的权威资料。

3)什么是“马尔可夫转移模型”?

许多资料中出现的另一个术语是“马尔可夫过渡模型”。我在任何教科书中都找不到该短语,但是在期刊文章中却出现了很多(只需将其插入Google进行确认即可)。我无法找到该术语的严格定义(我发现每篇论文都引用了另一篇论文,引用了另一篇论文,等等,将我送往一个毫无理智的PubMed兔子洞中)。我从上下文中得到的印象是,这是一个非常笼统的术语,指的是其中推论的对象是遵循马尔可夫过程的状态之间的转换的任何模型,并且隐马尔可夫模型可以被视为马尔可夫转换模型的一种特定类型。 。[4]然而,似乎可以互换使用过渡模型,隐马尔可夫模型和几个类似的术语。

另一方面,[5]在讨论马尔可夫转移模型和隐马尔可夫模型方面有些不同。作者指出:“过渡模型提供了一种汇总响应者动力学的方法,有助于解释更复杂的隐马尔可夫模型的结果”。我不完全理解这句话的含义,也无法在本文的其他地方找到理由。但是,他们似乎暗示Markov过渡模型将时间用作连续变量,而隐藏的Markov模型将时间用作离散变量(它们没有直接说出来;他们说他们使用R包'msm'来拟合Markov过渡模型,后来将“ msm”描述为与HMM的R包相比,连续地处理时间)。

4)其他概念(例如动态贝叶斯网络)适合什么地方?

根据维基百科,动态贝叶斯网络是“隐马尔可夫模型和卡尔曼滤波器的概括”。在其他地方,我看到了隐马尔可夫模型,它被定义为动态贝叶斯网络的一种特例,“世界的整个状态由一个单独的隐藏状态变量表示”(动态贝叶斯系统的定义及其与HMM的关系?)。 。我通常理解这种关系,[6]对此做了很好的解释。

但是,我很难理解这种关系如何适用于更广泛的事物。也就是说,考虑到HMM和DBN之间的这种关系,状态空间模型和隐藏过程模型如何与两者相关?考虑到隐马尔可夫模型似乎有多个“概括”,所有这些不同类型的方法如何相互关联?


参考文献:

[1]汤姆·米切尔(Tom M. Mitchell),丽贝卡·哈金森(Rebecca Hutchinson),Indrayana Rustandi。“隐藏的过程模型”。2006.CMU-CALD-05-116。卡内基·梅隆大学。

[2]奥利弗·吉米尼斯(Oliver Giminez),让·多米尼克·勒布雷顿(Jean-Dominique Lebreton),让·米歇尔·盖拉德(Jean-Michel Gaillard),雷米·乔奎特(Remi Choquet),罗杰·普拉德尔(Roger Pradel)。“使用隐藏的过程动态模型估计人口统计参数”。理论种群生物学。2012.82(4):307-316。

[3]芭芭拉·恩格哈特。“隐马尔可夫模型和状态空间模型”。STA561:概率机器学习。杜克大学。http://www.genome.duke.edu/labs/engelhardt/courses/scribe/lec_09_25_2013.pdf

[4] Jeroen K. Vermunt。“连续时间的多级潜在马尔可夫建模及其在动态情绪评估数据分析中的应用”。社会统计讲习班。2012年,蒂尔堡大学。http://www.lse.ac.uk/statistics/events/SpecialEventsandConferences/LSE2013-Vermunt.pdf

[5]肯·理查森,大卫·哈特,克里斯蒂·卡特。“了解健康和劳动力转移:将Markov模型应用于SoFIE纵向数据”。官方统计研究丛书。2012。

[6] Zoubin Ghahramani。“隐马尔可夫模型和贝叶斯网络简介”。模式识别与人工智能杂志。2001. 15(1):9-42。


您可能还需要尝试循环神经网络。在语音识别中,有些人已经成功地将它们用作HMM的替代品。
阿尔伯特

感谢您的建议。目前,我希望在继续研究新技术之前先澄清一下关于这些技术的问题。
瑞安·西蒙斯

他们指的是同一件事。请参阅Scholarpedia.org/article/State_space_model Sangdon

2
@Ryan Simmons我认为查看YouTube上有关markov链和隐藏的markov模型的mathmonk(又名Jeffrey Miller)的视频是一个好主意。
JimBoy 2015年

既然您现在可能已经递交了论文,您是否愿意亲自回答这个问题?我想请一位专家在这里回答,这可能也适用于将近800位阅读此问题的其他人。
Ulf Aslak

Answers:


4

以下是来自Scholarpedia网站的引文:

状态空间模型(SSM)是指一类概率图形模型(Koller和Friedman,2009),它描述了潜在状态变量和观测值之间的概率依赖性。状态或测量结果可以是连续的也可以是离散的。“状态空间”一词起源于1960年代的控制工程领域(Kalman,1960年)。SSM提供了一个总体框架,用于分析通过随机过程测得或观察到的确定性和随机动力系统。SSM框架已成功应用于工程,统计,计算机科学和经济学领域,以解决广泛的动力学系统问题。用于描述SSM的其他术语是隐马尔可夫模型(HMM)(Rabiner,1989)和潜在过程模型。研究最完善的SSM是卡尔曼滤波器,


3

我和艾伦·霍克斯(Alan Hawkes)撰写了很多有关连续时间具有离散状态的聚合马尔可夫过程的文章。我们的工作是关于解释单个离子通道分子的观察结果的问题,并且包括对错过的短暂事件的精确处理。类似的理论也适用于可靠性理论。它可能很适合其他问题。请参阅http://www.onemol.org.uk/?page_id=175以获取参考。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.