Questions tagged «hidden-markov-model»

隐藏的马尔可夫模型用于建模系统,这些系统被假定为具有隐藏(即未观察到)状态的马尔可夫过程。

11
学习马尔可夫链和隐马尔可夫模型的资源
我正在寻找资源(教程,教科书,网络广播等)来了解Markov Chain和HMM。我的背景是生物学家,目前正在从事与生物信息学有关的项目。 另外,我需要对Markov模型和HMM有足够了解的必要数学背景是什么? 我一直在寻找使用Google的方法,但是到目前为止,我还没有找到一个很好的入门教程。我敢肯定,这里的人知道得更多。


3
隐马尔可夫模型与条件随机场之间的直观区别
我知道HMM(隐马尔可夫模型)是生成模型,而CRF是判别模型。我也了解如何设计和使用CRF(条件随机场)。我不明白的是它们与HMM有何不同?我读到在HMM的情况下,我们只能在前一个节点,当前节点和转移概率上对下一个状态建模,但是在CRF的情况下,我们可以这样做,并且可以将任意数量的节点连接在一起以形成依赖关系或上下文?我在这里正确吗?

1
隐马尔可夫模型与粒子滤波器(和卡尔曼滤波器)之间的区别
这是我的老问题 我想问问是否有人知道隐马尔可夫模型(HMM)和粒子滤波器(PF)之间的区别(如果有区别),并因此得知卡尔曼滤波器,或者在什么情况下我们使用哪种算法。我是学生,必须做一个项目,但首先我必须了解一些事情。 因此,根据书目,这两个都是状态空间模型,包括隐藏(或潜在或不可观察)状态。根据Wikipedia(Hidden_​​Markov_model), “在HMM中,隐藏变量的状态空间是离散的,而观察值本身可以是离散的(通常从分类分布生成)或连续的(通常从高斯分布生成)。隐藏的马尔可夫模型也可以泛化为允许连续的状态空间。这样的模型的例子是那些对隐变量的马尔可夫过程是线性动力学系统,在相关变量之间具有线性关系,并且所有隐变量和观测变量都遵循高斯分布的模型。在简单的情况下,例如刚才提到的线性动力系统,精确推断是很容易的(在这种情况下,使用卡尔曼滤波器);但是,通常,在具有连续潜在变量的HMM中进行精确推断是不可行的,必须使用近似方法,” 但是对我而言,这有点令人困惑……简而言之,这是否意味着关注(也基于我所做的更多研究): 在HMM中,状态空间可以是离散的或连续的。还观测本身可以是离散的或连续的。HMM也是线性和高斯或非高斯动力系统。 在PF,状态空间可以是离散的或连续的。还观测本身可以是离散的或连续的。但是PF是一个非线性(非高斯?)动力系统(它们有区别吗?)。 当我们具有线性和高斯动力系统时,将使用卡尔曼滤波器(在我看来也像HMM一样)。 另外,我怎么知道该选择哪种算法,因为在我看来,所有这些似乎都是相同的...我还发现了一篇论文(不是英文),其中说PF虽然可以具有线性数据(例如来自传感器结点的原始数据)识别运动),则动力学系统可以是非线性的。这会发生吗?它是否正确?怎么样? 对于手势识别,研究人员可以使用HMM或PF,但是他们没有解释为什么选择每种算法……有人知道我可以如何帮助您区分这些算法,了解它们的差异以及如何选择最佳算法吗? 很抱歉,如果我的问题太大,或者某些部分还很幼稚,但我没有找到令人信服的科学答案。非常感谢您抽出宝贵的时间! 这是我的新问题(根据@conjugateprior的帮助) 因此,通过进一步阅读,我想更新我以前的评论的某些部分,并确保我对所发生的事情有更多的了解。 再次简单地说,保护伞是动态贝叶斯网络,其中包含HMM和状态空间的模型(子类)(http://mlg.eng.cam.ac.uk/zoubin/papers/ijprai.pdf)。 此外,这两个模型之间的初始差异在于,在HMM中,隐藏状态变量是离散的,而观测值可以是离散的或连续的。在PF中,隐藏状态变量是连续的(实值隐藏状态向量),并且观测值具有高斯分布。 此外,根据@conjugateprior,每个模型都有以下3个任务:滤波,平滑和预测。在滤波中,模型HMM将离散的隐藏状态变量用于正向算法,将状态空间用于连续变量并将线性动态系统用于卡尔曼滤波器,等等。 但是,HMM也可以泛化为允许连续的状态空间。 通过HMM的这些扩展,这两个模型在概念上似乎是相同的(正如在“ 隐马尔可夫模型”,“马尔可夫过渡模型”与“状态空间模型...”中提到的一样)。 我认为我使用的术语更加准确,但对我来说一切仍然很模糊。谁能向我解释HMM和State Space模型有什么区别? 因为我真的找不到适合我需求的答案。 再次谢谢你!

2
隐藏的马尔可夫模型与马尔可夫过渡模型与状态空间模型……?
对于我的硕士学位论文,我正在为血清状态定义的不同状态之间的转换开发统计模型。现在,我不会在此上下文中提供太多细节,因为我的问题是更笼统/理论上的。无论如何,我的直觉是我应该使用隐马尔可夫模型(HMM)。在研究文献和制定模型所需的其他背景研究时,我遇到的麻烦是对术语的困惑以及不同类型的隐藏过程模型之间的确切差异。我只是很模糊地意识到它们的区别(后面的例子)。此外,在我看来,至少从我在文献中看到的来看,围绕这种类型的建模建立了非常不标准的词汇, 因此,我希望人们能帮助我消除其中的某些歧义。我有很多问题,但是我猜想,随着一两个问题得到令人满意的回答,其余的事情将因此而纠结。我希望这不会太冗长;如果主持人希望我将其拆分为多个帖子,我会。无论如何,我都会用粗体显示问题,然后是在文献搜索过程中发现的问题的详细信息。 因此,没有特别的顺序: 1)什么是“隐藏过程模型”? 我一直认为“隐藏过程模型”是一个笼统的术语,可以用来描述许多不同类型的统计模型,这些模型本质上都是对“重叠系统,潜在隐藏的线性累加过程”([1])。确实,[2]将“隐藏过程模型”定义为“指代状态空间模型或隐藏马尔可夫模型的通用术语”。[1]似乎可以推断出隐马尔可夫模型是专门针对二进制状态推论的隐式过程模型的子类型。在我看来,基本含义是隐藏过程模型是隐藏马尔可夫模型的概括。我有时会看到“隐藏的流程模型”和“ 我的直觉对吗?如果不是,是否有人参考可以更清楚地描述这些方法? 2)隐马尔可夫模型和状态空间模型有什么区别? 再次回到[2](仅是因为该论文带有清晰的术语表,而不是因为该论文本身似乎特别权威;它只是单句定义的便捷来源),差异似乎在于隐马尔可夫模型是状态空间模型的一种特定类型,其中状态是马尔可夫状态(似乎对马尔可夫过程的阶没有明确的限制;即,一阶,...,k阶)。这里,状态空间模型被定义为“一个模型,它并行运行两个时间序列,一个捕获真实状态(潜在)的动态,另一个捕获由这些潜在但可能未知的状态组成的观测值。” 如果那些州也表现出马尔可夫性质,那么它就是一个隐马尔可夫模型。 然而,[3]将状态空间模型与隐马尔可夫模型之间的差异定义为与潜在状态的特征有关。在这里,隐马尔可夫模型处理离散状态,而状态空间模型处理连续状态。否则,它们在概念上是相同的。 在我看来,这是两个截然不同的定义。在一种情况下,隐马尔可夫模型是状态空间模型的子类型,而在另一种情况下,它们两者都是更广泛的隐藏过程模型类的不同实例。以下哪项是正确的?我的直觉指向我遵循[3]而不是[2],但是我找不到支持这一观点的权威资料。 3)什么是“马尔可夫转移模型”? 许多资料中出现的另一个术语是“马尔可夫过渡模型”。我在任何教科书中都找不到该短语,但是在期刊文章中却出现了很多(只需将其插入Google进行确认即可)。我无法找到该术语的严格定义(我发现每篇论文都引用了另一篇论文,引用了另一篇论文,等等,将我送往一个毫无理智的PubMed兔子洞中)。我从上下文中得到的印象是,这是一个非常笼统的术语,指的是其中推论的对象是遵循马尔可夫过程的状态之间的转换的任何模型,并且隐马尔可夫模型可以被视为马尔可夫转换模型的一种特定类型。 。[4]然而,似乎可以互换使用过渡模型,隐马尔可夫模型和几个类似的术语。 另一方面,[5]在讨论马尔可夫转移模型和隐马尔可夫模型方面有些不同。作者指出:“过渡模型提供了一种汇总响应者动力学的方法,有助于解释更复杂的隐马尔可夫模型的结果”。我不完全理解这句话的含义,也无法在本文的其他地方找到理由。但是,他们似乎暗示Markov过渡模型将时间用作连续变量,而隐藏的Markov模型将时间用作离散变量(它们没有直接说出来;他们说他们使用R包'msm'来拟合Markov过渡模型,后来将“ msm”描述为与HMM的R包相比,连续地处理时间)。 4)其他概念(例如动态贝叶斯网络)适合什么地方? 根据维基百科,动态贝叶斯网络是“隐马尔可夫模型和卡尔曼滤波器的概括”。在其他地方,我看到了隐马尔可夫模型,它被定义为动态贝叶斯网络的一种特例,“世界的整个状态由一个单独的隐藏状态变量表示”(动态贝叶斯系统的定义及其与HMM的关系?)。 。我通常理解这种关系,[6]对此做了很好的解释。 但是,我很难理解这种关系如何适用于更广泛的事物。也就是说,考虑到HMM和DBN之间的这种关系,状态空间模型和隐藏过程模型如何与两者相关?考虑到隐马尔可夫模型似乎有多个“概括”,所有这些不同类型的方法如何相互关联? 参考文献: [1]汤姆·米切尔(Tom M. Mitchell),丽贝卡·哈金森(Rebecca Hutchinson),Indrayana Rustandi。“隐藏的过程模型”。2006.CMU-CALD-05-116。卡内基·梅隆大学。 [2]奥利弗·吉米尼斯(Oliver Giminez),让·多米尼克·勒布雷顿(Jean-Dominique Lebreton),让·米歇尔·盖拉德(Jean-Michel Gaillard),雷米·乔奎特(Remi Choquet),罗杰·普拉德尔(Roger Pradel)。“使用隐藏的过程动态模型估计人口统计参数”。理论种群生物学。2012.82(4):307-316。 [3]芭芭拉·恩格哈特。“隐马尔可夫模型和状态空间模型”。STA561:概率机器学习。杜克大学。http://www.genome.duke.edu/labs/engelhardt/courses/scribe/lec_09_25_2013.pdf [4] Jeroen K. Vermunt。“连续时间的多级潜在马尔可夫建模及其在动态情绪评估数据分析中的应用”。社会统计讲习班。2012年,蒂尔堡大学。http://www.lse.ac.uk/statistics/events/SpecialEventsandConferences/LSE2013-Vermunt.pdf [5]肯·理查森,大卫·哈特,克里斯蒂·卡特。“了解健康和劳动力转移:将Markov模型应用于SoFIE纵向数据”。官方统计研究丛书。2012。 [6] Zoubin Ghahramani。“隐马尔可夫模型和贝叶斯网络简介”。模式识别与人工智能杂志。2001. 15(1):9-42。

4
训练一个隐马尔可夫模型,多个训练实例
我已根据本教程http://cs229.stanford.edu/section/cs229-hmm.pdf实现了离散HMM 本教程和其他教程经常谈到在给定观察序列的情况下训练HMM。 当我有多个训练序列时会怎样?我是否应该按顺序运行它们,依次训练模型? 另一种选择是将序列连接成一个序列并对其进行训练,但是然后我将进行从一个序列的结尾到下一个序列的开头的状态转换,这是不真实的。


1
HMM在量化金融中的使用。可以检测趋势/转折点的HMM示例?
我正在发现所谓的“隐马尔可夫模型”(也称为“制度转换模型”)的奇妙世界。我想在R中使用HMM来检测趋势和转折点。我想建立尽可能通用的模型,以便可以在许多价格上对其进行测试。 谁能推荐一篇论文?我已经看过(并阅读)了(不止)一些,但是我正在寻找一个易于实现的简单模型。 另外,建议使用哪些R软件包?我可以看到有很多人在做HMM。 我已经买了《时间序列的隐马尔可夫模型:使用R的介绍》这本书,让我们看一下其中的内容吧;) 弗雷德

3
隐马尔可夫模型阈值
我已经开发出了使用mfcc和隐马尔可夫模型进行声音识别的概念验证系统。当我在已知声音上测试系统时,它会提供令人鼓舞的结果。尽管系统在输入未知声音时返回的结果具有最接近的匹配结果,并且得分的差异并不明显,但它是未知声音,例如: 我训练了3种隐藏式马尔可夫模型,一种用于讲话,一种用于从水龙头出来的水,另一种用于敲打桌子。然后,我对它们进行了看不见的数据测试,并得到以下结果: input: speech HMM\knocking: -1213.8911146444477 HMM\speech: -617.8735676792728 HMM\watertap: -1504.4735097322673 So highest score speech which is correct input: watertap HMM\knocking: -3715.7246152783955 HMM\speech: -4302.67960438553 HMM\watertap: -1965.6149147201534 So highest score watertap which is correct input: knocking HMM\filler -806.7248912250212 HMM\knocking: -756.4428782636676 HMM\speech: -1201.686687761133 HMM\watertap: -3025.181144273698 So highest score knocking which is correct input: …


1
如何训练HMM进行分类?
因此,我了解到,在训练HMM进行分类时,标准方法是: 将您的数据集分为每个类别的数据集 每班训练一名HMM 在测试集中比较每个模型对每个窗口进行分类的可能性 但是,我该如何在每堂课上训练HMM?我是否只是将有关一类的数据串联在一起?但是时间序列数据不是按顺序排列的吗?如果我这样做,那是说某些数据点是连续的,而不是连续的吗? 更具体地说,我有一些EEG数据,它是一个96xT矩阵,其中有96个特征向量,这些特征向量是来自不同通道的不同频率的功率谱密度,T是信号的时间长度(在某些采样率下) 可以将其划分为多个窗口,这些窗口可以从实验协议中得知(数据带有标签),因此我可以为每个类收集96 * t矩阵的集合。其中t小于T并表示每个窗口的大小。 然后如何在此数据上训练HMM?如果有帮助,我尝试使用pmtk3工具包,但我愿意使用任何东西-它必须能够处理实值观测值,因为功率谱密度是连续的而不是离散的(默认的MATLAB工具箱只能处理离散观察)。 目的是能够根据训练过的标记数据将脑电数据窗口分类为给定的心理状态。它是使用Berlin BCI Competition数据的人机界面问题。

1
在隐马尔可夫模型中选择“最佳”模型的标准
我有一个时间序列数据集,试图将其拟合隐马尔可夫模型(HMM),以便估计数据中的潜在状​​态数。我的伪代码是这样的: for( i in 2 : max_number_of_states ){ ... calculate HMM with i states ... optimal_number_of_states = "model with smallest BIC" ... } 现在,在通常的回归模型中,BIC倾向于支持最简约的模型,但对于HMM,我不确定这是在做什么。谁真的知道BIC标准倾向于哪种HMM?我也能够获得AIC和似然值。由于我试图推断出真实的州总数,因此其中一个标准是否比另一个标准“更好”?

1
通过对相关观测值进行自举计算置信区间
如果观测值是iid,则标准形式的引导程序可用于计算估计统计量的置信区间。I.Visser 等。在“ 隐藏的马尔可夫模型参数的置信区间 ”中,使用了参数引导程序来计算HMM参数的CI。但是,当我们在观察序列上拟合HMM时,我们已经假设观察是相关的(与混合模型相反)。 我有两个问题: iid假设与引导程序有什么关系? 我们可以忽略参数引导程序中的iid要求吗? Visser 等。方法简述如下: 假设我们有一个观察序列是通过对HMM进行采样得到的,该HMM具有一组真实的但未知的参数。Y=o1,o2,...,onY=o1,o2,...,onY=o_1,o_2,...,o_nθ=θ1,θ2,...,θlθ=θ1,θ2,...,θl\theta=\theta_1,\theta_2,...,\theta_l 可以使用EM算法估算参数:θ^=θ^1,θ^2,...,θ^lθ^=θ^1,θ^2,...,θ^l\hat{\theta}=\hat{\theta}_1,\hat{\theta}_2,...,\hat{\theta}_l 使用估计的HMM生成大小为的引导程序样本:nnnY∗=o∗1,o∗2,...,o∗nY∗=o1∗,o2∗,...,on∗Y^*=o^*_1,o^*_2,...,o^*_n 根据引导程序样本估计HMM的参数:θ^∗=θ^∗1,θ^∗2,...,θ^∗lθ^∗=θ^1∗,θ^2∗,...,θ^l∗\hat{\theta}^*=\hat{\theta}^*_1,\hat{\theta}^*_2,...,\hat{\theta}^*_l 重复步骤3和4次(例如 = 1000),得出引导估计:乙乙θ *(1 ),θ *(2 ),。。。,θ *(乙)BBBBBBBBBθ^∗(1),θ^∗(2),...,θ^∗(B)θ^∗(1),θ^∗(2),...,θ^∗(B)\hat{\theta}^*(1),\hat{\theta}^*(2),...,\hat{\theta}^*(B) 使用引导程序估计中的分布来计算每个估计参数的CI 。 θ * 我θ^iθ^i\hat{\theta}_iθ^∗iθ^i∗\hat{\theta}^*_i 笔记(我的发现): 为了具有正确的覆盖范围,应该使用百分位数方法来计算CI(正态性是一个错误的假设)。 自举分布的偏差应得到纠正。意味着的分布均值应移至θ我θ^∗iθ^i∗\hat{\theta}^*_iθ^iθ^i\hat{\theta}_i


1
动态贝叶斯系统的定义及其与HMM的关系?
来自维基百科 动态贝叶斯网络(DBN)是贝叶斯网络,它在相邻的时间步长上相互关联变量。这通常被称为“两倍时间BN”,因为它表示在任何时间点T上,变量的值都可以从内部回归值和紧邻的先验值(时间T-1)中计算出来。DBN在机器人技术中很常见,并且已经显示出了广泛的数据挖掘应用程序的潜力。例如,它们已用于语音识别,蛋白质测序和生物信息学。DBN已显示出产生与隐马尔可夫模型和卡尔曼滤波器等效的解决方案。 我想知道“即时优先值(时间T-1)”是否意味着DBN中的时间索引始终是离散的? “在任何时间点T上,都可以从内部回归变量中计算出变量的值,并且立即数在先值(时间T-1)”是否意味着DBN是离散时间的马尔可夫过程? 如果我理解正确,那么如果同时忽略状态的输出,那么HMM也是离散时间的马尔可夫过程。所以我想知道HMM和DBN是否是相同的概念?但是另一篇维基百科文章 说 隐马尔可夫模型(HMM)是一种统计马尔可夫模型,其中将要建模的系统假定为具有未观察(隐藏)状态的马尔可夫过程。HMM可被视为最简单的动态贝叶斯网络。 第一篇文章还有另一句话: DBN已显示出产生与隐马尔可夫模型和卡尔曼滤波器等效的解决方案。 谢谢!

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.