Questions tagged «markov-chain»

马尔可夫链蒙特卡洛方法是基于马尔可夫链的方法，它使我们能够从非标准分布中获取样本（在蒙特卡洛环境中），而我们无法直接从中提取样本。 我的问题是，为什么马尔可夫链对于蒙特卡洛采样来说是“最先进的”。另一个问题可能是，是否还有其他方法（如马尔可夫链）可用于蒙特卡洛采样？我知道（至少从研究文献的角度来看）MCMC具有深厚的理论根源（就（a）周期性，同质性和详细平衡之类的条件而言），但我想知道蒙特卡洛是否有任何“可比的”概率模型/方法卡洛采样类似于马尔可夫链。 如果我对问题的某些部分感到困惑（或者似乎完全令人困惑），请指导我。

10 sampling  mcmc  monte-carlo  markov-chain  stochastic-approximation 

我有两个不同的马尔可夫链，每个链都有一个吸收状态和一个已知的起始位置。我想确定链1以比链2更少的步骤达到吸收状态的可能性。 我认为我可以计算出n步后在特定链中达到吸收状态的概率：给定过渡矩阵，步后被吸收的概率为P ^ n_ {ij}，其中i是起始状态，j是吸收状态。PPPnnnPnijPijnP^n_{ij}iiijjj 我不确定从这里到哪里。我见过的类似问题涉及骰子（例如，将7的总和之前滚动为8），但这更容易解决，因为滚动特定总和的概率是恒定的，并且与到目前为止所采取的步骤数无关。

9 probability  markov-chain  transition-matrix 

问题：在隐式马尔可夫模型的合理实现下进行设置吗？ 我有一组108,000观察数据（在100天的时间内进行），并且2000在整个观察时间范围内大约都有事件发生。数据如下图所示，其中观察到的变量可以采用3个离散值，红色列突出显示事件时间，即：[ 1 ， 2 ，3 ][1个，2，3][1,2,3]ŤËŤËt_E 如图中红色矩形所示，我对每个事件都剖析了{到 }，将它们有效地视为“事件前窗口”。ŤËŤËt_EŤË− 5ŤË-5t_{E-5} HMM训练：我计划使用Pg上建议的多观察序列方法，基于所有“事前窗口” 训练隐马尔可夫模型（HMM）。Rabiner 论文 273 。希望这将使我能够训练HMM，以捕获导致事件的序列模式。 HMM预测：然后，我计划使用此HMM 预测 新一天的对，其中将是一个滑动窗口矢量，实时更新以包含当前时间至随着时间的推移。升Ò 克[ P（O b s e r v a t i o n s | H中号中号）]升ØG[P（ØbsË[Rv一个Ť一世Øñs|H中号中号）]log[P(Observations|HMM)]Øb 小号Ë - [R v 一个吨我ö Ñ 小号ØbsË[Rv一个Ť一世ØñsObservationsŤŤtŤ - 5Ť-5t-5 对于与“事前窗口”类似的，我希望看到增加。实际上，这应该使我能够在事件发生之前进行预测。升Ò 克[ P（O b s e r v …

9 time-series  machine-learning  predictive-models  markov-chain  hidden-markov-model