估计马尔可夫链概率

12

给定时间序列，估计MC转换矩阵的常用方法是什么？

有R功能可以做到这一点吗？

markov-process

— 用户333
source

这是离散或连续状态的马尔可夫链吗？

— 宏

我认为是离散的。我有5种可能的状态S1到S5

— 2011年

在先前的不错答案的基础上：是的，有一种方法可以感知位置。我认为可以通过n阶马尔可夫模型来实现。

14

由于时间序列是离散值，因此您可以通过样本比例估算过渡概率。令为时间的过程状态，为转移矩阵，则 $Y_{t}$ $t$ ${\bf P}$

P_{i j} = P (Y_{t} = j | Y_{t - 1} = i)

${\bf P}_{ij} = P(Y_{t} = j | Y_{t-1} = i)$

$Y_{t-1}$ $n_{ik}$ $i$ $k$

{\hat{P}}_{i j} = \frac{n_{i j}}{\sum_{k = 1}^{m} n_{i k}}

$\hat{{\bf P}}_{ij} = \frac{ n_{ij} }{ \sum_{k=1}^{m} n_{ik} }$

$m$ $m=5$ $\sum_{k=1}^{m} n_{ik}$ $i$ $Y_{t-1}$

编辑：这确实假定您具有以均匀间隔观察到的时间序列。否则，过渡概率也将取决于时间延迟（即使它们仍是马尔可夫式的）。

— 巨集
source

6

我听到你在说什么。基本上观察到的频率将是我的矩阵...简单地说！

— 2011年

连续状态空间如何？Althou我正在努力理解这个概念？

— user333 2011年

1

对于连续状态空间，问题变得更加复杂，因为您需要估计一个转换函数而不是一个矩阵。在那种情况下，由于处于任何特定状态的边际概率为0（类似于对于任何连续分布而言，在样本空间中占据特定点的概率为0），因此我上面所描述的没有意义。在连续的情况下，我认为转换函数的估计是一组微分方程的解（我对此不太熟悉，所以如果我错了，请纠正我）

— Macro

此方法是否不假设连续观察1次，而不是根据下面的帖子进行多次观察？例如，假设E是一个吸收状态……那么这肯定不会在这里显示出来吗？

— HCAI 2012年

4

假设您的时间序列是固定的，那么非常非常：

为了简化宏的出色答案

在这里，您的时间序列具有5种状态：A，B，C，D，E

AAAEDDDCBEEEDBADBECADAAAACCCDDE

您只需要首先计算转换：-离开A：9个转换在这9个转换中，有5个是A-> A，0 A-> B，1 A-> C，2 A-> D，1 A-> E因此，转移概率矩阵的第一行是[5/9 0 1/9 2/9 1/9]

您对每个状态进行计数，然后获得5x5矩阵。

— 米克尔（MickaëlS）
source

很好的例子，谢谢。因此，马尔可夫链只关注过渡的数目，而不关注过渡的位置，对吗？例如，将AAABBBA具有与相同的矩阵ABBBAAA。

— Marcin

是的，对于马尔可夫链，如果转换次数相同，则矩阵也相同。这是一个好问题。即使您没有完全相同的序列，也没有相同的“行为”，这在建模中最重要，如果您想重复完全相同的序列，为什么要建模？只需重复您的数据即可。

— 的Mickaël小号

还有另一种方法可以识别位置转换吗？我正在研究密码破解，因此最好有一种方法来评估最有可能出现下一个字符的方法。密码的问题在于，人们倾向于遵循规则，例如在密码的开头和结尾放置*或以1结束密码，因此，不仅要考虑转换，还要考虑其位置。

— Marcin

好的，我没有考虑过这种情况，您确定Markov Chain是做您想做的最好的方法吗？如果您这样认为，您的状态是什么（每个字符是一个状态）？您打算如何计算过渡？您打算如何使用马尔可夫链？

— 的Mickaël小号

2

markovchain软件包中的markovchainFit函数可以解决您的问题。

— 乔治·斯佩迪卡托（Giorgio Spedicato）
source