马尔可夫链中周期性的直观解释

有人能以直观的方式向我解释马尔可夫链的周期性是什么吗？

定义如下：

对于$i$在S的所有州$S$

$d_i$ = GCD$\{n \in \mathbb{N} | p_{ii}^{(n)} > 0\} =1$

感谢你的付出！

首先，您的定义并不完全正确。正如Cyan所建议的，这是Wikipedia的正确定义。

周期性（来源：Wikipedia）

如果必须以k个时间步长的倍数返回状态i，则状态i的周期为k。正式地，状态的周期定义为

$gcd\{ n: \Pr(X_n = i | X_0 = i) > 0\}$

（其中“ gcd”是最大的公约数）。注意，即使状态具有周期k，也可能无法以k步达到状态。例如，假设有可能以{6，8，10，12，...}个时间步长返回状态；即使该列表中未出现2，k也将是2。

如果k = 1，则称该状态为非周期性：返回状态i可能会在不规则的时间发生。换句话说，如果存在n，那么对于所有n'≥n，状态i都是非周期性的，

$Pr(X_{n'} = i | X_0 = i) > 0.$

否则（k> 1），该状态被称为周期为周期k。如果每个状态都是非周期性的，则马尔可夫链是非周期性的。

我的解释

术语“周期”描述了是否有规律地发生某事（一个事件，或这里：特定状态的访问）。这里的时间以您访问的州数来衡量。

第一个例子：

现在，假设时钟代表一个马尔可夫链，每小时代表一个状态，那么我们得到了12个状态。每个状态由时针每12小时（状态）进行一次访问，概率为1，因此最大公约数也是12。

因此，每个（小时）状态均为周期12。

第二个例子：

试想描述抛硬币的序列，在状态开始的图形和国家和表示最后抛硬币的结果。ħ Ë 一个d 小号吨一个我升$start$$heads$$tails$

每对状态（i，j）的转移概率为0.5，但 ->和 ->位置为0。$heads$$start$$tails$$start$

现在想象一下你处于国家状态。再次访问之前，您必须访问的州数可能是1,2,3，等等。这将发生，因此概率大于0，但何时无法准确预测。所以，您访问之前可能发生访问的所有可能数的最大公约数divisior又是1，这意味着是非周期性的。$heads$$heads$$heads$$heads$

这同样适用于。由于它不适用于，因此整个图形不是非周期性的。如果我们删除，那就可以了。$tails$$start$$start$

很多时候，我们希望知道我们是否有非零的机会陷入困境。这种状态称为“非周期性”状态。它们很容易量化：如果对于任何，我都没有得到，则我认为这种状态是非周期性的（是保持在状态的概率）。非周期性的状态是周期性的。但是术语有点不幸，因为到了句点，我们通常是指一个固定值，之后系统会自我重复。$n \gt 0$$P^n_{ii} = 0$$P_{ii}$$i$

在马尔可夫链中，我们没有奢侈的时期“总是固定值”。我们可能会以任何步数返回到周期性状态。我们运行链并记下数字，然后取这些数字。这个定义可能在证明其他定理方面有优势。我对此一无所知。如果您不想在数字下模拟链，则可以记录下转换矩阵的幂，使得并取这些数字。$> 1$gcd$n$$P$$P^n_{ii}=0$gcd