您如何看待马尔可夫链是不可约的？

12

我有一些很难理解的马尔可夫链财产束缚。

所谓不可简化是指随机过程可以“从任何状态进入任何状态”。

但是，什么定义了它可以从状态进入状态还是不能进入状态？ $i$ $j$

状态 $j$ 是可访问的（写入 $i\rightarrow j$ ）从状态 $i$ ，如果存在整数 $n_{ij}>0$ ST

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

那么交流是如果 $i\rightarrow j$ 和 $j \rightarrow i$ 。

从这些不可还原性以某种方式得出。

stochastic-processes markov-process

— 马瓦维利
source

关于“可访问性”的直觉是什么？我不明白为什么有条件概率会使某些东西“可访问”？

— mavavilj

您可能会从难以接近的角度看待。国家据说是从人迹罕至有没有机会从那里，这是对任何数量的步骤这一事件的概率仍然。为了定义可访问性，应该将量化器（即切换为，将切换到（与相同，因为概率为正）。

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

— nmerci 2015年

12

这是转移矩阵的三个示例，前两个用于可约的情况，最后一个用于不可约的情况。

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$ 对于，当您处于状态3或4时，您将停留在那里，并且例如，状态1和状态2相同。无法从状态1进入状态3或4。

P_{1}

$P_1$

对于，您可以从状态1到3进入任何状态，但是一旦进入状态4，您将停留在那里。为此例如，您可以从任何状态开始，但仍然可以达到任何其他状态，尽管不一定要一步一步。 $P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$

— 克里斯多夫·汉克
source

5

状态被说成是从一个状态访问（通常表示为），如果存在一些，使得：即，一个可以从状态得到到状态在与概率的步骤。 $j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

如果和成立，则状态和通信（通常由）。因此，如果两个国家进行通信，则马尔可夫链是不可约的。 $i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— 纳美西
source

是在电源或索引？

n

$n$

p_{i j}^{n}

$p_{ij}^n$

— mavavilj 2015年

这是一个索引。但是，它有一个解释：如果是转移概率矩阵，则是第个元素（此处是幂）。

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

— nmerci 2015年

2

令和为马氏链的两个不同状态。如果进程从状态到状态概率为正，无论步数是多少（例如1、2、3），那么我们就说状态可从状态访问。 $i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

从概念上讲，我们将其表示为。用概率表示如下：如果存在整数使得，则状态可从状态访问。 $i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

类似地，我们说，如果存在整数，使得。 $j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

现在，如果和都为真，那么我们说状态和相互通信，并且用符号表示为。就概率而言，这意味着存在两个整数使得和。 $i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

如果马尔可夫链中的所有状态都属于一个封闭的沟通类，则该链称为不可约马尔可夫链。不可约性是链的属性。

在不可约的马尔可夫链中，过程可以从任何状态进入任何状态，无论它需要多少步骤。

— LVRao
source

1

现有的一些答案对我来说似乎是不正确的。

正如J. Medhi的“ 随机过程”（第79页，第4版）中所引用的那样，如果马尔可夫链除了状态空间之外不包含任何适当的“闭合”子集，则它是不可约的。

因此，如果在您的转移概率矩阵中有状态的子集，使得您无法“到达”（或访问）除这些状态之外的任何其他状态，则马尔可夫链是可约的。否则，马尔可夫链是不可约的。

— 宇宙的
source

-1

首先要提个警告：除非有充分的理由，否则请不要看矩阵：我唯一想到的就是检查错误键入的数字或阅读教科书。

如果是您的转换矩阵，请计算。如果所有条目都不为零，则矩阵是不可约的。否则，它是可还原的。如果过大，计算与一样大就可以了。相同的测试，准确性稍差。 $P$ $\exp(P)$ $P$ $P^n$ $n$

不可约性意味着：您可以以有限的步骤从任何状态进入任何其他状态。

在Christoph Hanck的示例，您不能直接从状态1转到状态6，但是可以进入1-> 2-> 6 $P_3$

— 山雀
source

1

您如何定义“可以从状态到状态 ”？

i

$i$

j

$j$

— mavavilj 2015年

1

您真的需要问老师。你知道他不会吃你的。

— titus 2015年

当您使用exp（P）时，您是在指矩阵指数吗？或，其中i，j是矩阵P的ij项？

e^{P_{i j}}

$e^{P_{ij}}$

— Hunle

我指的是矩阵指数

— titus