检查马尔可夫链的无记忆特性

17

我怀疑观察到的一系列序列是马尔可夫链...

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

但是，如何检查它们是否确实尊重的无记忆属性

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

或者至少证明他们本质上是马尔可夫？注意，这些是根据经验观察到的序列。有什么想法吗？

编辑

只是补充，目的是从观察到的序列中比较预测的序列集。因此，我们希望您能对如何最好地进行比较提出意见。

一阶转换矩阵

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ ，其中m = A..E状态

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

M 特征值

E = (\begin{array}{ccccccc} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & - 0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0 \\ 0 & 0 & 0 & 0.1136 - 0.0430 i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430 i \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

M 特征向量

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
source

列包含序列，行包含序列的元素？观察到的行数和列数是多少？

— mpiktas 2012年

2

可能重复：stats.stackexchange.com/questions/29490/...

— mpiktas

@mpiktas这些行表示通过状态AD进行的独立观察到的转换序列。有大约400个序列...请记住，观察到的序列并非都具有相同的长度。实际上，在许多情况下，上述矩阵会增加零。谢谢您的链接。在这一领域似乎仍有很大的工作空间。您还有其他想法吗？问候，

— HCAI 2012年

1

线性回归是加强我的观点的一个例子。也就是说，您可能不需要直接测试Markov属性，您只需要安装一个假定Markov属性的调制解调器，然后检查模型的有效性即可。

— mpiktas 2012年

1

我隐约记得我曾经在某处见过H0 = {Markov} vs H1 = {Markov order 2}的假设检验。这可能会有所帮助。

— 斯蒂芬·洛朗

5

我不知道以下内容是否可以对比例进行有效的Pearson检验，如下所示。 $\chi^2$

估算一步转换的可能性-您已经完成了。
获得两步模型的概率： ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
获得两步经验概率 ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
形式Pearson检验统计量 $T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

我很容易想到每个，所以总。但是，我对此并不完全确定，希望您对此表示感谢。同样，对于是否需要对独立性抱有偏执的想法，我也不愿一概而论，而是想将样本分成两半来估算和。 $T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— 斯塔克
source

概率是否必须具有均值0和方差= 1的正态分布才能成立？我很想知道任何人在这里的想法。

— HCAI 2012年

这就是总和中的术语，即渐近地具有大量。

— StasK 2012年

6

马尔可夫性质可能很难直接测试。但这可能足以拟合具有Markov属性的模型，然后测试该模型是否成立。可能会发现，拟合模型是一个很好的近似值，在实践中对您很有用，并且您不必担心Markov属性是否真正成立。

可以将平行线绘制为线性回归。通常的做法不是测试线性是否成立，而是测试线性模型是否是有用的近似值。

— mpiktas
source

这似乎是现实中的最佳选择，只有我无法实际将线性模型与任何实际实验数据进行比较。还是您还有其他想法？

— HCAI

6

为了具体化上一个答复的建议，您首先要估计马尔可夫概率-假设是马尔可夫。在此处查看答复估计马尔可夫链概率

你应该根据跃的状态，从A到A，比例，A到B等调用此矩阵得到一个4×4矩阵。应该是两步过渡矩阵：两步从A到A，依此类推。然后，您可以测试观察到的2步过渡矩阵是否类似于。 $M$ $M^2$ $M^2$

由于您拥有许多用于状态数的数据，因此可以从数据的一半估算，然后使用另一半测试您正在针对多项式的理论概率测试观察到的频率。那应该让您知道您还有多远。 $M$ $M^2$

另一种可能性是查看基本状态比例：在A中花费的时间比例，在B中花费的时间比例是否与M的单位特征值的特征向量相匹配。如果您的序列已达到某种稳态，则每个状态中的时间比例状态应该趋于那个极限。

— ci属
source

我已经计算了转换矩阵

，但不确定如何凭经验计算

。您能否澄清这一点？问候，

M

$M$

M^{2}

$M^2$

— HCAI 2012年

另外，尽管我没有花时间在观察序列的每个状态上，但后一个注释非常有趣。我只有每一行的总时间。因此，这可能会限制该方法的适用性。你怎么看？

— HCAI 2012年

1

以与M相同的方式进行操作，只是不要查看最近的邻居转换（例如序列AB），而是查看相距2的对。因此，如果某科目达到ACB，那将计入您的AB转换计数。ABB也是如此。创建一个矩阵，其中第i行第j列中的项包含从i到j的过渡。然后除以列总数。您希望各列的总和为1。在Markov属性下，此矩阵应接近

M^{2}

$M^2$

— Placidia 2012年

RE：平衡。我以为转换是在设定的时刻发生的-假设您每秒从当前状态转换到下一个状态。您可以采用序列末尾附近或跨序列的A，B，C和D状态的频率来估计极限行为。

— Placidia 2012年

在R中，如果执行特征值（M），则应获得M的特征值和特征向量。一个特征值将为1。如果是马尔可夫，则对应的特征向量应与您的稳态比例成比例。

— Placidia 2012年

2

除了马尔可夫性质（MP）之外，另一个性质是时间同质性（TH）：可以是马尔可夫，但其转换矩阵取决于时间。例如，它可以在依赖于平日如果意见是每日，然后依赖性上有条件的如果TH被不适当地假定可以被诊断。 $X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

假设TH成立，那么对MP的可能检查就是测试独立于在条件，正如迈克尔·切尔尼克（Michael Chernick）和StasK建议的那样。这可以通过使用列联表测试来完成。我们可以根据的可能值建立和的列联表。 $X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ ，并测试其独立性。这也可以用做与代替。 $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$

在R中，由于因子功能和函数apply，很容易生成列联表或数组sweep。上面的想法也可以以图形方式加以利用。包ggplot2或点阵很容易提供条件图以比较条件分布。例如将设置为行索引，将设置为 $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$ 因为网格下的列索引应该在MP下导致列内相似的分布。

小伙子。该书的第 5部分，由JK Lindsey 进行的对随机过程的及时统计分析包含了其他检查假设的想法。

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— 伊夫
source

2

我认为placida和mpiktas都提供了非常周到且出色的方法。

我之所以回答是因为我只想补充一点，即可以构建一个测试以查看是否不同于。 $P(X_i=x|X_{i-1}=y)$ $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$

我会选择，和值，在这些情况下，从到到的过渡很多 $x$ $y$ $z$ $z$ $y$ $x$ 发生。计算两个概率的样本估计。然后测试比例差异。困难的方面是在假设比例相等，链条平稳和马尔可夫不变的原假设下获得两个估计的方差。在原假设的情况下，如果我们仅查看所有两个阶段的过渡并将它们与相应的三个阶段的过渡进行比较，但仅包括结对结果集之间至少相隔两个时间点的结果，则联合结果的顺序如下：成功定义为从到到过渡，以及所有其他两个阶段的过渡到 $z$ $y$ $x$ $x$ 因为失败代表了原假设下的一组独立的伯努利试验。将所有到过渡都定义为成功，将其他一个阶段的为失败也一样。 $y$ $x$ $x$

然后，检验统计量将是这些估计比例之间的差异。伯努利序列的标准比较的复杂之处在于它们是相关的。但是在这种情况下，您可以对二项式比例进行引导测试。

另一种可能性是通过两个表来构造两个两个阶段和三个阶段配对的结果，其中是失败和是成功和小区频率是用于对计数，，和，其中所述第一组件是两分阶段的结果，第二个是相应的三级结果。然后，您可以将McNemar的测试应用于表格。 $0$ $1$ $(0,0)$ $(0,1)$ $(1,0)$ $(1,1)$

— 迈克尔·R·切尼克
source

尽管我发现第一段非常简洁，但我看到了您在这里指的是什么。例如“计算样本估计数，然后测试比例差异”。样本估算值是什么意思？当然

没有方差，还是我误解了您的思路？

P (X_{i} | X_{i - 1} = y)

$P(X_i|X_{i-1}=y)$

— HCAI 2012年

@ user1134241您提到“根据经验观察”，我假设您具有此随机序列中的数据。如果要为每个索引i-1 估计P（X

= x | X

= y），其中X

= y，请计算X

= x 的次数并将其除以次数X

= y（无论X

等于什么）。这是一个估计，因为观察到的有限序列只是随机过程的一部分序列的样本。

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$

_{i}

$_i$

— Michael R.

i \to j \to i

$i\rightarrow j\rightarrow i$

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$

1

You could bin the data into evenly spaced intervals, then compute the unbiased sample variances of subsets $\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$ . By the law of total variance,

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$ , though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$ . Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.

— Luke O'Connor
source