马尔可夫过程仅取决于先前的状态

我只想请某人确认我的理解或是否缺少任何东西。

Markov流程的定义是，下一步仅取决于当前状态，而没有过去的状态。因此，假设我们的状态空间为a，b，c，d，并且从a-> b-> c-> d开始。这意味着向d的过渡只能取决于我们在c中。

但是，确实可以使模型变得更复杂并且可以“克服”此限制吗？换句话说，如果您的状态空间现在是aa，ab，ac，ad，ba，bb，bc，bd，ca，cb，cc，cd，da，db，dc，dd，则意味着您的新状态空间变为先前状态与当前状态的组合，那么上述转换将是* a-> ab-> bc-> cd，因此到cd的转换（在先前模型中与d等效）现在取决于状态，如果建模不同，则为先前状态（以下将其称为子状态）。

我是否正确，可以使它“取决于先前的状态（子状态）”（我从技术上讲，由于新的子状态不再是真实状态，因此它在新模型中不存在）通过扩展来维持markov属性像我一样的状态空间？因此，实际上可以创建一个可依赖于任何数量的先前子状态的马尔可夫过程。

从技术上讲，您描述的两个过程都是马尔可夫链。区别在于，第一个是第一级马尔可夫链，而第二个是第二级马尔可夫链。是的，您可以通过状态空间定义的适当更改将二阶马尔可夫链转换为一阶马尔可夫链。让我通过一个例子来解释。

假设我们要将天气模拟为随机过程，并假设在任何给定的天气下雨，晴天或多云。令为任何特定日子的天气，并用符号（多雨），（晴天）和（多云）表示可能的状态。 ř 小号$W_t$$R$$S$$C$

一阶马尔可夫链

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

二阶马尔可夫链

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

可以如下重新定义状态空间，将二阶马尔可夫链转换为一阶马尔可夫链。限定：

$Z_{t-1,t}$

$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

上面显然是重新定义的状态空间上的一阶马尔可夫链。与第二级马尔可夫链的不同之处在于，您需要使用两个初始起始状态来指定重新定义的马尔可夫链，即该链必须在第一天和第二天的天气假设下开始。

Markov流程的定义是，下一步仅取决于当前状态，而没有过去的状态。

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

您可能想看看最近的论文，例如高阶多元马尔可夫链及其应用，因为该领域正在快速发展。