给定两条吸收性马尔可夫链，一个先于另一个终止的概率是多少？

我有两个不同的马尔可夫链，每个链都有一个吸收状态和一个已知的起始位置。我想确定链1以比链2更少的步骤达到吸收状态的可能性。

我认为我可以计算出n步后在特定链中达到吸收状态的概率：给定过渡矩阵，步后被吸收的概率为，其中是起始状态，是吸收状态。 $P$ $n$ $P^n_{ij}$ $i$ $j$

我不确定从这里到哪里。我见过的类似问题涉及骰子（例如，将7的总和之前滚动为8），但这更容易解决，因为滚动特定总和的概率是恒定的，并且与到目前为止所采取的步骤数无关。

probability markov-chain transition-matrix

— 杰夫
source

并行运行链。 在结果产品链中定义三个吸收状态：

第一条链达到吸收状态，而第二条没有。
第二条链达到吸收状态，但第一条没有。
两条链同时达到吸收状态。

产品链中这三个状态的极限概率提供了产生兴趣的机会。

该解决方案涉及一些（简单的）构造。如问题所示，令是链的转移矩阵。当链处于状态，给出转移到状态的可能性。一个吸收状态使得与概率本身就是一个过渡。 $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

任何状态可以由吸收在更换行通过的指标向量，位置为。 $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
任何一组吸收的状态，可以合并通过创建一个新的链，其状态为。过渡矩阵为 $A$ $\mathcal{P}/A$ $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / A)_{i j} = \begin{array}{ll} {\begin{cases} P_{i j} & i \notin A, j \notin A \\ \sum_{k \in A} P_{i k} & i \notin A, j = A \\ 0 & i = A, j \notin A \\ 1 & i = j = A . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
这等于将与对应的的列相加，然后用与之对应的单行替换与对应的行。 $\mathbb{P}$ $A$ $A$
该产物的两条链的上状态和上状态，用转换矩阵和，分别，是对一个Markov链状态带有转换矩阵 $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(i, j), (k, l)} = P_{i k} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
实际上，产品链并行运行两个链，分别跟踪每个链的位置，并独立进行过渡。

一个简单的例子可以阐明这些构造。 假设波利翻转有机会硬币着陆头。她计划这样做直到观察到头。硬币翻转过程的状态为代表最近翻转的结果：代表尾部，代表头。通过计划停在最前面，Polly将通过使成为吸收状态来应用第一个构造。产生的转换矩阵为 $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

它以第一次抛掷所给定的随机状态开始。 $(1-p,p)$

在与波莉在一起的时候，昆西将抛一个公平的硬币。他计划一连续看到两个头就停下来。因此，他的马尔可夫链必须跟踪先前的结果以及当前的结果。有两个这样的组合，即两个头和两个尾部，我将其缩写为“ ”，例如，第一个字母是前一个结果，第二个字母是当前结果。Quincy应用构造（1）使成为吸收状态。这样做之后，他意识到自己并不需要四个状态：他可以将链简化为三个状态：表示当前结果为尾巴，表示当前结果为头，并且 $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ 表示最后两个结果都是正面的-这是吸收状态。过渡矩阵为

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

产品链基于六个状态运行：。过渡矩阵是和的张量积，并且很容易计算。例如，是波利进行从过渡几率到和，在在同一时间（和独立地），使得昆西由过渡到。前者有的机会，后者有的机会。因为链条是独立运行的，所以这些机会成倍增加， $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$ 。完整的转换矩阵为

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

它采用块矩阵形式，其块对应于第二个矩阵： $\mathbb Q$

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Polly和Quincy竞争，看谁先实现目标。获胜者将是波利每当一个过渡第一到由，其中是不 ; 每当第一次过渡到时，获胜者将是Quincy ；如果在这两种情况中的任何一种发生之前都过渡到，那么结果将是平局。为了保持跟踪，我们将使状态和都吸收（通过构造（1）），然后合并它们（通过构造（2））。结果转换矩阵，按状态排序 $(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ 是

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

Polly和Quincy同时进行第一掷的结果将是状态具有概率：这是开始链的初始状态。 $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

在限制为， $n\to \infty$

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

因此，三个吸收状态的相对机会（代表昆西获胜，波莉获胜，他们平局）为。 $(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

作为的函数（任何Polly的掷球机会为正面），红色曲线绘制出Polly的获胜机会，蓝色曲线绘制出Quincy的获胜机会，而金色曲线则绘制出平局的机会。 $p$

— ub
source

非常简洁的示例，谢谢。我仍在制定详细信息，以便自己查看。只是一个问题：这里我们假设两个事件（Polly和Quincy投掷）是同时发生的，如果我们让它们连续进行，甚至每次下一次掷谁都随机选择，那会有什么不同？

— user929304'3

@ user929304您将获得不同的答案，可能基本上是这样。例如，假设P和Q在一条链中运行，其中状态被划分为子集A和B，其中所有从A到B的转变都从B到A的转变。让P和Q都从A中的状态开始。在产品链上，它们同时在A和B之间交替，但是顺序链和随机选择链打破了这种不变的模式。

— ub