蠕虫和苹果期望值

8

一个苹果位于五边形顶点处，一个蠕虫位于相距两个顶点。每天，蠕虫以相等的概率爬行到两个相邻顶点之一。因此，一天后，蠕虫位于顶点或，每个顶点的概率为。两天后，该蠕虫可能会再次回到，因为它没有存储以前的位置。当到达顶点，它停止进餐。 $A$ $ABCDE$ $C$ $B$ $D$ $1/2$ $C$ $A$

（a）直到晚餐的天数是多少？

（b）令p为天数等于或大于的概率。马尔可夫不等式对什么看法？ $100$ $p$

对于（a），令为随机变量，由直到晚餐的天数定义。因此 $X$

P (X = 0) = 0 P (X = 1) = 0 P (X = 2) = \frac{1}{(\binom{5}{2})} ⋮

$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$

一般分布是什么？

对于（b），如果我们知道（a），则我们知道

P (X \geq 100) \leq \frac{E (X)}{100}

$P(X \geq 100) \leq \frac{E(X)}{100}$

probability markov-process

— probguy3434
source

2

您能解释一下第一组方程吗？他们似乎并没有考虑到蠕虫反转方向的可能性，也不是正确的。毕竟，远小于路径几率注意，这个问题的重点在于，获得完整分布可能比计算其期望值更困难。然而，马尔可夫不等式让您仅从期望中得出有用的信息。

1 / (\binom{5}{2}) = 1 / 10

$1/\binom{5}{2}=1/10$

A \to B \to C

$A\to B\to C$

(1 / 2) (1 / 2) = 1 / 4.

$(1/2)(1/2)=1/4.$

— ub

6

在Glen_b的出色回答中，他表明您可以使用简单的线性方程组来分析计算期望值。按照这种分析方法，您可以确定到苹果的预期移动次数为6。Whuber的另一个极好的答案显示了如何在任意给定数量的移动之后得出过程的概率质量函数，并且该方法还可以用于获得期望值的解析解。如果您想对这个问题有进一步的了解，您应该阅读一些关于圆形随机游走的论文（例如，参见Stephens 1963）

为了给出问题的另一种观点，我将向您展示如何使用蛮力方法（仅使用统计计算计算出马尔可夫链）就可以得到相同的结果。该方法在许多方面都不如分析检查，但它的优点是，您无需任何主要的数学知识即可处理问题。

蛮力计算方法：以顺序取状态，您的马尔可夫链根据以下转移矩阵转移： $A,B,C,D,E$

P = [\begin{matrix} 1 & 0 & 0 & 0 & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} & 0 & 0 \\ 0 & \frac{1}{2} & 0 & \frac{1}{2} & 0 \\ 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ \frac{1}{2} & 0 & 0 & \frac{1}{2} & 0 \end{matrix}]

$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$

第一状态是蠕虫在苹果处的吸收状态令为蠕虫从状态到达苹果之前的移动次数。那么，对于所有中的蠕虫，蠕虫在此移动次数后位于苹果的概率为，因此从此状态到达苹果的预期移动次数为： $A$ $T_C$ $C$ $n \in \mathbb{N}$ $\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

E (T_{C}) = \sum_{n = 0}^{\infty} P (T_{C} > n) = \sum_{n = 0}^{\infty} (1 - {P^{n}}_{C, A}) .

$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$

对于大的，总和中的项呈指数下降，因此我们可以通过在有限数量的项上截断总和来将期望值计算为任何所需的准确性。（术语的指数衰减确保了我们可以将删除的术语的大小限制为低于所需的水平。）实际上，很容易采用大量的术语，直到其余术语的大小非常小。 $n$

在R中进行编程：您可以R使用以下代码将此作为函数进行编程。对该代码进行矢量化处理，以针对有限的移动序列生成转换矩阵的幂的数组。我们还生成了未达到苹果的概率图，表明该指数呈指数下降。

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

从此计算中可以看出，到达苹果的预期移动次数为6。使用上面的马尔可夫链向量化代码，此计算非常快速。

— Ben-恢复莫妮卡
source

5

只想说明一种简单的方法来查看（a）部分，而无需遍历所有的马尔可夫链例程。有两类状态需要担心：相距一步和相距两步（在达到A之前，C和D在预期步长方面相同，而B和E相同）。令“ ”代表从顶点采取的步数，依此类推。 $S_B$ $B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

类似地，为的期望写一个方程。 $E(S_B)$

替换第二到第一个（也是为了方便写为），你会得到一个解决方案在几行。 $c$ $E(S_C)$ $c$

— Glen_b-恢复莫妮卡
source

3

+1。我还喜欢用概率生成函数代替期望值，得到一个类似的方程，同样容易解决，表明初始状态的pgf等于这导致给出任何概率的简单公式。更好：让为从开始的步数定义和关系是和代替后者向前收率为因此，是

t^{2} / (4 - 2 t - t^{2}),

$t^2/(4-2t-t^2),$

X_{y}

$X_y$

y \in {A, B} .

$y\in\{A,B\}.$

f_{n} = 2^{n} Pr (X_{A} = n)

$f_n=2^n\Pr(X_A=n)$

g_{n} = 2^{n} Pr (X_{B} = n) .

$g_n=2^n\Pr(X_B=n).$

f_{n} = f_{n - 1} + g_{n - 1}

$f_n=f_{n-1}+g_{n-1}$

g_{n - 1} = f_{n - 2} .

$g_{n-1}=f_{n-2}.$

f_{n} = f_{n - 1} + f_{n - 2}

$f_n=f_{n-1}+f_{n-2}$

n \geq 3.

$n\ge 3.$

f_{n}

$f_n$

n - 2^{nd}

$n-2^\text{nd}$ 斐波那契数。

— ub

@whuber：您应该将您的评论变成完整的答案-真的很好。

— 本-恢复莫妮卡

1

我同意，即使是简短的形式，也值得作为答案发表。

— Glen_b-恢复莫妮卡

3

问题

此马尔可夫链具有三种状态，通过蜗杆是否是区分或从空间远设是随机变量得到蠕虫会多少步采取到达从状态它们的概率生成函数是对这些变量的概率进行编码的便捷代数方法。不必担心诸如收敛之类的分析问题：只需将它们视为由给出的符号中的形式幂级数 $0,$ $1,$ $2$ $C.$ $X_i$ $C$ $i\in\{0,1,2\}.$ $t$

f_{i} (t) = Pr (X_{i} = 0) + Pr (X_{i} = 1) t^{1} + Pr (X_{i} = 2) t^{2} + \dots + Pr (X_{i} = n) t^{n} + \dots

$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$

因为所以很简单我们需要找到 $\Pr(X_0=0)=1,$ $f_0(t)=1.$ $f_2.$

分析与解决方案

从状态蜗杆具有等于机会移动回到状态的或达到。会计采取这一一步增加到一切权力，无异于在PGF乘以，给 $1,$ $1/2$ $2$ $C$ $1$ $t$ $t$

f_{1} = \frac{1}{2} t (f_{2} + f_{0}) .

$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$

同样地，从状态蜗杆具有停留在状态的平等的机会或达到状态从那里 $2$ $2$ $1,$

f_{2} = \frac{1}{2} t (f_{2} + f_{1}) .

$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$

的外观表明我们的工作将变得更容易通过将变量得到 $t/2$ $x=t/2,$

f_{1} (x) = x (f_{2} (x) + f_{0} (x)); f_{2} (x) = x (f_{2} (x) + f_{1} (x)) .

$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$

代所述第一到所述第二和回顾给出 $f_0=1$

$\begin{matrix} (*) & f_{2} (x) = x (f_{2} (x) + x (f_{2} (x) + 1)) \end{matrix}$ $f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$

其独特的解决方案是

\begin{matrix} (**) & f_{2} (x) = \frac{x^{2}}{1 - x - x^{2}} . \end{matrix}

$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$

我着重强调了方程以强调其基本的简单性以及与我们仅通过分析期望值所获得的方程的形式相似性实际上，对于找到这个数字所花费的相同工作量，我们得到了整个分布。 $(*)$ $E[X_i]:$

含义和简化

等效地，当逐项写出并且的幂匹配时，它断言对于 $(*)$ $t$ $n\ge 4,$

2^{n} Pr (X_{2} = n) = 2^{n - 1} Pr (X_{2} = n - 1) + 2^{n - 2} Pr (X_{2} = n - 2) .

$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$

这是著名斐波那契数列的重现

(F_{n}) = (1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, \dots)

$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$

（从索引）。解决方案匹配是此序列移动了两个位置（因为不存在或可能性，并且很容易检查）。 $n=0$ $(**)$ $X_2=0$ $X_2=1$ $2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

所以

$Pr (X_{2} = n) = 2^{- n - 2} F_{n - 2} .$ $\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$

进一步来说，

\begin{aligned} f_{2} (t) & = 2^{- 2} F_{0} t^{2} + 2^{- 3} F_{1} t^{3} + 2^{- 4} F_{2} t^{4} + \dots \\ = \frac{1}{4} t^{2} + \frac{1}{8} t^{3} + \frac{2}{16} t^{4} + \frac{3}{32} t^{5} + \frac{5}{64} t^{6} + \frac{8}{128} t^{7} + \frac{13}{256} t^{8} + \dots . \end{aligned}

$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$

通过评估导数并替换可以容易地找到的期望值因为（逐项区分的幂） $X_2$ $f^\prime$ $t=1,$ $t$

f^{'} (1) = Pr (X_{2} = 0) (0) + Pr (X_{2} = 1) (1) 1^{0} + \dots + Pr (X_{2} = n) (n) 1^{n - 1} + \dots

$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$

它作为概率之和乘以的值恰好是的定义使用取导数可得出期望的简单公式。 $X_2,$ $E[X_2].$ $(**)$

一些简短的评论

通过将扩展为部分分数，可以写成两个几何级数之和。这立即显示出概率将呈指数下降。它也产生尾部概率的封闭形式使用它，我们可以快速计算小于 $(**)$ $f_2$ $\Pr(X_2=n)$ $\Pr(X_2 \gt n).$ $\Pr(X_2 \ge 100)$ $10^{-9}.$

最后，这些公式涉及黄金比例该数字是正五边形（单元边）的弦长，在五边形上的纯组合马尔可夫链（对欧几里得几何学一无所知）与正五边形中的正五边形几何之间产生惊人的联系。欧式飞机。 $\phi = (1 + \sqrt{5})/2.$

— ub
source

1

对于直到晚餐的平均天数，请考虑在第一天采取的步骤。令为蠕虫获得苹果的天数。令为第一步。 $X$ $F$

那我们有

E [X] = E [X | F = B] [P (F = B)] + E [X | F = D] P [F = D]

$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$

如果第一步是到达则蠕虫要么在第二天以一半的概率获取苹果要么以一半的概率返回到顶点，然后重新开始。我们可以这样写 $B,$ $C$

E [X | F = B] = 2 (\frac{1}{2}) + (2 + E [X]) (\frac{1}{2}) = 2 + \frac{E [X]}{2}

$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$

如果第一步是那么就对称而言，这与顶点相同，只是蠕虫只采取了一步，所以 $D,$ $C$

E [X | F = D] = 1 + E [X]

$E[X|F=D]=1+E[X]$

放在一起，我们得到

E [X] = (2 + \frac{E [X]}{2}) (\frac{1}{2}) + (1 + E [X]) (\frac{1}{2})

$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$

求解收益 $E[X]$

E [X] = 6

$E[X] = 6$

— 索克利
source

1

这似乎概括了@Glen_b的答案。

— ub