贝叶斯在线变更点检测（边际预测分布）

我正在阅读Adams和MacKay 的贝叶斯在线变更点检测论文（链接）。

作者从写边际预测分布开始： 其中

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t} P(x_{t+1} | r_t, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) \qquad \qquad (1)$$

• $x_t$是在时间的观测；$t$
• $\textbf{x}_{1:t}$表示直到时间的观测；$t$
• $r_t \in \mathbb{N}$是当前游程长度（自上一个更改点以来的时间，可以为0）；和
• $\textbf{x}_t^{(r)}$是与运行相关的观察值集合。$r_t$

等式 1在形式上是正确的（请参阅下面@JuhoKokkala的回复），但是我的理解是，如果您想对进行实际预测，则需要将其扩展如下：$x_{t+1}$

$$P(x_{t+1} | \textbf{x}_{1:t}) = \sum_{r_t, r_{t+1}} P(x_{t+1} | r_{t+1}, \textbf{x}_t^{(r)}) P(r_t | \textbf{x}_{1:t}) P(r_{t+1} | r_t) \qquad (1\text{b})$$

我的理由是，（未来）时间t + 1可能会有一个变化点$t+1$，但后验$P(r_t | \textbf{x}_{1:t})$仅覆盖到t为止$t$。

关键是，论文的作者使我们有了等式。1 照原样（请参见本文中的方程3和11），而不是 1b。因此，当从时间t的可用数据预测x_ {t + 1}时，他们似乎忽略了时间$t+1$发生变化点的可能性。在第2节开始时，他们说顺便$x_{t+1}$$t$

我们假设可以在给定游程长度r_t的条件下计算[ $x_{t+1}$ ] 的预测分布。$r_t$

这也许就是诀窍所​​在。但总的来说，这种预测分布应类似于方程式。1b; 这不是他们所做的（方程11）。

因此，我不确定我了解发生了什么。该符号可能正在发生一些有趣的事情。

---

参考

• Adams，RP和MacKay，DJ（2007）。贝叶斯在线变更点检测。arXiv预印本 arXiv：0710.3742。

（1）和（1b）都是正确的。OP正确地认为（在此模型中）处可能有一个更改点，而取决于是否存在更改点。这并不意味着（1）会出现任何问题，因为的可能值已由完全“覆盖” 。表示的条件分布的条件上。此条件分布在包括条件的包括“ ”在内的“其他所有东西”上平均。就像可以写出$t+1$$x_{t+1}$$r_{t+1}$$P(x_{t+1} \mid r_t, x_{1:t})$$P(x_{t+1} | r_t, x_{1:t})$$x_{t+1}$$(r_t, x_{1:t})$$r_{t+1}$$(r_t, x_{1:t})$$P(x_{t+1000} | x_t)$，这将考虑到所有可能的变更点配置以及和之间出现的 s 值。$x_i$$t$$t+1000$

在其余部分中，我首先基于（1）得出（1），然后得出（1b）。

（1）的派生

对于任何随机变量，我们有 ，只要是离散的（否则，总和需要用整数代替）。将其应用于：$A,B,C$

$$\begin{equation} P(A \mid B) = \sum_c P(A \mid B, C=c)\,P(C=c \mid B), \end{equation}$$ $C$$x_{t+1},x_{1:t},r_t$

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x_{1:t})\,P(r_t \mid x_{1:t}), \end{equation}$$ 不管，，之间的依赖关系如何，即没有模型假设被使用。在本模型中，假定给定有条件地独立于之前的行程的值。这意味着。将其代入前面的方程，我们得到$r_t$$x_{1:t}$$x_{t+1}$$x_{t+1}$$r_t,x^{(r)}_t$$x$$x^{(r)}_t$$P(x_{t+1} \mid r_t, x_{1:t}) = P(x_{t+1} \mid r_t, x^{(r)}_t)$

$$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} P(x_{t+1} \mid r_t, x^{(r)}_t)\,P(r_t \mid x_{1:t}), \qquad \qquad \qquad (1) \end{equation}$$ 在OP中为（1）。

（1b）的派生

让我们考虑在可能值上分解： $P(x_{t+1} \mid r_t, x^{(r)}_t)$$r_{t+1}$

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)P(r_{t+1} \mid r_t, x^{(r)}_t). \end{equation}$$

由于假设*某个变化点是否出现在（在和）不取决于的历史记录，因此我们有。此外，由于确定是否与属于同一，因此我们有。将这两个简化代入上述分解中，我们得到 $t+1$$x_t$$x_{t+1}$$x$$P(r_{t+1} \mid r_t, x^{(r)}_t) = P(r_{t+1} \mid r_t)$$r_{t+1}$$x_{t+1}$$x_t$$P(x_{t+1} \mid r_{t+1}, r_t, x^{(r)}_t)=P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)$

$$\begin{equation} P(x_{t+1} \mid r_t, x^{(r)}_t) = \sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t). \end{equation}$$ 将其代入（1），我们得到 ，即OP的（1b）。 $$\begin{equation} P(x_{t+1} \mid x_{1:t}) = \sum_{r_t} \left(\sum_{r_{t+1}} P(x_{t+1} \mid r_{t+1}, x^{(r)}_t)P(r_{t+1} \mid r_t)\right)\,P(r_t \mid x_{1:t}), \qquad (1b) \end{equation}$$

*备注模型的条件独立性假设

基于快速浏览本文，我个人希望在某个地方更明确地说明条件独立性，但我想这样做的目的是是马尔可夫式的，与不同运行关联的：s是独立的（给定运行）。$r$$x$