使用多元正态和协变量的贝叶斯建模

假设您有一个解释变量，其中表示给定坐标。您还具有一个响应变量。现在，我们可以将两个变量组合为： ${\bf{X}} = \left(X(s_{1}),\ldots,X(s_{n})\right)$ $s$ ${\bf{Y}} = \left(Y(s_{1}),\ldots,Y(s_{n})\right)$

W (s) = (\begin{array}{ccc} X (s) \\ Y (s) \end{array}) \sim N (μ (s), T)

${\bf{W}}({\bf{s}}) = \left( \begin{array}{ccc}X(s) \\ Y(s) \end{array} \right) \sim N(\boldsymbol{\mu}(s), T)$

在这种情况下，我们只需选择 $\boldsymbol{\mu}(s) = \left( \mu_{1} \; \; \mu_{2}\right)^{T}$ ， $T$ 是一个协方差矩阵，描述了 $X$ 和之间的关系 $Y$ 。这只能说明价值 $X$ 和 $Y$ 在 $s$ 。由于我们从 $X$ 和其他位置获取了更多点 $Y$ ，因此可以通过以下方式描述更多值 ${\bf{W}}(s)$ ：

(\begin{array}{ccc} X \\ Y \end{array}) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) = N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

您会注意到，我们重新排列了 $\bf{X}$ 和的组件， $\bf{Y}$ 以将所有 $X(s_i)$ 放在一列中，然后将所有串联 $Y(s_i)$ 在一起。每个分量 $H(\phi)_{ij}$ 是一个相关函数 $\rho(s_i, s_j)$ ， $T$ 等于上述值。之所以具有协方差 $T\otimes H(\phi)$ 是因为我们假设可以将协方差矩阵分离为 $C(s, s')=\rho(s, s') T$ 。

问题1：当我计算条件 ${\bf{Y}}\mid{\bf{X}}$ ，实际上我正在根据生成一组值，对吗？我已经有所以我对预测新点会更感兴趣。在这种情况下，我应该将矩阵定义为 $\bf{Y}$ $\bf{X}$ $\bf{Y}$ $y(s_{0})$ $H^{*}(\phi)$

H^{*} (ϕ) = (\begin{array}{ccc} H (ϕ) & h \\ h & ρ (0, ϕ) \end{array})

$H^{*}(\phi) = \left(\begin{array}{ccc}H(\phi) & \boldsymbol{h} \\ \boldsymbol{h}& \rho(0,\phi) \end{array}\right)$

其中 $\boldsymbol{h}(\phi)$ 是向量 $\rho(s_{0} - s_{j};\phi)$ 。因此，我们可以构造一个向量（不重新排列）：

W^{*} = {(W (s_{1}), \dots, W (s_{n}), W (s_{0}))}^{T} \sim N (\begin{array}{ccc} 1_{n + 1} \otimes (\begin{array}{ccc} μ_{1} \\ μ_{2} \end{array}) \end{array}, H (ϕ)^{*} \otimes T)

${\bf{W^{*}}} = \left({\bf{W}}(s_{1}), \ldots, {\bf{W}}(s_{n}), {\bf{W}}(s_{0})\right)^{T} \sim N\left(\begin{array}{ccc}\boldsymbol{1}_{n+1} \otimes \left( \begin{array}{ccc} \mu_{1} \\ \mu_{2} \end{array} \right)\end{array}, H(\phi)^{*}\otimes T\right)$

现在我重新排列以获得联合分布并获得条件。 $\left(\begin{array}{ccc} {\bf{X}} \\ x(s_0) \\{\bf{Y}} \\ y(s_0)\end{array} \right)$ $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$

这个对吗？

问题2：为了进行预测，我正在阅读的论文表明我必须使用这种条件分布并获得后验分布，但是我不确定如何获取参数的后验分布。也许我可以使用分发，我认为与完全相同，然后只需使用贝叶斯定理来获得 $p(y(s_0)\mid x_0, {\bf{X}}, {\bf{Y}})$ $p(\mu, T, \phi\mid x(s_0), {\bf{Y}}, {\bf{X}})$ $\left(\begin{array}{ccc}{\bf{X}} \\ x(s_0)\\ {\bf{Y}}\end{array}\right)$ $p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)$ $p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}}) \propto p({\bf{X}}, x(s_0), {\bf{Y}}\mid\mu, T, \phi)p(\mu, T, \phi)$

问题3：在本章的最后，作者说：

为了进行预测，我们没有。这不会产生任何新问题，因为可以将其视为潜在变量并合并到这只会在每次Gibbs迭代中导致额外的消耗，并且对计算任务来说是微不足道的增加。 ${\bf{X}}(s_0)$ $\bf{x}'$

该段是什么意思？

顺便说一下，可以在本文（第8页）中找到此过程，但是正如您所看到的，我需要更多细节。

谢谢！

— 罗伯特·史密斯
source

投票决定根据OP请求进行迁移。

我想说正确到这两个问题的答案1和2问题3种手段的不可观测被作为附加参数处理，之上，使用完全有条件与。

X (s_{0})

$X(s_0)$

μ, T, ϕ

$\mu,T,\phi$

p (x (s_{0}) ∣ X,, Y, μ, T, ϕ)

$p(x(s_0)\mid{\bf{X}}, , {\bf{Y}},\mu, T, \phi)$

X (s_{0})

$X(s_0)$

— 西安

问题1：给定您的联合概率模型的条件分布的给定也是Normal，均值和方差-协方差矩阵

(\begin{array}{ccc} X \\ Y \end{array}) \sim N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), [\begin{matrix} Σ_{11} & Σ_{12} \\ Σ_{21} & Σ_{22} \end{matrix}]) = N ((\begin{array}{ccc} μ_{1} 1 \\ μ_{2} 1 \end{array}), T \otimes H (ϕ))

$\left( \begin{array}{ccc} {\bf{X}} \\ {\bf{Y}} \end{array}\right) \sim N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), \begin{bmatrix} \boldsymbol\Sigma_{11} & \boldsymbol\Sigma_{12} \\ \boldsymbol\Sigma_{21} & \boldsymbol\Sigma_{22} \end{bmatrix} \right)=N\left(\left(\begin{array}{ccc}\mu_{1}\boldsymbol{1}\\ \mu_{2}\boldsymbol{1}\end{array}\right), T\otimes H(\phi)\right)$

Y

$\bf{Y}$

X

$\bf{X}$

μ_{2} + Σ_{21} Σ_{11}^{- 1} (X - μ_{1})

$\boldsymbol\mu_2 + \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \left( \mathbf{X} - \boldsymbol\mu_1\right)$

Σ_{22} - Σ_{21} Σ_{11}^{- 1} Σ_{21} .

$\boldsymbol\Sigma_{22} - \boldsymbol\Sigma_{21} \boldsymbol\Sigma_{11}^{-1} \boldsymbol\Sigma_{21}.$ （这些公式是从Wikipedia页面上以多元法线逐字复制的。）这同样适用于因为是另一个法线向量。

p (y (s_{0}) ∣ x (s_{0}), X, Y)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

(y (s_{0}), x (s_{0}), X, Y)

$(y(s_0), x(s_0), {\bf{X}}, {\bf{Y}})$

问题2：预测性定义为即通过给定当前数据。因此，完整答案还有一点点。显然，如果只需要根据预测进行模拟，则可以从联合模拟然后从有效。 $p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}})$

p (y (s_{0}) | x (s_{0}), X, Y) = \int p (y (s_{0}) | x (s_{0}), X, Y, μ, T, ϕ) p (μ, T, ϕ | x (s_{0}), X, Y) d μ d T d ϕ,

$p(y(s_0) | x(s_0), {\bf{X}}, {\bf{Y}})=\int p(y(s_0)| x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi| x(s_0), {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,,$

(X, Y, x (s_{0}))

$({\bf{X}}, {\bf{Y}},x(s_0))$

p (μ, T, ϕ ∣ X, x (s_{0}), Y)

$p(\mu, T, \phi\mid {\bf{X}}, x(s_0), {\bf{Y}})$

p (y (s_{0}) ∣ x (s_{0}), X, Y, μ, T, ϕ)

$p(y(s_0)\mid x(s_0), {\bf{X}}, {\bf{Y}},\mu,T,\phi)$

问题3：在该事件未观察到，一对可以从另一预测来预测 $x(s_0)$ $(x(s_0),y(s_0))$

p (x (s_{0}), y (s_{0}) ∣ X, Y) = \int p (x (s_{0}), y (s_{0}) ∣ X, Y, μ, T, ϕ) p (μ, T, ϕ ∣ X, Y) d μ d T d ϕ .

$p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}})=\int p(x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\mu,T,\phi)\,p(\mu,T,\phi\mid {\bf{X}}, {\bf{Y}})\,\text{d}\mu\,\text{d} T\,\text{d}\phi\,.$

从此预测进行仿真时，由于无法以可管理的形式提供它，因此可以运行Gibbs采样器，该迭代器可以进行仿真

$\mu\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\phi$
$T\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),\mu,\phi$
$\phi\mid {\bf{X}}, {\bf{Y}},x(s_0),y(s_0),T,\mu$
$x(s_0)\mid {\bf{X}}, {\bf{Y}},y(s_0),\phi,T,\mu$
$y(s_0)\mid {\bf{X}}, {\bf{Y}},x(s_0),\phi,T,\mu$

否则将步骤4和5合并为一个步骤

$x(s_0),y(s_0)\mid {\bf{X}}, {\bf{Y}},\phi,T,\mu$

— 西安
source