在可能简单到具有解析形式的情况下，找出后验分布的步骤？

计算科学也曾问过这个问题。

我试图计算一些系数的自回归的贝叶斯估计，11个的数据样本： 其中 ε 我是高斯均值为0，方差 σ 2 ë 于载体上的先验分布（μ ，α ）吨是高斯均值（0 ，0 ），并与对角项等于一个对角协方差矩阵到 σ 2

$$Y_{i} = \mu + \alpha\cdot{}Y_{i-1} + \epsilon_{i}$$ $\epsilon_{i}$$\sigma_{e}^{2}$$(\mu, \alpha)^{t}$$(0,0)$$\sigma_{p}^{2}$。

基于自回归式，这意味着，数据点（分布）是正常的均值μ + α $Y_{i}$和方差 σ 2 ë。因此，所有数据点（Y ）的密度共同（假设独立性，这对我正在编写的程序很好）将为： p （$\mu + \alpha\cdot{}Y_{i-1}$$\sigma_{e}^{2}$$(Y)$

$$p(Y \quad | (\mu, \alpha)^{t}) = \prod_{i=2}^{11}\frac{1}{\sqrt{2\pi\sigma_{e}^{2}}}\exp{\frac{-(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2}}{2\sigma_{e}^{2}}}.$$

根据贝叶斯定理，我们可以将上述密度与先验密度相乘，然后只需要归一化常数即可。我的直觉是，这应该算是高斯分布，因此我们可以担心最后的归一化常数，而不用用和α上的积分来显式地计算它。$\mu$$\alpha$

这是我遇到的麻烦。如何计算先验密度（即多元变量）与单变量数据密度乘积的乘积？后验纯粹是和α的密度，但是我看不到如何从这样的乘积中得到。$\mu$$\alpha$

即使您只是将我指向正确的方向，然后我需要去做一些杂乱的代数（这是我已经尝试过几次），任何指针才真正有用。

首先，这是贝叶斯规则中分子的形式：

$$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ \frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }.$$

问题是如何看到这降低到的高斯密度。$(\mu, \alpha)^{t}$

添加

最终，这归结为以下普遍问题。如果给出一些二次表达式如你怎么它放入一个二次形式（μ - μ，α - α）Q （μ - μ，α - α）吨一段2×2矩阵

$$A\mu^{2} + B\mu\alpha + C\alpha^{2} + J\mu + K\alpha + L$$ $(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$$Q$？它在容易的情况下，很简单，但什么样的过程，你使用获得的平均估计和α？$\hat{\mu}$$\hat{\alpha}$

注意，我尝试了扩展矩阵公式的直接选择，然后尝试如上所述使系数相等。在我的情况下，问题是常数为零，然后我最终在两个未知数中得到了三个方程，因此，它被确定为仅与系数匹配（即使我假设对称的二次形式矩阵也是如此）。$L$

我对上一个答案的回答的线索是看我如何对参数进行积分-因为您将在此处进行完全相同的积分。您的问题假设方差参数已知，因此它们是常量。您只需要查看对分子的依赖性。要看到这一点，请注意我们可以编写：$\alpha,\mu$

=

$$p(\mu,\alpha|Y)=\frac{p(\mu,\alpha)p(Y|\mu,\alpha)}{\int\int p(\mu,\alpha)p(Y|\mu,\alpha)d\mu d\alpha}$$ $$=\frac{\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}} \exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}(Y_{i} - \mu - \alpha\cdot{}Y_{i-1})^{2} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$$

注意我们如何拉第一个因素列于分母二重积分的，并将其与分子取消。我们也可以得出平方和exp [ −$\frac{1}{(2\pi\sigma_{e}^{2})^{5}\cdot{}2\pi\sigma_{p}^{2}}$和它也将取消。现在剩下的积分是（扩展平方项后的）：$\exp{\biggl [ -\frac{1}{2\sigma_{e}^{2}}\sum_{i=2}^{11}Y_{i}^{2} \biggr ]}$

$$=\frac{\exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }}{\int\int \exp{\biggl [ -\frac{10\mu^2+\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\mu\sum_{i=2}^{11}Y_i-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}+2\mu\alpha\sum_{i=1}^{10}Y_i}{2\sigma_{e}^{2}} - \frac{\mu^{2}}{2\sigma_{p}^{2}} - \frac{\alpha^{2}}{2\sigma_{p}^{2}} \biggr ] }d\mu d\alpha}$$

现在，我们可以使用普通pdf的常规结果。

这是由于在−az2+bz上完成平方并注意到c不依赖于z所致。请注意，μ的内部积分形式为a=

$$\int \exp\left(-az^2+bz-c\right)dz=\sqrt{\frac{\pi}{a}}\exp\left(\frac{b^2}{4a}-c\right)$$ $-az^2+bz$$c$$z$$\mu$和b=Σ 11 我= 2 ÿ我-αΣ 10 我= 1 ÿ$a=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p}$和c ^=α2Σ 10 我= 1 Ÿ 2 我 -2αΣ 11 我= 2 ÿ我ÿ我-$b=\frac{\sum_{i=2}^{11}Y_i-\alpha\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}}$。在完成该积分之后，您会发现在α上的剩余积分也是这种形式，因此您可以再次使用此公式，但要使用不同的a，b，c。然后，您应该能够以1的形式编写后验$c=\frac{\alpha^2\sum_{i=1}^{10}Y_{i}^{2}-2\alpha\sum_{i=2}^{11}Y_{i}Y_{i-1}}{2\sigma_{e}^{2}}+ \frac{\alpha^{2}}{2\sigma_{p}^{2}}$$\alpha$$a,b,c$其中V是一个2×$\frac{1}{2\pi|V|^{\frac{1}{2}}}\exp\left[-\frac{1}{2}(\mu-\hat{\mu},\alpha-\hat{\alpha})V^{-1}(\mu-\hat{\mu},\alpha-\hat{\alpha})^T\right]$$V$$2\times 2$矩阵

让我知道您是否需要更多线索。

更新

（注：正确的公式，应该是，而不是μ $10\mu^2$$\mu^2$）

如果我们看一下您在更新中编写的二次形式，我们会注意到有系数（L与后验无关，因为我们总是可以添加将在分母中抵消的任何常数）。我们也有5个未知数μ，α，Q 11，Q 12 = Q 21，Q 22。因此，只要方程是线性独立的，这就是一个“恰当的”问题。如果扩大二次（μ - μ，α - α）$5$$L$$5$$\hat{\mu},\hat{\alpha},Q_{11},Q_{12}=Q_{21},Q_{22}$，我们得到：$(\mu-\hat{\mu},\alpha-\hat{\alpha})Q(\mu-\hat{\mu},\alpha-\hat{\alpha})^{t}$

= Q 11 μ 2 + 2 Q 21 μ α + Q 22 α 2 - （2 Q 11 μ +

$$Q_{11}(\mu-\hat{\mu})^2+Q_{22}(\alpha-\hat{\alpha})^2+2Q_{12}(\mu-\hat{\mu})(\alpha-\hat{\alpha})$$ $$=Q_{11}\mu^{2} + 2Q_{21}\mu\alpha + Q_{22}\alpha^{2} - (2Q_{11}\hat{\mu}+2Q_{12}\hat{\alpha})\mu - (2Q_{22}\hat{\alpha}+2Q_{12}\hat{\mu})\alpha +$$ $$+Q_{11}\hat{\mu}^2+Q_{22}\hat{\alpha}^2+2Q_{12}\hat{\mu}\hat{\alpha}$$

$A=Q_{11},B=2Q_{12},C=Q_{22}$$\hat{\alpha},\hat{\mu}$$Q$

$$-\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix} \begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = \begin{pmatrix}J \\ K\end{pmatrix}$$

因此，估算值由下式给出：

$$\begin{pmatrix}\hat{\mu} \\ \hat{\alpha}\end{pmatrix} = -\begin{pmatrix}2A & B \\ B & 2C\end{pmatrix}^{-1}\begin{pmatrix}J \\ K\end{pmatrix}=\frac{1}{4AC-B^2}\begin{pmatrix}BK-2JC \\ BJ-2KA\end{pmatrix}$$

$4AC\neq B^2$

$$\begin{array}{c c} A=\frac{10}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} & B=\frac{\sum_{i=1}^{10}Y_i}{\sigma_{e}^{2}} & C=\frac{\sum_{i=1}^{10}Y_{i}^{2}}{2\sigma^2_e}+\frac{1}{2\sigma^2_p} \\ J=-\frac{\sum_{i=2}^{11}Y_i}{\sigma_{e}^{2}} & K=-\frac{\sum_{i=2}^{11}Y_{i}Y_{i-1}}{\sigma_{e}^{2}} \end{array}$$

$X_i=Y_{i-1}$$i=2,\dots,11$$\sigma^2_p\to\infty$$\mu,\alpha$$\hat{\alpha}=\frac{\sum_{i=2}^{11}(Y_{i}-\overline{Y})(X_{i}-\overline{X})}{\sum_{i=2}^{11}(X_{i}-\overline{X})^2}$$\hat{\mu}=\overline{Y}-\hat{\alpha}\overline{X}$$\overline{Y}=\frac{1}{10}\sum_{i=2}^{11}Y_i$$\overline{X}=\frac{1}{10}\sum_{i=2}^{11}X_i=\frac{1}{10}\sum_{i=1}^{10}Y_i$$(0,0)$