自举与贝叶斯自举在概念上？

我在理解贝叶斯自举过程是什么以及与常规自举有何不同时遇到了麻烦。而且，如果有人可以提供直观/概念性的评论并进行比较，那将很棒。

让我们举个例子。

假设我们有一个[1,2,5,7,3]的数据集X。

如果我们多次采样替换来创建等于X大小的样本（所以[7,7,2,5,7]，[3,5,2,2,7]等），那么我们计算每个的均值，是样本均值的自举分布吗？

贝叶斯引导分布是什么？

以及如何以相同方式完成其他参数（方差等）的贝叶斯自举分布？

bayesian sampling bootstrap

— 麻辣酱
source

参见sumsar.net/blog/2015/04/…和projecteuclid.org/euclid.aos/1176345338，也许@rasmus-bååth可以回答您;）

— 蒂姆

（频繁）引导程序将数据作为未知人口分布的合理近似值。因此，可以通过用替换对观察值进行重复重新采样并为每个样本计算统计量来近似统计量的抽样分布（数据的函数）。

令表示原始数据。（在给定的示例中，）让表示自举样本。这样的样本可能会有一些观察重复一次或多次，而其他观察将不存在。引导程序样本的平均值为 $y = (y_1,\ldots,y_n)$ $n=5$ $y^b = (y_1^b, \ldots, y_n^b)$ 是在多个自举复制中的分布，用于近似估算未知种群的采样分布。

m_{b} = \frac{1}{n} \sum_{i = 1}^{n} y_{i}^{b} .

$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$

m_{b}

$m_b$

为了了解频繁引导程序和贝叶斯引导程序之间的联系，从不同的角度来看如何计算很有帮助。 $m_b$

在每个自举样本，每个观察值发生0到次。设表示在出现的次数，并设。因此 $y^b$ $y_i$ $n$ $h_i^b$ $y_i$ $y^b$ $h^b = (h_1^b, \ldots, h_n^b)$ $h_i^b \in \{0, 1, \ldots, n-1,n\}$ 和。给定，我们可以构造一个总值为1的非负权重集合：，其中。使用这种符号，我们可以重新表达自举样本的平均值，因为 $\sum_{i=1}^n h_i^b = n$ $h^b$ $w^b = h^b/n$ $w_i^b = h_i^b/n$

m_{b} = \sum_{i = 1}^{n} w_{i}^{b} y_{i} .

$m_b = \sum_{i=1}^n w_i^b\, y_i.$

自举样本选择观察的方式确定的联合分布。特别是 $w^b$ 具有多项式分布，因此 $h^b$ 因此，我们可以通过从的分布中绘制并用计算点积来计算。从这个新的角度来看，似乎在权重变化时观测值是固定的。

(n w^{b}) \sim Multinomial (n, (1 / n)_{i = 1}^{n}) .

$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$

m_{b}

$m_b$

w^{b}

$w^b$

y

$y$

在贝叶斯推断中，观察值的确是固定的，因此这种新观点似乎与贝叶斯方法相称。实际上，根据贝叶斯引导程序的均值计算仅在权重分布上有所不同。（尽管如此，从概念上讲，贝叶斯引导程序与惯常方法完全不同。）数据是固定的，权重是未知参数。我们可能对取决于未知参数的某些数据功能感兴趣： $y$ $w$

μ = \sum_{i = 1}^{n} w_{i} y_{i} .

$\mu = \sum_{i=1}^n w_i\, y_i.$

这是贝叶斯引导程序背后模型的缩略图：观测值的采样分布是多项式的，权重的先验是有限的Dirichlet分布，该分布将其所有权重置于单纯形的顶点上。（有些作者将此模型称为多项式似然模型。）

w \sim Dirichlet (1, \dots, 1) .

$w \sim \textsf{Dirichlet}(1,\ldots,1).$

给定权重的后验分布，我们可以来近似函数的后验分布 $\mu$ $w$ $y$

\sum_{i = 1}^{n} w_{i} g (y_{i}, θ) = \underline{0},

$\sum_{i=1}^n w_i\, g(y_i,\theta) = \underline 0,$ where

g (y_{i}, θ)

$g(y_i,\theta)$ is a vector of estimating functions that depends on the unknown parameter (vector)

θ

$\theta$ and

\underline{0}

$\underline 0$ is a vector of zeros. If this system of equations has a unique solution for

θ

$\theta$ given

y

$y$ and

w

$w$ , then we can compute its posterior distribution by drawing

w

$w$ from its posterior distribution and evaluating that solution. (The framework of estimating equations is used with empirical likelihood and with generalized method of moments (GMM).)

The simplest case is the one we have already dealt with:

\sum_{i = 1}^{n} w_{i} (y_{i} - μ) = 0.

$\sum_{i=1}^n w_i\,(y_i - \mu) = 0.$ For the mean and the variance,

θ = (μ, v)

$\theta = (\mu,v)$ we have

g (y_{i}, θ) = (\begin{matrix} y_{i} - μ \\ (y_{i} - μ)^{2} - v \end{matrix}) .

$g(y_i,\theta) = \begin{pmatrix} y_i - \mu \\ (y_i - \mu)^2 - v \end{pmatrix}.$ The setup is a bit more involved than that for the frequentist bootstrap, which is why a Bayesian might adopt the frequentist bootstrap as a quick approximation.

— mef
source

Thanks for the very detailed description. Personally I would appreciate a brief statement on when to choose each one.

— ErichBSchulz