贝叶斯估计器是否要求true参数是先验的可能变量？

这可能是一个有点哲学问题的，但在这里我们去：在决策理论，贝叶斯估计的风险为相对于定义为先验分布上。 $\hat\theta(x)$ $\theta\in\Theta$ $\pi$ $\Theta$

现在，一方面，为了使真实的生成数据（即“存在”），必须是下的可能变量，例如具有非零概率，非零密度等。另一方面，是未知的，因此先验的选择，因此我们不能保证真实的是我们选择的下的可能变量。 $\theta$ $\theta$ $\pi$ $\theta$ $\theta$ $\pi$

现在，对我来说，似乎我们不得不以某种方式选择，以使成为可能的变量。否则，某些定理将不成立。例如，最小极大值的估计将不是最不利先验的贝叶斯估计，因为我们可以通过从其域中排除周围并包括的大区域来使该先验任意地变坏。但是，很难保证确实在域中。 $\pi$ $\theta$ $\theta$ $\theta$

所以我的问题是：

通常是否假定实际是的可能变量？ $\theta$ $\pi$
可以保证吗？
是否可以至少以某种方式检测到违反此情况的案例，所以在条件不成立时，不依赖最小定理等定理吗？
如果不需要，为什么决策理论中的标准结果成立呢？

— 用户名
source

Answers:

非常好的问题！确实有道理，“好的”先验分布为“真”参数给出了正的概率或正的密度值，但是从纯粹的决策角度来看，不一定是这种情况。一个简单的反例，当是先验密度，而是参数的“真”值时，应该是必需的卡塞拉和Strawderman的minimaxity结果（1981）：估计正常平均时基于单个观测与所述附加约束， $\theta_0$

π (θ_{0}) > 0

$\pi(\theta_0)>0$

π (\cdot)

$\pi(\cdot)$

θ_{0}

$\theta_0$

μ

$\mu$

x \sim N (μ, 1)

$x\sim{\cal N}(\mu,1)$

| μ | < ρ

$|\mu|<\rho$

ρ

$\rho$ 足够小，特别是，其中估计量对应于上的（最不喜欢）均匀值，这意味着给和（平均值）当增加时，最不利的先验会看到其支持增加，但保留了一组有限的可能值。但是，后验期望可以在上取任何值。

ρ \leq 1.0567

$\rho\le 1.0567$

{- ρ, ρ}

$\{-\rho,\rho\}$

π

$\pi$

- ρ

$-\rho$

ρ

$\rho$

μ

$\mu$

π (θ) = \frac{1}{2} δ_{- ρ} (θ) + \frac{1}{2} δ_{ρ} (θ)

$\pi(\theta)=\frac{1}{2}\delta_{-\rho}(\theta)+ \frac{1}{2}\delta_{\rho}(\theta)$

ρ

$\rho$

E [μ | x]

$\mathbb{E}[\mu|x]$

(- ρ, ρ)

$(-\rho,\rho)$

讨论的核心（请参阅评论）可能是，如果将Bayes估计量约束为的支持点，则其属性将完全不同。 $\pi(\cdot)$

同样，在考虑可允许的估计量时，与紧凑集上的适当先验相关联的贝叶斯估计量通常是可接受的，尽管它们的支持有限。

在这两种情况下，都是在可能的参数范围内定义常客性概念（极小或可容许性），而不是在参数的“真实”值下定义（这带来了问题4的答案）。例如，查看后验风险或有贝叶斯风险不涉及真实值。

\int_{Θ} L (θ, δ) π (θ | x) d θ

$\int_\Theta L(\theta,\delta) \pi(\theta|x)\text{d}\theta$

\int_{X} \int_{Θ} L (θ, δ) π (θ) f (x | θ) d θ d x

$\int_{\cal X}\int_\Theta L(\theta,\delta) \pi(\theta)f(x|\theta)\text{d}\theta\text{d}x$

θ_{0}

$\theta_0$

此外，如以上示例中所指出的，当贝叶斯估计量是由诸如后均值的二次（或）损失，在这种支持不是凸的情况下，该估计器可能会采用支持之外的值。

{\hat{θ}}^{π} (x) = \int_{Θ} θ π (θ | x) d θ

$\hat{\theta}^\pi(x)=\int_\Theta \theta\pi(\theta|x)\text{d}\theta$

L_{2}

$L_2$

π

$\pi$

顺便说一句，阅读时

为了使真实的θ生成数据（即“存在”），θ必须是π下的可能变量，例如具有非零概率，非零密度

我认为这是对先验含义的错误陈述。先验分布不代表实际的物理（或真实）机制，该机制看到从生成的参数值，然后看到从生成的观测值。先验是对参数空间的一种参考度量，它结合了有关该参数的先验信息和主观信念，并且绝不是唯一的。贝叶斯分析始终与进行该贝叶斯分析的先验选择有关。因此，绝对参数true不必属于的支持。显然，当此支持是紧凑的连接集时， $\theta_0$ $\pi$ $x$ $f(x|\theta_0)$ $\pi$ ${\mathscr A}$ ，无法通过后均值一致地估计集合之外的参数的任何值，但这甚至不能阻止估计值的接受。 ${\mathscr A}$ $\hat{\theta}^\pi$

— 西安
source

关于您的最后一点，这就是令我困惑的地方：说我有一些正态分布，而是一些足够小的负数。如果出于某种奇怪的原因，我在上放置了对数正态先验（支持）（不管有多大的意义），那么在这种先验下的贝叶斯估计肯定会比minimax估计差，这是不应该发生的。但也许我在这里误解了什么……

μ

$\mu$

[0, + \infty)

$[0,+\infty)$

μ

$\mu$

— user32849 '18

通常，参见Berger（1985），最不利的先验条件对应于最小最大风险。

— 西安

我在这里真的很困惑：您的书（第2章）似乎假设，特别是在定理2.4.17中，，其中最不利先前是的离散分布。但是我想我应该更仔细地阅读第10页；-)

θ \sim π (θ)

$\theta \sim \pi(\theta)$

Θ = [- m, m]

$\Theta=[-m, m]$

Θ

$\Theta$

— user32849，18年

综合风险在任何阶段均不涉及“ true”参数。因此，从这个意义上讲，这并不重要。

— 西安

因此，从某种意义上讲，风险反映了我们预期的损失，而不是我们实际经历的损失。这非常有帮助，非常感谢！

— user32849

是的，通常假定真实的在先验域内。统计人员有责任看到这种情况。 $\theta$
通常是的。例如，当估计均值或位置参数时，上的任何先前值将在其域中具有真实值。（如果已知该参数大于零，例如“每天在海湾大桥上发生的交通事故的平均次数”，那么显然该先验值不需要包括负值。）如果我们估计一个概率，则任何上的将在其域中具有真实值。如果我们在方差项上构造先验，则上的任何先验将在其域中具有真实值...依此类推。 $(-\infty, \infty)$ $[0,1]$ $(0, \infty)$
如果您的后验被“堆叠”在先验域的一个边缘上，并且您的先验对同一边缘的域施加了不必要的限制，则这是临时指示，表明不必要的限制可能会导致您遇到问题。但这只有在以下情况下才会发生：a）您构造了一个先验，其形式主要由便利而不是实际的先验知识决定，并且b）便利诱导的先验形式将参数的范围限制为参数“自然”域可以被认为是。

这样的一个例子是一个古老的，希望长期淘汰的实践，它使方差项的先验值与零略有界限，以避免潜在的计算困难。如果方差的真实值在边界和零之间，那么……但是实际上要考虑给定数据的方差的潜在值，或者（例如）将先验值放在方差的对数上，这将允许您可以避免此问题，并且一般而言，类似的轻度机巧也可以避免使用域限制先验。

由＃1回答。

— 鲍勃曼
source

不管是谁拒绝投票，都会返回-为什么“无用”？

— jbowman

简单，直观的答案是，先验反映了您对的先验知识，而您应该掌握的关于领域的最起码知识。如果您使用有界先验，那么您将假定界外的值具有零概率，这是不可能的，这是一个很强的假设，没有充分的理由就不能做出。这就是为什么不想做出先验假设的人会在到上使用模糊的先验。 $\theta$ $-\infty$ $\infty$

除了有界情况之外，当样本增长或更准确地传达更多信息时，后验最终应收敛到而不管先前是什么。 $\theta$

— 蒂姆
source