适当的先验和取幂的可能性会导致不正确的后验吗？

（此问题的灵感来自西安的评论。）

众所周知的是，如果先验分布 $\pi(\theta)$ 是适当的和似然 $L(\theta | x)$ 是良好定义的，然后将后验分布 $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$ 几乎可以肯定是正确的。

在某些情况下，我们改用经过调和或取幂的可能性，从而导致伪后验

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$ 为一些

α > 0

$\alpha>0$ （例如，这可以具有计算上的优点）。

在这种情况下，是否可能有适当的先验但伪后验不当？

bayesian prior posterior

— 罗宾·赖德
source

实际上，几分钟后，我认为这不太可能，因为考虑先验x可能性^α乘积时，先验x可能性乘积的散度减小了。术语更慢地归零是由适当的先验控制的。因此，我敢打赌这是不可能的。（警告：我知道是错的！）

— 西安

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

此参数也适用于吗？另外，是否有办法证明以这种方式构造的可能性是正确的？

α < 1

$\alpha < 1$

— InfProbSciX

实际上，对于，因为我们知道，所以RHS的最大值始终是有限的，对于，您可以使用您的Jensen参数进行相同的推论。因此，论点在这方面是失败的。简短说明一下，此参数要求无限大的可能性才能成功，即表示所有。

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— πr8

的确，对于，您不能构造一个好点！我必须说，我为看到无限可能性的例子而着迷！beta后验可能是无限可能性的结果。

α = 1

$\alpha = 1$

— InfProbSciX

Answers:

对于 $\alpha \leq 1$ ，这也许是表明它是不可能的构造这样的后一个参数？

我们想看看是否有可能为 $\int \tilde \pi(\theta|x)d\theta = \infty$ 。

在RHS上：

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

如果 $\alpha \leq 1$ ， $x^{\alpha}$ 是一个凹函数，所以由Jensen不等式：

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... 西安指出的 $m(x)$ 是归一化常数（证据）。

— InfProbSciX
source

整洁，谢谢。我喜欢您使用的事实是，对于

，后验是正确的。

α = 1

$\alpha=1$

— 罗宾·赖德

可以在@InfProbSciX的答案中使用结果来总体证明结果。重写 $L(\theta\mid x)^\alpha\pi(\theta)$ 为

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$ 如果

1 \leq α \leq 2

$1 \leq \alpha \leq 2$ ，我们上面的Jensen不等式的情况下，因为我们知道，

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$ 是normalisable。类似地，如果

2 \leq α \leq 3

$2 \leq \alpha \leq 3$ ，我们可以写出

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$ 与

1 \leq p \leq 2

$1 \leq p \leq 2$ ，再次落入相同的情况下，因为我们知道即

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$ 是normalisable。现在，人们可以使用（强）归纳法来大致展示这种情况。

旧评论

不知道这是否超级有用，但是由于我无法发表评论，因此我将其留在答案中。除了@ InfProbSciX的约优良备注 $\alpha \leq 1$ ，如果一个使得进一步假设，即 $L(\theta \mid x) \in L^p$ ，那么就不可能有一个适当的现有但不正确的伪后为 $1 < \alpha \leq p$ 。例如，如果我们知道第二个（ $p$ 个）的时刻 $L(\theta \mid x)$ 存在，我们知道这是在 $L^2$ （ $L^p$ ），因此伪后部将适当的为 $0 \leq \alpha \leq 2$ 。这些说明中的第1节有一些详细介绍，但不幸的是，目前尚不清楚 $L^{10}$ pdf的分类范围。如果在这里不合时宜，我深表歉意，我真的很想对此发表评论。

— 路易斯·马克斯·卡瓦略（Luiz Max Carvalho）
source

你是正确的，如果该似然函数

是该空间内

-即，

空间WRT由现有感应的措施，则该后会适当为

。我在这里完全是猜测，但我认为该空间将包含我们可以想到的大多数可能性-我想我可能已经读了很久以前的证明，该证明说，如果

是黎曼可积，那么它的正幂也是。

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$ 是可整合的。定理1.26参考

— InfProbSciX

@InfProbSciX，我认为这里可能有一个完整的证据潜伏在阴影中。我从您的答案中得出

可以为负。如果这是正确的，那么我们可以证明对于任何

，伪似然将是可积的，因为可积函数的倒数是可积的。并且，如果可能性是可积的，我认为后验将是可积的，因为先验是有界的，并且可积和有界函数的乘积是可积的（math.stackexchange.com/a/56008/271610）。让我知道你的想法。

α

$\alpha$

p > 1

$p > 1$

— 路易丝·马克斯·卡瓦略

我认为您可以忽略

的情况，因为这个问题明确地假定了其他情况。的积

为任何一般的情况下需要显示。此外，我不知道，如果在现有总是有界的，例如，一个的密度

不会。

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX

@InfProbSciX，我的意思是，即使

不在问题中，如果您的证明也成立，那么我们可以利用以下事实证明

的可积性：

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

是积那么这样是

。如您所说，如果先验无界，那么所有这些都是零。我们可以尝试限制可能性，在我看来，在MLE中使用的任何可能性都必须是有界的或强烈凹入的（en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties），这两种方法都可以用来建立一般证明。有什么想法吗？

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho

抱歉，我错过了，是的，看起来像是做了一次有趣的尝试！

— InfProbSciX