在正态和二项式模型中，后验方差是否总是小于先验方差？

或什么条件可以保证？总的来说（不仅是正常模型和二项式模型），我认为打破这一主张的主要原因是采样模型与先验模型之间存在不一致，但是还有什么呢？我从这个话题开始，所以我非常喜欢简单的例子

由于的后验和先验方差满足（用表示样本） 假设所有数量都存在，则可以期望后验方差平均较小（以）。当后验方差在恒定时，尤其如此。但是，如另一个答案所示，由于结果仅符合预期，因此后验方差的实现可能会更大。X VAR （θ ）= È [ 变种（θ | X ）] + VAR （é [ θ | X ] ）X $\theta$$X$

$$\text{var}(\theta) = \mathbb{E}[\text{var}(\theta|X)]+\text{var}(\mathbb{E}[\theta|X])$$ $X$$X$

引用安德鲁·盖尔曼（Andrew Gelman）的话，

我们在贝叶斯数据分析（Bayesian Data Analysis）的第2章中对此进行了考虑，我认为其中有一些作业问题。简短的答案是，可以预期，随着获得更多信息，后方方差会减少，但是根据模型的不同，在某些情况下方差会增加。对于正常和二项式等模型，后方方差只能减小。但是请考虑自由度较低的t模型（可以将其解释为具有共同均值和不同方差的法线的混合）。如果您观察到一个极值，则表明方差很高，并且后方方差确实会增加。

对于@西安，这将是更多的问题，而不是答案。

我要回答的是后差 其中个试验次数，个成功次数，是先验beta的系数，超过先验方差 根据下面的示例，在二项式模型中也可以使用先验形成鲜明对比，因此后验“在两者之间太远”。它似乎与Gelman的报价相矛盾。Ñķα0，β0V（θ）=α 0 β

$$V(\theta|y)=\frac{\alpha_{1}\beta_1}{(\alpha_{1}+\beta_1)^2(\alpha_{1}+\beta_1+1)}=\frac{(\alpha _{0}+k)(n-k+\beta_{0})}{(\alpha_{0}+n+\beta_0)^2(\alpha_{0}+n+\beta_0+1)},$$ $n$$k$$\alpha_{0},\beta_0$ $$V(\theta)=\frac{\alpha_{0}\beta_0}{(\alpha_{0}+\beta_0)^2(\alpha_{0}+\beta_0+1)}$$

n <- 10         
k <- 1
alpha0 <- 100
beta0 <- 20

theta <- seq(0.01,0.99,by=0.005)
likelihood <- theta^k*(1-theta)^(n-k) 
prior <- function(theta,alpha0,beta0) return(dbeta(theta,alpha0,beta0))
posterior <- dbeta(theta,alpha0+k,beta0+n-k)

plot(theta,likelihood,type="l",ylab="density",col="lightblue",lwd=2)

likelihood_scaled <- dbeta(theta,k+1,n-k+1)
plot(theta,likelihood_scaled,type="l",ylim=c(0,max(c(likelihood_scaled,posterior,prior(theta,alpha0,beta0)))),ylab="density",col="lightblue",lwd=2)
lines(theta,prior(theta,alpha0,beta0),lty=2,col="gold",lwd=2)
lines(theta,posterior,lty=3,col="darkgreen",lwd=2)
legend("top",c("Likelihood","Prior","Posterior"),lty=c(1,2,3),lwd=2,col=c("lightblue","gold","darkgreen"))

 > (postvariance <- (alpha0+k)*(n-k+beta0)/((alpha0+n+beta0)^2*(alpha0+n+beta0+1)))
[1] 0.001323005
> (priorvariance <- (alpha0*beta0)/((alpha0+beta0)^2*(alpha0+beta0+1)))
[1] 0.001147842

因此，该示例表明在二项式模型中存在较大的后验方差。

当然，这不是预期的后验方差。那是差异所在吗？

对应的图是