为什么在伯努利参数上使用beta分布进行分层逻辑回归？

我目前正在阅读Kruschke出色的“做贝叶斯数据分析”书。但是，有关分层逻辑回归的章节（第20章）有些令人困惑。

图20.2描述了分层逻辑回归，其中伯努利参数被定义为通过S型函数转换的系数的线性函数。我在其他在线资源中也看到了大多数示例，这似乎是构成分层逻辑回归的方式。例如-http: //polisci2.ucsd.edu/cfariss/code/SIMlogit02.bug

但是，当预测变量是名义变量时，他在层次结构中添加了一层-Bernoulli参数现在从beta分布中绘制（图20.5），其参数由mu和kappa确定，其中mu是系数线性函数的S形变换。，而kappa使用伽玛优先级。

这似乎是合理的，类似于第9章中的掷硬币示例，但是我不认为名义上的预测变量与添加beta分布有什么关系。在度量标准预测变量的情况下，为什么不这样做？为什么为名义预测变量增加了beta分布？

编辑：澄清我所指的模型。首先，具有指标预测变量的逻辑回归模型（之前没有beta）。这类似于分层逻辑回归的其他示例，例如上面的错误示例：

y_{i} \sim Bernoulli (μ_{i}) μ_{i} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (M_{β}, T_{β})

$y_i \sim \operatorname{Bernoulli}(\mu_i) \\ \mu_i = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(M_\beta, T_\beta) \\$

然后是带有名义预测变量的示例。在这里，我不太了解层次结构的“较低”级别的作用（将逻辑结果纳入二项式分析的beta中），以及为什么它应与度量示例有所不同。

z_{i} \sim Bin (θ_{i}, N) θ_{i} \sim Beta (a_{j}, b_{j}) a_{j} = μ_{j} κ b_{j} = (1 - μ_{j}) κ κ \sim Γ (S_{κ}, R_{κ}) μ_{j} = sig (β_{0} + \sum_{j} β_{j} x_{j i}) β_{0} \sim N (M_{0}, T_{0}) β_{j} \sim N (0, τ_{β}) τ_{β} = 1 / σ_{β}^{2} σ_{β}^{2} \sim folded t (T_{t}, D F)

$z_i \sim \operatorname{Bin}(\theta_i, N) \\ \theta_i \sim \operatorname{Beta}(a_j, b_j) \\ a_j = \mu_j \kappa \\ b_j = (1- \mu_j) \kappa \\ \kappa \sim \Gamma(S_\kappa, R_\kappa) \\ \mu_j = \operatorname{sig}(\beta_0 + \sum_j \beta_j x_{ji} ) \\ \beta_0 \sim N(M_0, T_0) \\ \beta_j \sim N(0, \tau_\beta) \\ \tau_\beta = 1/\sigma_{\beta}^2 \\ \sigma_{\beta}^2 \sim \operatorname{folded t} (T_t, DF)$

— 用户4733
source

Answers:

您比较的两个模型具有许多其他功能，我认为您可以在以下两个简化模型的背景下更清楚地陈述您的问题：

模型1：

\begin{aligned} y_{i} | μ_{i} & \sim Bern (μ_{i}) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \mu_i &\sim \operatorname{Bern}( \mu_i ) \\ \mu_i &\sim \pi(\mu_i) \end{align}$

模型2：

\begin{aligned} y_{i} | θ_{i} & \sim Bern (θ_{i}) \\ θ_{i} | μ_{i}, κ & \sim Beta (μ_{i} κ, (1 - μ_{i}) κ) \\ μ_{i} & \sim π (μ_{i}) \end{aligned}

$\begin{align} y_i | \theta_i & \sim \operatorname{Bern}( \theta_i ) \\ \theta_i | \mu_i,\kappa &\sim \operatorname{Beta}\big( \mu_i\kappa, (1-\mu_i)\kappa \big) \\ \mu_i&\sim \pi(\mu_i) \end{align}$

您的问题是：（1）Beta发行版扮演什么角色；与之相关的（2）模型2与模型1有什么不同（如果有的话）？

$\mu_i$ $\mu_i$

\begin{matrix} p (μ_{i} | y_{i}) \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{matrix}

$\begin{gather} p(\mu_i|y_i) \propto \mu_i^{y_i}(1-\mu_i)^{1-y_i}\pi(\mu_i) \end{gather}$

μ_{i}

$\mu_i$

\begin{aligned} p (μ_{i} | y_{i}, κ) & \propto \int_{0}^{1} \frac{θ_{i}^{y_{i} + μ_{i} κ - 1} (1 - θ_{i})^{κ (1 - μ_{i}) - y_{i}}}{B (κ μ_{i}, κ (1 - μ_{i}))} d θ π (μ_{i}) \\ \propto \frac{B (y_{i} + μ_{i} κ, 1 - y_{i} + κ (1 - μ_{i})) π (μ_{i})}{B (κ μ_{i}, κ (1 - μ_{i}))} \\ \propto μ_{i}^{y_{i}} (1 - μ_{i})^{1 - y_{i}} π (μ_{i}) \end{aligned}

$\begin{align} p(\mu_i|y_i,\kappa) &\propto \int^1_0 \frac{\theta_i^{y_i + \mu_i\kappa - 1}(1-\theta_i)^{\kappa(1-\mu_i)-y_i}}{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} d\theta \,\pi(\mu_i) \\ &\propto \frac{B\big(y_i+\mu_i\kappa,1-y_i+\kappa(1-\mu_i)\big)\pi(\mu_i) }{B\big(\kappa\mu_i,\kappa(1-\mu_i)\big)} \\ &\propto \mu_i^{y_i}(1-\mu_i)^{1-y_i} \pi(\mu_i) \end{align}$

$\theta_i$

— m
source

从贝塔分布中得出伯努利参数的原因是，贝塔与二项式共轭。使用共轭先验分布可以使闭合形式的解找到后验。

编辑：澄清。两种模型都可以。即使使用MCMC，使用共轭先验也是有用的，因为它允许将专用采样器用于各种类型的分布，这比通用采样器更有效。例如，请参见JAGS用户手册sec。4.1.1和sec 4.2。

— 杰克·坦纳
source

我的书中可能没有足够的上下文，但是这些分析是使用Gibbs采样进行的，因此后验的闭合形式表示不是必需的。在我链接的示例中，bernoulli参数不是固定为beta分布，而是由线性预测变量的S形变换产生的，线性预测变量具有正态分布的系数。这也是Kruschke在本章中也提供了一个较早的示例（带有度量预测变量）（bernoulli参数只是具有正态分布系数的线性函数的S形变换）

— user4733 2012年

@ user4733杰克·坦纳（Jack Tanner）正确地认为β是贝努利样品之前的结合物。选择它似乎不仅仅是巧合。是的，您可能正在做Gibbs采样以获取后验分布，但是在层次模型中，涉及多个先验，这可能是您将先验放在超参数（一个先验分布族的参数。它是一个如果您愿意的话，可以使用“先验”；在这种情况下，使用共轭先验可能会很方便。您对本书的某些描述会使我们感到困惑：

— Michael R. Chernick 2012年

您正在摘录的一些摘录会在我们了解正在发生的事情的能力方面造成差距。您需要描述先验模型和层次结构，以便更好地为我们提供帮助（至少对我而言）>

— Michael R. Chernick 2012年

在我要引用的层次模型中添加了一些描述。希望它会有所帮助。

— user4733