贝叶斯logit模型-直观的解释？

我必须承认，我以前从未在本科或研究生班上听说过该词。

Logistic回归为贝叶斯是什么意思？我正在寻找从常规物流到贝叶斯物流的过渡解释，类似于以下内容：

这是线性回归模型的方程： $E(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$ 。

这是逻辑回归模型中的方程式：。当y是绝对值时完成此操作。 $\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n$

我们要做的是将更改为。 $E(y)$ $\ln(\frac{E(y)}{1-E(y)})$

那么在贝叶斯逻辑回归中对逻辑回归模型做了什么？我猜想这与方程式无关。

这本书的预览似乎定义了，但我不太了解。这些先前的可能性是什么？是什么？有人可以用另一种方式解释本书的这一部分或贝叶斯逻辑模型吗？ $\alpha$

注意：这是我之前问过的，但回答得不是很好。

— BCLC
source

我不想回答这个问题，因为我认为@Tim涵盖了大部分内容。唯一没有想到的是，在更一般的贝叶斯逻辑回归和贝叶斯广义线性模型（GLM）中，先验分布不仅位于系数上，而且位于这些系数的方差和协方差上。提到这一点非常重要，因为针对GLM的贝叶斯方法的主要优点之一是指定系数的较大可处理性，并且在许多情况下，还可以拟合复杂的系数协方差模型。

— 垃圾平衡

@BrashEquilibrium：您提到的是Logit模型的标准贝叶斯建模的可能层次扩展。在我们的书中，我们在

上使用了一个g

，在此之前，固定协方差矩阵是从协变量

导出的。

β

$\beta$

X

$X$

— 西安

在g之前足够公平。

— 垃圾平衡

也就是说，协方差仍然存在先验!!!!!!!!! 如果您不讨论它，就不会描述逻辑回归如何完全起作用。

— 垃圾平衡

Answers:

Logistic回归可以描述为线性组合

η = β_{0} + β_{1} X_{1} + . . . + β_{k} X_{k}

$\eta = \beta_0 + \beta_1 X_1 + ... + \beta_k X_k$

通过链接函数传递： $g$

g (E (Y)) = η

$g(E(Y)) = \eta$

链接功能是登录功能

E (Y | X, β) = p = {logit}^{- 1} (η)

$E(Y|X,\beta) = p = \text{logit}^{-1}( \eta )$

其中采取仅在值和逆分对数变换的功能线性组合于该范围。这就是经典逻辑回归的终点。 $Y$ $\{0,1\}$ $\eta$

但是，如果你还记得，对于只需要在值的变量，比可以被视为。在这种情况下，可以将logit函数输出视为“成功”的条件概率，即 $E(Y) = P(Y = 1)$ $\{0,1\}$ $E(Y | X,\beta)$ $P(Y = 1 | X,\beta)$ 。伯努利分布是一种描述观察二进制结果的概率的分布，带有一些参数，因此我们可以将描述为 $P(Y=1|X,\beta)$ $p$ $Y$

y_{i} \sim Bernoulli (p)

$y_i \sim \text{Bernoulli}(p)$

因此，通过逻辑回归，我们寻找一些参数，它们与独立变量构成线性组合。在经典回归（我们假定为恒等函数链接功能），但是到模型，取入的值，我们需要变换所以，以适应在范围。 $\beta$ $X$ $\eta$ $E(Y|X,\beta) = \eta$ $Y$ $\{0,1\}$ $\eta$ $[0,1]$

现在，为了估计在贝叶斯方式logistic回归你拿起一些先验参数与线性回归（参见Kruschke等人，2012），然后使用分对数函数来转换线性组合，所以利用其输出作为描述您的变量的伯努利分布参数。因此，是的，您实际上使用等式和logit链接函数的方法与在偏见情况下的方法相同，其余的工作（例如选择先验条件）类似于估计贝叶斯方法的线性回归。 $\beta_i$ $\eta$ $p$ $Y$

用于选择先验的简单的方法是选择正常分布（但也可以使用其它分布，例如 -或拉普拉斯分布为更稳健的模型）为的带有参数和被预先设定或取自等级先验。现在，有了模型定义，您就可以使用JAGS之类的软件来进行Markov Chain Monte Carlo仿真，以估算模型。下面，我发布了用于简单物流模型的JAGS代码（请在此处查看更多示例）。 $t$ $\beta_i$ $\mu_i$ $\sigma_i^2$

model {
   # setting up priors
   a ~ dnorm(0, .0001)
   b ~ dnorm(0, .0001)

   for (i in 1:N) {
      # passing the linear combination through logit function
      logit(p[i]) <- a + b * x[i]

      # likelihood function
      y[i] ~ dbern(p[i])
   }
}

如您所见，代码直接转换为模型定义。什么软件做的是它吸引了来自普通先验一些值a和b，然后使用这些值来估算p，最后，用似然函数来评估可能给出的参数数据（这是当你使用贝叶斯定理，看到这里的更详细的说明）。

可以扩展基本逻辑回归模型，以使用分层模型（包括hyperprior）对预测变量之间的依赖性进行建模。在这种情况下，你可以画 “从s 多元正态分布，使我们能够包括有关协方差信息自变量之间 $\beta_i$ $\boldsymbol{\Sigma}$

（ \begin{matrix} β_{0} \\ β_{1个} \\ ⋮ \\ β_{ķ} \end{matrix} ） 〜 中号 V ñ （ [\begin{matrix} μ_{0} \\ μ_{1个} \\ ⋮ \\ μ_{ķ} \end{matrix}] ， [\begin{matrix} σ_{0}^{2} & σ_{0 ， 1个} & \dots & σ_{0 ， ķ} \\ σ_{1个 ， 0} & σ_{1个}^{2} & \dots & σ_{1个 ， ķ} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ σ_{ķ ， 0} & σ_{ķ ， 1个} & \dots & σ_{ķ}^{2} \end{matrix}] ）

$\begin{pmatrix} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_k \end{pmatrix} \sim \mathrm{MVN} \left( \begin{bmatrix} \mu_0 \\ \mu_1 \\ \vdots \\ \mu_k \end{bmatrix}, \begin{bmatrix} \sigma^2_0 & \sigma_{0,1} & \ldots & \sigma_{0,k} \\ \sigma_{1,0} & \sigma^2_1 & \ldots &\sigma_{1,k} \\ \vdots & \vdots & \ddots & \vdots \\ \sigma_{k,0} & \sigma_{k,1} & \ldots & \sigma^2_k \end{bmatrix} \right)$

...但是这很详细，所以让我们在这里停止。

这里的“贝叶斯”部分是使用贝叶斯定理并以概率术语定义模型来选择先验。看到这里的“贝叶斯模型”的定义，并在这里对一些贝叶斯方法一般直觉。您还可以注意到，使用这种方法定义模型非常简单和灵活。

Kruschke，JK，Aguinis，H.＆Joo，H.（2012年）。现在到了：组织科学中用于数据分析的贝叶斯方法。 组织研究方法，15（4），722-752。

Gelman，A.，Jakulin，A.，Pittau，GM和Su，Y.-S. （2008）。逻辑模型和其他回归模型的信息量很少的默认先验分布。 应用统计年鉴，2（4），1360–1383。

— 蒂姆
source

您需要证明方差，而不仅仅是系数。

— 垃圾平衡

@BCLC没有，用于逻辑回归分对数被用作链路功能

，而

是线性组合

，例如用于线性回归

是恒等函数，以便

，这仅仅是GLM的标准规范。

g

$g$

η

$\eta$

η = β_{0} + β_{1} X_{1}

$\eta = \beta_0 + \beta_1 X_1$

g

$g$

E (Y) = η

$E(Y) = \eta$

— 蒂姆

@BCLC检查我的答案中的链接，它们提供了贝叶斯统计信息的一般介绍。这是您最初的问题中提到的一个更广泛的话题，但是您可以在我在回答中提供的参考文献中找到很好的介绍。

— 蒂姆

@Tim我在那里打错字了。证明应该先验。基本上，系数并不是唯一未知的参数。多项式分布还具有方差协方差矩阵，通常我们不知道它是已知的。

— 垃圾平衡

“这里的“贝叶斯”部分是选择先验，使用贝叶斯定理并以概率术语定义模型。” Gelman等人是一个很好的参考。逻辑模型和其他回归模型的较弱信息默认先验分布stat.columbia.edu/~gelman/research/published/priors11.pdf

— Dalton Hance

这些先前的可能性是什么？

这就是使它成为贝叶斯的原因。数据的生成模型相同；不同之处在于，贝叶斯分析为感兴趣的参数选择了一些先验分布，并计算或近似了后验分布，所有推断均基于该后验分布。贝叶斯规则涉及两个：后验与先验的似然时间成正比。

$\bf\beta$

某些频繁出现的模型可能与具有特定先验的贝叶斯对应模型相关联，尽管我不确定在这种情况下哪个模型相对应。

— 肖恩·复活节
source

β

$\beta$

β

$\beta$

β_{1}, β_{2}, . . ., β_{n}

$\beta_1, \beta_2, ..., \beta_n$

X_{1}

$X_1$

X_{2}

$X_2$

X_{n}

$X_n$

β

$\beta$

@BCLC为了回答这些问题，我将从贝叶斯推断的简单过程开始，然后按我定义的术语进行操作：贝叶斯将所有感兴趣的参数视为随机变量，并根据数据更新对这些参数的信念。在分析数据之前，先验分布表示对参数的信念；*后验分布*（根据贝叶斯规则，即先验和似然的归一化乘积）根据先验和数据总结了对参数的不确定信念。计算后验是进行拟合的地方。

— 肖恩·复活节

β

$\beta$

p

$p$

p

$p$

好吧，我读完“机会论”中的一个解决问题的论文后，我认为我对你的理解更好。感谢SeanEster

— BCLC 2015年

P (B)

$P(B)$