Beta分布与逻辑回归模型之间有什么关系？

我的问题是：Beta分布与逻辑回归模型的系数之间的数学关系是什么？

为了说明： logistic（Sigmoid）函数由下式给出

f (x) = \frac{1}{1 + \exp (- x)}

$f(x) = \frac{1}{1+\exp(-x)}$

它用于对逻辑回归模型中的概率进行建模。设为二分式评分结果，为设计矩阵。逻辑回归模型由下式给出 $A$ $(0,1)$ $X$

P (A = 1 | X) = f (X β) .

$P(A=1|X) = f(X \beta).$

注意 $X$ 的第一列为常数 $1$ （截距）， $\beta$ 为回归系数的列向量。例如，当我们有一个（标准正态）回归变量 $x$ 并选择 $\beta_0=1$ （拦截）和 $\beta_1=1$ ，我们可以模拟所得的“概率分布”。

此图使人想起了密度由下式给出的Beta分布（与其他选择的图一样）。 $\beta$

g (y; p, q) = \frac{Γ (p) Γ (q)}{Γ (p + q)} y^{(p - 1)} (1 - y)^{(q - 1)} 。

$g(y;p,q) = \frac{\Gamma(p)\Gamma(q)}{\Gamma(p+q)} y^{(p-1)} (1-y)^{(q-1)}.$

使用最大似然或矩量方法，可以根据的分布估算和。因此，我的问题归结为：与和选择之间是什么关系？首先，这解决了上面给出的双变量情况。 $p$ $q$ $P(A=1|X)$ $\beta$ $p$ $q$

— 汤姆卡
source

我只是在3个小时前在我的贝叶斯统计课上想知道

— Alchemist

Answers:

Beta是范围内的值分布，其形状非常灵活，因此对于几乎任何单峰经验值分布，您都可以轻松找到“类似于”形状的beta分布的参数的分布。 $(0,1)$ $(0,1)$

注意，逻辑回归为您提供了条件概率，而在您的绘图上，您正在向我们展示预测概率的边际分布。这是两件事要谈。 $\Pr(Y=1\mid X)$

从逻辑回归模型预测的分布来看，逻辑回归参数与β分布参数之间没有直接关系。在下面，您可以看到使用正态分布，指数分布和均匀分布模拟的数据，并通过逻辑函数进行了转换。除了使用完全相同的逻辑回归参数（即）以外，预测概率的分布也非常不同。因此，预测概率的分布不仅取决于逻辑回归的参数，还取决于的分布，它们之间没有简单的关系。 $\beta_0 = 0, \beta_1 = 1$ $X$

由于beta是中值的分布，因此它不能像逻辑回归那样用于建模二进制数据。它可以用来建模概率，以这种方式我们使用beta回归（另请参见此处和此处）。因此，如果您对概率（理解为随机变量）的行为感兴趣，则可以将Beta回归用于此目的。 $(0,1)$

— 蒂姆
source

因此，如果Beta可以近似任何这样的分布，它的参数和之间是否应该没有关系？

β

$\beta$

— tomka '17

@tomka，但是分布取决于您的数据分布和参数，因此即使存在这种关系，也是非常复杂的。回归参数与β分布参数之间显然没有直接关系。尝试在相同的参数下使用不同分布模拟逻辑回归预测，每种情况下的边际分布都会不同。

X

$X$

— 蒂姆

Beta分布不那么灵活-它不能近似多峰分布。

— Marcus PS

@MarcusPS我说得更清楚了。

— 蒂姆

@MarcusPS，除了模式为0和1的多峰分布的特殊情况...

— Ben Bolker

Logistic回归是广义线性模型（GLM）的特例。在这种特殊的二进制数据情况下，逻辑函数是规范链接函数，它将当前的非线性回归问题转换为线性问题。GLM有点特殊，因为它们仅适用于指数族中的分布（例如二项分布）。

在贝叶斯估计中，Beta分布是二项式分布之前的共轭数，这意味着使用二项式观测值将贝叶斯更新到Beta先验将导致Beta后验。因此，如果您有观察二元数据的计数，则可以使用Beta先验方法获得二项式分布参数的分析贝叶斯估计。

因此，按照其他人的说法，我认为没有直接关系，但是Beta分布和逻辑回归在估计遵循二项式分布的事物的参数方面都具有密切的关系。

— 马库斯PS
source

我已经为提到贝叶斯透视图+1了，但是请注意，在回归模型的情况下，我们不使用beta-二项式模型，并且通常不将beta分布用作参数的先验-至少在典型的贝叶斯逻辑模型中回归。因此，这不会直接转换为β二项式模型。

— 添

也许没有直接联系？的分布在很大程度上取决于您对的模拟。如果使用模拟，则将具有对数正态分布，给定。然后可以明确找到的分布：使用cdf反cdf和pdf其中与Beta发行版不同。 $P(A=1|X)$ $X$ $X$ $N(0,1)$ $\exp(-X\beta)$ $\mu=-1$ $\beta_0=\beta_1=1$ $P(A=1|X)$

F (x) = 1 - Φ [\ln (\frac{1}{x} - 1) + 1],

$F(x)=1-\Phi\left[\ln\left(\frac{1}{x}-1\right)+1\right],$

Q (x) = \frac{1}{1 + \exp (Φ^{- 1} (1 - x) - 1)},

$Q(x)=\frac{1}{1+\exp(\Phi^{-1}(1-x)-1)},$

f (x) = \frac{1}{x (1 - x) \sqrt{2 π}} \exp (- \frac{(\ln (1 / x - 1) + 1)^{2}}{2}),

$f(x)=\frac{1}{x(1 - x)\sqrt{2\pi}}\exp\left(-\frac{(\ln(1/x-1)+1)^2}{2}\right),$

您可以验证上面R中给出的结果：

n = 100000

X = cbind(rep(1, n), rnorm(n)) # simulate design matrix
Y = 1 / (exp(-X %*% c(1,1)) + 1) # P(A=1|X)

Z1 = 1 / (rlnorm(n, -1, 1) + 1) # simulate from lognormal directly
Z2 = 1 / (1 + exp(qnorm(runif(n)) - 1)) # simulate with inverse CDF

# Kolmogorov–Smirnov test
ks.test(Y, Z1)
ks.test(Y, Z2)

# plot fitted density
new.pdf = function(x) {
  1 / (x * (1 - x) * sqrt(2 * pi)) * exp(-0.5 * (log(1 / x - 1) + 1)^2)
}
hist(Y, breaks = "FD", probability = T)
curve(new.pdf, col = 4, add = T)

— 弗朗西斯
source

我的确实是标准正常的（我进行了编辑）。您的密度支持，而的密度仅支持。实际上，您的应该是标准法线。换句话说，您尚未显示的分布。

x

$x$

f (x)

$f(x)$

[- inf, inf]

$[-\inf, \inf]$

P (A | X)

$P(A|X)$

[0, 1]

$[0,1]$

f (x)

$f(x)$

P (A | X)

$P(A|X)$

— tomka '17

@tomka对数放，所以。另外，不是标准正态的pdf，请注意分母。

1 / x - 1 > 0

$1/x-1>0$

x \in (0, 1)

$x\in(0,1)$

f

$f$

— 弗朗西斯

为什么CLT对回归变量的分布具有任何适用性？

X

$X$

— ub

@whuber：好像我弄错了什么，我删除了那部分。

— 弗朗西斯