计算逻辑回归的置信区间

我正在使用二项式逻辑回归来确定是否暴露has_x或has_y影响用户点击某事的可能性。我的模型如下：

fit = glm(formula = has_clicked ~ has_x + has_y, 
          data=df, 
          family = binomial())

这是我模型的输出：

Call:
glm(formula = has_clicked ~ has_x + has_y, 
    family = binomial(), data = active_domains)

Deviance Residuals: 
    Min       1Q   Median       3Q      Max  
-0.9869  -0.9719  -0.9500   1.3979   1.4233  

Coefficients:
                      Estimate Std. Error z value Pr(>|z|)    
(Intercept)          -0.504737   0.008847 -57.050  < 2e-16 ***
has_xTRUE -0.056986   0.010201  -5.586 2.32e-08 ***
has_yTRUE  0.038579   0.010202   3.781 0.000156 ***
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

(Dispersion parameter for binomial family taken to be 1)

    Null deviance: 217119  on 164182  degrees of freedom
Residual deviance: 217074  on 164180  degrees of freedom
AIC: 217080

Number of Fisher Scoring iterations: 4

由于每个系数都很重要，因此使用此模型，我可以使用以下方法判断这些组合中的任何一个的值：

predict(fit, data.frame(has_x = T, has_y=T), type = "response")

我不了解如何报告性病。预测错误。

1. 我仅需要使用吗？或者我需要转换的 小号Ë使用所描述的方法在这里？$1.96*SE$$SE$

2. 如果我想了解两个变量的标准误差，我将如何考虑？

True,True$+/- 0.3%$$95\% CI$

$\beta^Tx$

背景

回想一下Logistic回归模型

• $(Y = 1)$$p = \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}$

• $(Y = 1)$$\left( \frac{p}{1-p}\right) = e^{\alpha + \beta_1x_1 + \beta_2 x_2}$

• $(Y = 1)$$\log \left( \frac{p}{1-p}\right) = \alpha + \beta_1x_1 + \beta_2 x_2$

$x_1$$x_1 + 1$

$$\text{Odds}(Y = 1) = e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} = e^{\alpha + \beta_1 x_1 + \beta_1 + \beta_2x_2 }$$

• 因此，赔率（OR）为

$$\frac{\text{Odds}(x_1 + 1)}{\text{Odds}(x_1)} = \frac{e^{\alpha + \beta_1(x_1 + 1) + \beta_2x_2} }{e^{\alpha + \beta_1 x_1 + \beta_2x_2}} = e^{\beta_1}$$

• $\beta_1$

• $\frac{ \frac{e^{\alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_1 + \beta_2 x_2}}}{ \frac{e^{\alpha + \beta_1x_1 + \beta_2 x_2}}{1 + e^{ \alpha + \beta_1x_1 + \beta_2 x_2}}}$

解释系数

$\beta_j$

• $x_j$$\beta_j$
• $x_j$$e^{\beta_j}$
• $x_j$$k$$k + \Delta$$e^{\beta_j \Delta}$
• $x_j$

$\beta_j$

$1.96∗SE$

$\beta_j$

$$\beta_j \pm z^* SE(\beta_j)$$

$$e^{\beta_j \pm z^* SE(\beta_j)}$$

这是几率的置信区间。请注意，这些间隔仅适用于单个参数。

如果我想了解两个变量的标准误差，我将如何考虑？

如果包含多个参数，则可以使用Bonferroni过程；否则，对于所有参数，可以将置信区间用于概率估计

Bonferroni程序的几个参数

$g$$1 - \alpha$

$$\beta_g \pm z_{(1 - \frac{\alpha}{2g})}SE(\beta_g)$$

概率估计的置信区间

$p$$Pr(p_{L} \leq p \leq p_{U}) = .95$

一种称为端点转换的方法执行以下操作：

• $x^T\beta$
• $F(x^T\beta)$

$Pr(x^T\beta) = F(x^T\beta)$$x^T\beta$

$$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$$

$\beta^Tx \pm z^* SE(\beta^Tx)$

$$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$$

$x^T\beta$

$$Var(x^T\beta) = x^T \Sigma x$$

$(0,1)$

还有其他几种方法，使用delta方法，bootstrapping等。每种方法都有自己的假设，优势和局限性。

---

来源和信息

关于该主题，我最喜欢的书是库特纳的《应用线性统计模型》（第14章）

否则，这里有一些在线资源：

• https://mheaton.byu.edu/Courses/Stat330/InClassAnalyses/8%20-%20Tennis/LectureNotes/LogisticRegression.pdf
• 为逻辑回归绘制预测概率的置信区间
• /programming/47414842/confidence-interval-of-probability-prediction-from-logistic-regression-statsmode
• http://www.indiana.edu/~jslsoc/stata/ci_computations/xulong-prvalue-23aug2005.pdf
• http://courses.education.illinois.edu/EdPsy589/lectures/5logreg_beamer-online.pdf

要获得95％的预测置信区间，您可以按对数标度进行计算，然后将其转换回概率标度0-1。这是使用泰坦尼克号数据集的示例。

library(titanic)
data("titanic_train")

titanic_train$Pclass = factor(titanic_train$Pclass, levels = c(1,2,3), labels = c('First','Second','Third'))

fit = glm(Survived ~ Sex + Pclass, data=titanic_train, family = binomial())

inverse_logit = function(x){
  exp(x)/(1+exp(x))
}

predicted = predict(fit, data.frame(Sex='male', Pclass='First'), type='link', se.fit=TRUE)

se_high = inverse_logit(predicted$fit + (predicted$se.fit*1.96))
se_low = inverse_logit(predicted$fit - (predicted$se.fit*1.96))
expected = inverse_logit(predicted$fit)

平均和低/高95％CI。

> expected
        1 
0.4146556 
> se_high
        1 
0.4960988 
> se_low
        1 
0.3376243 

而仅使用的输出type='response'，仅给出平均值

predict(fit, data.frame(Sex='male', Pclass='First'), type='response')
        1 
0.4146556