12

我正在研究如何根据逻辑回归中获得的系数为比值比构建95％的置信区间。因此，考虑逻辑回归模型，

\log (\frac{p}{1 - p}) = α + β x

$\log\left(\frac{p}{1 - p}\right) = \alpha + \beta x \newcommand{\var}{\rm Var} \newcommand{\se}{\rm SE}$

这样，对于对照组， $x = 0$ ，对于病例组， $x = 1$ 。

我已经读过，最简单的方法是为构造95％CI， $\beta$ 然后我们应用指数函数，即

\hat{β} \pm 1.96 \times S E (\hat{β}) \to \exp {\hat{β} \pm 1.96 \times S E (\hat{β})}

$\hat{\beta} \pm 1.96\times \se(\hat{\beta}) \rightarrow \exp\{\hat{\beta} \pm 1.96\times \se(\hat{\beta})\}$

我的问题是：

证明该程序合理的理论原因是什么？我知道 $\mbox{odds ratio} = \exp\{\beta\}$ 并且最大似然估计是不变的。但是，我不知道这些元素之间的联系。
增量法是否应该产生与先前步骤相同的95％置信区间？使用增量法

$\exp {\hat{β}} \dot{\sim} N (β, \exp {β}^{2} V a r (\hat{β}))$ $\exp\{\hat{\beta}\} \dot{\sim} N(\beta,\ \exp\{\beta\}^2 \var(\hat{\beta}))$
然后，

$\exp {\hat{β}} \pm 1.96 \times \sqrt{\exp {β}^{2} V a r (\hat{β})}$ $\exp\{\hat{\beta}\} \pm 1.96\times \sqrt{\exp\{\beta\}^2 \var(\hat{\beta})}$
如果没有，那是最好的程序？

— 马尔西奥·奥古斯托·迪尼兹（MárcioAugusto Diniz）
source

1

如果我有足够大的参数值或训练数据，我也喜欢CI的引导程序。

— EngrStudent

2

有一种更好的方法，请参阅stats.stackexchange.com/questions/5304/…有关详细信息

— mdewey

7

该过程的理由是的MLE的渐近正态性，并且是由涉及中心极限定理的自变量得出的。 $\beta$
Delta方法来自围绕MLE的函数的线性（即一阶Taylor）展开。随后，我们呼吁MLE的渐近正态性和无偏性。

渐近都给出相同的答案。但实际上，您会喜欢看起来更接近正常的那一种。在此示例中，我倾向于第一个，因为后者可能不太对称。

— 阿米尔
source

3

ISL示例中的置信区间方法比较

Tibshirani，James，Hastie 的著作“统计学习入门”在第267页上提供了工资数据上多项式逻辑回归度4的置信区间的示例。报价书：

我们使用4级多项式进行逻辑回归对二元事件进行建模。拟合后的工资超过250,000美元的概率以蓝色显示，以及估计的95％置信区间。 $wage>250$

下面是构造此类间隔的两种方法的快速回顾，以及有关如何从头开始实现它们的注释

Wald /端点转换间隔

计算线性组合的置信区间的上限和下限（使用Wald CI） $x^T\beta$
对端点应用单调变换以获得概率。 $F(x^T\beta)$

因为是一个单调变换 $Pr(x^T\beta) = F(x^T\beta)$ $x^T\beta$

[P r (x^{T} β)_{L} \leq P r (x^{T} β) \leq P r (x^{T} β)_{U}] = [F (x^{T} β)_{L} \leq F (x^{T} β) \leq F (x^{T} β)_{U}]

$[Pr(x^T\beta)_L \leq Pr(x^T\beta) \leq Pr(x^T\beta)_U] = [F(x^T\beta)_L \leq F(x^T\beta) \leq F(x^T\beta)_U]$

具体而言，这意味着计算，然后将logit变换应用于结果以获取上下限： $\beta^Tx \pm z^* SE(\beta^Tx)$

[\frac{e^{x^{T} β - z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β - z^{*} S E (x^{T} β)}}, \frac{e^{x^{T} β + z^{*} S E (x^{T} β)}}{1 + e^{x^{T} β + z^{*} S E (x^{T} β)}},]

$[\frac{e^{x^T\beta - z^* SE(x^T\beta)}}{1 + e^{x^T\beta - z^* SE(x^T\beta)}}, \frac{e^{x^T\beta + z^* SE(x^T\beta)}}{1 + e^{x^T\beta + z^* SE(x^T\beta)}},]$

计算标准误差

最大似然理论告诉我们，可以使用回归系数的协方差矩阵使用以下公式计算的近似方差： $x^T\beta$ $\Sigma$

V a r (x^{T} β) = x^{T} Σ x

$Var(x^T\beta) = x^T \Sigma x$

将设计矩阵和矩阵为 $X$ $V$

X = [\begin{matrix} 1 & x_{1, 1} & \dots & x_{1, p} \\ 1 & x_{2, 1} & \dots & x_{2, p} \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 1 & x_{n, 1} & \dots & x_{n, p} \end{matrix}] V = [\begin{matrix} {\hat{π}}_{1} (1 - {\hat{π}}_{1}) & 0 & \dots & 0 \\ 0 & {\hat{π}}_{2} (1 - {\hat{π}}_{2}) & \dots & 0 \\ ⋮ & ⋮ & ⋱ & ⋮ \\ 0 & 0 & \dots & {\hat{π}}_{n} (1 - {\hat{π}}_{n}) \end{matrix}]

$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix} \ \ \ \ \textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$

其中是第个观测值的第个变量的值，表示观测到的预测概率。 $x_{i,j}$ $j$ $i$ $\hat{\pi}_{i}$ $i$

然后可以找到协方差矩阵：，标准误为 $\Sigma = \textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$ $SE(x^T\beta) = \sqrt{Var(x^T\beta)}$

然后可以将预测概率的95％置信区间绘制为

增量法置信区间

该方法是计算函数的线性逼近的方差，并使用它来构建较大的样本置信区间。 $F$

Var [F (x^{T} \hat{β})] \approx \nabla F^{T} Σ \nabla F

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx \nabla F^T \ \Sigma \ \nabla F$

其中是梯度，是估计的协方差矩阵。请注意，在一维中： $\nabla$ $\Sigma$

\frac{\partial F (x β)}{\partial β} = \frac{\partial F (x β)}{\partial x β} \frac{\partial x β}{\partial β} = x f (x β)

$\frac{\partial F(x\beta)}{\partial \beta} = \frac{\partial F(x\beta)}{\partial x\beta} \frac{\partial x\beta}{\partial \beta} = x f(x\beta)$

其中是的导数。这在多变量情况下是普遍的 $f$ $F$

Var [F (x^{T} \hat{β})] \approx f^{T} x^{T} Σ x f

$\text{Var}[F\mathbf{(x^T \hat \beta)}] \approx f^T \ \mathbf{x^T} \ \Sigma \ \mathbf{x} \ f$

在我们的情况下，F是逻辑函数（我们将表示），其导数为 $\pi(x^T\beta)$

π^{'} (x^{T} β) = π (x^{T} β) (1 - π (x^{T} β))

$\pi'(x^T\beta) = \pi (x^T\beta) (1 - \pi (x^T\beta) )$

现在，我们可以使用上面计算的方差构造一个置信区间。

C . I . = [P r (x \hat{β}) - z^{*} \sqrt{Var [π (x \hat{β})]} \leq P r (x \hat{β}) + z^{*} \sqrt{Var [π (x \hat{β})]}]

$C.I. = [Pr(x\hat \beta) - z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} \leq Pr(x\hat \beta) + z^* \sqrt{\text{Var}[ \pi(x \hat \beta) ]} ]$

多变量案例的矢量形式

C . I . = [π (x^{T} \hat{β}) \pm z^{*} \sqrt{{(π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β})))}^{T} x^{T} Var [\hat{β}] x π (x^{T} \hat{β}) (1 - π (x^{T} \hat{β}))]}

$C.I. = \mathbf{[\pi(x^T\hat \beta) \pm z^* \sqrt{ \left(\pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) \right)^T x^T \ \ \text{Var}[ \hat \beta] \ \ x \ \ \pi(x^T \hat \beta) (1 - \pi(x^T \hat \beta) ) ]}}$

注意，表示的单个数据点，即设计矩阵的单个行 $\mathbf{x}$ $\mathbb{R}^{p+1}$ $X$

一个开放式的结论

查看概率和负对数几率的正态QQ图可知，两者均不是正态分布。这可以解释差异吗？

资源：

— Xavier Bourret Sicotte
source

1

在大多数情况下，最简单的方法可能是最好的方法，如本页上的日志转换上下文所述。考虑将您的因变量视为在logit量表中进行分析，并执行统计检验并在该logit量表上定义置信区间（CI）。逆向转换为优势比只是将这些结果放到读者可能更容易掌握的范围内。例如，在Cox生存分析中也可以做到这一点，在该分析中，对回归系数（和95％CI）进行指数运算以获得危险比及其CI。

— 教育部
source

通过逻辑回归生成比值比置信区间的不同方法

ISL示例中的置信区间方法比较

Wald /端点转换间隔

计算标准误差

增量法置信区间

一个开放式的结论