Logistic回归的最大似然估计器的偏差

我想了解有关Logistic回归的最大似然估计器（MLE）的几个事实。

总的来说，逻辑回归的MLE是否存在偏见？我会说“是”。我知道，例如，样本维数与MLE的渐近偏差有关。

您知道这种现象的基本例子吗？
如果MLE有偏差，那么MLE的协方差矩阵是否是最大似然函数的Hessian的逆是真的吗？

编辑：我经常遇到这个公式，没有任何证据；在我看来，这是一个相当随意的选择。

— 阿维图斯
source

考虑简单的二元逻辑回归模型，与二进制因变量和唯一的常数和一个二进制回归。其中是逻辑CDF，。 $T$

Pr (Y_{i} = 1 ∣ T_{i} = 1) = Λ (α + β T_{i})

$\Pr(Y_i=1\mid T_i=1) = \Lambda (\alpha + \beta T_i)$

Λ

$\Lambda$

Λ (u) = {[1 + \exp {- u}]}^{- 1}

$\Lambda(u) = \left[1+\exp\{-u\}\right]^{-1}$

在logit形式中，我们有

\ln (\frac{Pr (Y_{i} = 1 ∣ T_{i} = 1)}{1 - Pr (Y_{i} = 1 ∣ T_{i} = 1)}) = α + β T_{i}

$\ln \left(\frac{\Pr(Y_i=1\mid T_i=1)}{1-\Pr(Y_i=1\mid T_i=1)}\right) = \alpha + \beta T_i$

您有一个大小为的样本。表示个观察数，其中，，其中，。考虑以下估计的条件概率： $n$ $n_1$ $T_i=1$ $n_0$ $T_i=0$ $n_1+n_0=n$

\hat{Pr} (Y = 1 ∣ T = 1) \equiv {\hat{P}}_{1 | 1} = \frac{1}{n_{1}} \sum_{T_{i} = 1} y_{i}

$\hat \Pr(Y=1\mid T=1)\equiv \hat P_{1|1} = \frac 1{n_1}\sum_{T_i=1}y_i$

\hat{Pr} (Y = 1 ∣ T = 0) \equiv {\hat{P}}_{1 | 0} = \frac{1}{n_{0}} \sum_{T_{i} = 0} y_{i}

$\hat \Pr(Y=1\mid T=0)\equiv \hat P_{1|0} = \frac 1{n_0}\sum_{T_i=0}y_i$

然后，这个非常基本的模型为ML估计器提供了封闭式解决方案：

\hat{α} = \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}}), \hat{β} = \ln (\frac{{\hat{P}}_{1 | 1}}{1 - {\hat{P}}_{1 | 1}}) - \ln (\frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})

$\hat \alpha = \ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right),\qquad \hat \beta = \ln\left(\frac{\hat P_{1|1}}{1-\hat P_{1|1}}\right)-\ln\left(\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)$

偏压

尽管和是相应概率的无偏估计量，但MLE还是有偏的，因为非线性对数函数会妨碍您-想像一下更复杂的模型会发生什么，具有更高的非线性度。 $\hat P_{1|1}$ $\hat P_{1|0}$

但是渐近地，由于概率估计是一致的，所以偏差消失了。将运算符直接插入期望值和对数内，我们得到 $\lim$

lim_{n \to \infty} E [\hat{α}] = E [\ln (lim_{n \to \infty} \frac{{\hat{P}}_{1 | 0}}{1 - {\hat{P}}_{1 | 0}})] = E [\ln (\frac{P_{1 | 0}}{1 - P_{1 | 0}})] = α

$\lim_{n\rightarrow \infty}E[\hat \alpha] = E\left[\ln\left(\lim_{n\rightarrow \infty}\frac{\hat P_{1|0}}{1-\hat P_{1|0}}\right)\right] = E\left[\ln\left(\frac{P_{1|0}}{1-P_{1|0}}\right)\right] =\alpha$

和。 $\beta$

MLE
的方差-协方差矩阵在上述为估计量提供封闭式表达式的简单情况下，至少可以在原则上继续推导其精确的有限样本分布，然后计算其精确的有限样本方差-协方差矩阵。但是总的来说，MLE没有封闭形式的解决方案。然后，我们求助于渐进方差-协方差矩阵的一致估计，该矩阵的确是样本的对数似然函数的Hessian的Hessian的逆（在MLE上估计）。此处根本没有“任意选择”，但这是由MLE的渐近理论和渐近性质（一致性和渐近正态性）得出的，它告诉我们，对于， $\theta_0 = (\alpha, \beta)$

\sqrt{n} (\hat{θ} - θ_{0}) \to_{d} N (0, - (E [H])^{- 1})

${\sqrt n}(\hat \theta-\theta_0)\rightarrow_d N\left(0, -(E[H])^{-1}\right)$

其中是黑森州。对于（大）有限样本，这近似导致我们 $H$

Var (\hat{θ}) \approx - \frac{1}{n} (E [H])^{- 1} \approx - \frac{1}{n} {(\frac{1}{n} \hat{H})}^{- 1} = - {\hat{H}}^{- 1}

$\operatorname{Var}(\hat \theta) \approx -\frac 1n(E[H])^{-1}\approx -\frac 1n\left(\frac 1n\hat H\right)^{-1}=-\hat H^{-1}$

— 阿莱科斯·帕帕多普洛斯
source