如何计算逻辑回归系数的标准误差

我正在使用Python的scikit-learn来训练和测试逻辑回归。

scikit-learn返回自变量的回归系数，但不提供系数的标准误差。我需要这些标准误差来为每个系数计算Wald统计量，然后依次将这些系数进行比较。

我发现了一种关于如何计算逻辑回归系数的标准误差的描述（此处），但是很难理解。

如果您碰巧知道有关如何计算这些标准误差的简单明了的解释，并且/或者可以为我提供一个简单的解释，我将不胜感激！我并不是指特定的代码（尽管请随意发布任何可能有用的代码），而是对所涉及步骤的算法解释。

您的软件是否为您提供参数协方差（或方差-协方差）矩阵？如果是这样，则标准误为该矩阵对角线的平方根。你可能想咨询的教科书（或谷歌的大学讲义）如何获得为线性矩阵和广义线性模型。$V_\beta$

模型系数的标准误差是协方差矩阵对角线项的平方根。考虑以下：

• 设计矩阵：

，其中， X 我，Ĵ是的值$\textbf{X = }\begin{bmatrix} 1 & x_{1,1} & \ldots & x_{1,p} \\ 1 & x_{2,1} & \ldots & x_{2,p} \\ \vdots & \vdots & \ddots & \vdots \\ 1 & x_{n,1} & \ldots & x_{n,p} \end{bmatrix}$$x_{i,j}$$j$第个观测值的预测因子。$i$

（注意：这假设模型具有截距。）

• ， 其中π我代表类成员的观察预测概率我。$\textbf{V = } \begin{bmatrix} \hat{\pi}_{1}(1 - \hat{\pi}_{1}) & 0 & \ldots & 0 \\ 0 & \hat{\pi}_{2}(1 - \hat{\pi}_{2}) & \ldots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \ldots & \hat{\pi}_{n}(1 - \hat{\pi}_{n}) \end{bmatrix}$$\hat{\pi}_{i}$$i$

协方差矩阵可以写成：

$\textbf{(X}^{T}\textbf{V}\textbf{X)}^{-1}$

可以使用以下代码实现：

import numpy as np
from sklearn import linear_model

# Initiate logistic regression object
logit = linear_model.LogisticRegression()

# Fit model. Let X_train = matrix of predictors, y_train = matrix of variable.
# NOTE: Do not include a column for the intercept when fitting the model.
resLogit = logit.fit(X_train, y_train)

# Calculate matrix of predicted class probabilities.
# Check resLogit.classes_ to make sure that sklearn ordered your classes as expected
predProbs = resLogit.predict_proba(X_train)

# Design matrix -- add column of 1's at the beginning of your X_train matrix
X_design = np.hstack([np.ones((X_train.shape[0], 1)), X_train])

# Initiate matrix of 0's, fill diagonal with each predicted observation's variance
V = np.diagflat(np.product(predProbs, axis=1))

# Covariance matrix
# Note that the @-operater does matrix multiplication in Python 3.5+, so if you're running
# Python 3.5+, you can replace the covLogit-line below with the more readable:
# covLogit = np.linalg.inv(X_design.T @ V @ X_design)
covLogit = np.linalg.inv(np.dot(np.dot(X_design.T, V), X_design))
print("Covariance matrix: ", covLogit)

# Standard errors
print("Standard errors: ", np.sqrt(np.diag(covLogit)))

# Wald statistic (coefficient / s.e.) ^ 2
logitParams = np.insert(resLogit.coef_, 0, resLogit.intercept_)
print("Wald statistics: ", (logitParams / np.sqrt(np.diag(covLogit))) ** 2)

话虽如此，statsmodels如果您想访问很多“开箱即用”的诊断程序，可能会是一个更好的软件包。

如果您有兴趣进行推理，那么您可能希望看看statsmodels。提供标准错误和常规统计检验。这是一个逻辑回归示例。