在其他回归变量上回归Logistic回归残差

将OLS回归应用于连续响应后，可以通过依次运行每个协变量上的残差回归来建立多元回归方程。我的问题是，有没有办法通过逻辑回归残差进行逻辑回归呢？

也就是说，如果我想使用标准的广义线性建模方法来估计，有没有一种方法可以对x进行逻辑回归并获得伪残差R_1，然后对z回归R_1到得到逻辑回归系数的无偏估计量。对教科书或文献的参考将不胜感激。$\Pr(Y = 1 | x, z)$$x$$R_1$$R_1$$z$

在标准多元线性回归中，两步拟合普通最小二乘（OLS）估计的能力来自Frisch-Waugh-Lovell定理。该定理表明，多元线性模型中特定预测变量的系数估计等于通过将响应残差（响应变量相对于其他解释变量的回归所得的残差）与预测残差（残差）进行回归得到的估计值预测变量相对于其他解释变量的回归）。显然，您正在寻求与此定理的类比，该定理可用于逻辑回归模型。

对于这个问题，回顾一下逻辑回归的潜在变量特征会有所帮助：

$$Y_i = \mathbb{I}(Y_i^* > 0) \quad \quad \quad Y_i^* = \beta_0 + \beta_X x_i + \beta_Z z_i + \varepsilon_i \quad \quad \quad \varepsilon_i \sim \text{IID Logistic}(0,1).$$

在模型的这种表征中，潜在响应变量是不可观察的，相反，我们观察到指标，该指标告诉我们潜在响应是否为正。这种形式的模型看起来与多元线性回归相似，不同之处在于我们使用了略有不同的误差分布（逻辑分布而不是正态分布），更重要的是，我们仅观察到一个指标，显示潜伏反应是否为正。$Y_i^*$$Y_i$

这对于创建模型的两步拟合的任何尝试都会产生问题。Frisch-Waugh-Lovell定理与其他解释变量相比，取决于获得感兴趣的响应和预测变量的中间残差的能力。在当前情况下，我们只能从“分类的”响应变量中获得残差。创建用于逻辑回归的两步拟合过程将需要您使用此分类响应变量中的响应残差，而无需访问基础潜在响应。在我看来，这似乎是一个主要障碍，尽管并没有证明不可能，但似乎不可能分两步对模型进行拟合。

下面，我将向您介绍找到两步过程以拟合逻辑回归所需的条件。我不确定是否有解决此问题的方法，或者是否有不可能的证明，但是这里的材料应该使您了解所需的内容。

---

两步逻辑回归拟合看起来像什么？假设我们要为逻辑回归模型构建两步拟合，其中通过每一步的最大似然估计来估计参数。我们希望该过程涉及一个适合以下两个模型的中间步骤：

$$\begin{matrix} Y_i = \mathbb{I}(Y_i^{**} > 0) & & & Y_i^{**} = \alpha_0 + \alpha_X x_i + \tau_i & & & \tau_i \sim \text{IID Logistic}(0,1), \\[6pt] & & & \text{ } \text{ } Z_i = \gamma_0 + \gamma_X x_i + \delta_i & & & \delta_i \sim \text{IID } g. \quad \quad \quad \quad \quad \\ \end{matrix}$$

我们估计这些模型的系数（通过MLE），从而得出中间拟合值。然后在第二步中拟合模型：$\hat{\alpha}_0, \hat{\alpha}_X, \hat{\gamma}_0, \hat{\gamma}_X$

$$Y_i = \text{logistic}(\hat{\alpha}_0 + \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i) + \epsilon_i \quad \quad \quad \epsilon_i \sim \text{IID } f.$$

如所指定的，该过程具有许多固定元素，但是这些步骤中的密度函数和未指定（尽管它们应该是不依赖于数据的零均值分布）。为了在这些约束条件下获得两步拟合方法，我们需要选择和以确保此两步模型拟合算法中的MLE与从单步逻辑回归模型获得的MLE相同以上。$g$$f$$g$$f$$\beta_Z$

为了查看是否可行，我们首先编写第一步中的所有估计参数：

$$\begin{equation} \begin{aligned} \ell_{\mathbf{y}| \mathbf{x}} (\hat{\alpha}_0, \hat{\alpha}_X) &= \underset{\alpha_0, \alpha_X}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\alpha_0 + \alpha_X x_i)), \\[10pt] \ell_{\mathbf{z}| \mathbf{x}} (\hat{\gamma}_0, \hat{\gamma}_X) &= \underset{\gamma_0, \gamma_X}{\max} \sum_{i=1}^n \ln g( z_i - \gamma_0 - \gamma_X x_i ). \end{aligned} \end{equation}$$

令因此第二步的对数似然函数为：$\epsilon_i = y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)$

$$\ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \sum_{i=1}^n \ln f(y_i - \text{logistic}(\hat{\alpha}_0 - \hat{\alpha}_1 x_i) + \beta_Z (z_i - \hat{\gamma}_0 - \hat{\gamma}_X x_i)).$$

我们要求此函数的最大值是多元逻辑回归模型的MLE。换句话说，我们要求：

$$\underset{\beta_X}{\text{arg max }} \ell_{\mathbf{y}|\mathbf{z}|\mathbf{x}}(\beta_Z) = \underset{\beta_X}{\text{arg max }} \underset{\beta_0, \beta_Z}{\max} \sum_{i=1}^n \ln \text{Bern}(y_i | \text{logistic}(\beta_0 + \beta_X x_i + \beta_Z z_i)).$$

我将其留给其他人来确定是否有解决此问题的方法，或无解的证明。我怀疑逻辑回归中潜在响应变量的“分类”将使其无法找到两步过程。

我可能会误解这个问题。我怀疑您是否可以通过OP指定的方式通过对残差进行回归来建立线性回归方程。仅当预测变量彼​​此独立时，OP的方法才有效。

为了使其工作，假设是结果向量，是模型中已经存在的预测变量的模型矩阵，并且您想包括。您需要回归残差的回归在对剩余的回归上获得OLS系数。$y$$X$$x_1$$y$$X$$x_1$$X$$x_1$

这是一个简单的例子：

set.seed(12345)
n <- 5000
x1 <- rnorm(n)
x2 <- .5 * x1 + rnorm(n) # Correlated predictors
y <- x1 + x2 + rnorm(n)

使用OLS拟合模型：

coef(lm(y ~ x1 + x2))
(Intercept)          x1          x2 
0.001653707 1.037426007 0.996259446 

残差回归：

coef(lm(residuals(lm(y ~ x1)) ~ x2))
(Intercept)          x2 
0.001219232 0.818774874 

这是错误的，您需要适合：

coef(lm(residuals(lm(y ~ x1)) ~ residuals(lm(x2 ~ x1))))
           (Intercept) residuals(lm(x2 ~ x1)) 
         -6.707350e-17           9.962594e-01 

它返回x2的正确系数，在给定x2差异的情况下，它与y的预期差异对齐，并保持x1不变（将其从y和x1中取出）。

此外，在逻辑回归中，问题甚至更大，因为即使在没有混杂关系的情况下，逻辑回归系数也会遭受遗漏的变量偏差，请参见此处和此处，因此除非所有结果的预测变量都在模型中，否则无法获得真实人口参数的无偏估计。而且，我不知道模型中的任何残差都适合第二次逻辑回归，所有值都在0到1之间。

关于残差回归的一些参考：

• Maxwell，SE，Delaney，HD，和Manheimer，JM（1985）。残差和Ancova方差分析：使用模型比较和图形校正错觉。教育统计杂志，10（3），197–209。取自http://journals.sagepub.com/doi/pdf/10.3102/10769986010003197
• Freckleton，RP（2002），关于生态学中残差的滥用：残差回归与多元回归。动物生态学杂志，71，542-545。doi：10.1046 / j.1365-2656.2002.00618.x

我希望我不会误解您的问题，因为我的答案将在一定程度上改变您措辞主题的措辞。

我认为您正在尝试通过一次添加一个自变量来构建回归模型。并且，通过观察哪个预期变量与Y和X1之间的第一次回归的残差具有最高的相关性，可以做到这一点。因此，与此第一残差具有最高相关性的变量将为X2。因此，现在您有了一个带有两个自变量X1和X2的模型。并且，您继续执行此精确过程以选择X3，X4等。这是一个逐步的过程。

您可以使用Logistic回归进行完全相同的操作，原因很简单，因为Logistic回归几乎是一种OLS回归，其中因变量是奇数（或logit）的对数。但是，Y是否为对数不影响上述逐步执行过程。

OLS使平方误差的总和最小化以适合实际数据。Logit回归使用最大似然过程生成拟合度，该拟合度与OLS并没有什么不同。并且，（拟合机制）也不应影响逐步构建过程，该过程允许您构建多重回归模型，无论后者是OLS回归还是Logit回归。