是否存在逻辑回归的iid假设？

是否存在逻辑回归的响应变量的iid假设？

例如，假设我们有数据点。响应似乎来自具有的伯努利分布。因此，我们应该有具有不同参数伯努利分布。 $1000$ $Y_i$ $p_i=\text{logit}(\beta_0+\beta_1 x_i)$ $1000$ $p$

因此，它们是“独立的”，但不是“相同的”。

我对吗？

PS。我从“机器学习”文献中学到了逻辑回归，在该文献中我们优化了目标函数并检查了它是否适合测试数据，而没有过多地讨论假设。

我的问题从这篇文章开始理解广义线性模型中的链接函数，在这里我尝试了解有关统计假设的更多信息。

— 海涛都
source

一个定理是定理可以具有的东西。在高斯-马尔可夫定理具有此假设的意义上，线性回归具有iid误差的“假设”（不是

在线性回归中被假定为iid而是误差）。现在，有没有一个定理可以证明逻辑回归？如果没有，那么就没有“假设”。

y

$y$

— 变形虫说莫妮卡（Reonica）Monica

@ Amoeba，hxd指出分布不相同是正确的：“ iid”不适用。如果仅使用逻辑回归进行拟合，那么（如您所写）可能需要很少的假设。但只要一个利用所述系数或希望构建预测区间的估计的协方差矩阵的（或，对于这个问题，交叉验证的预测值），则该要求概率假设。通常的情况是响应是独立的。

— whuber

@amoeba一旦您想执行推理（假设检验，置信区间等）而不是简单地计算参数的估计值，您将做出一系列假设（某些假设比其他假设更为关键），以便能够得出相关的零分布。测试统计数据或所需覆盖范围的间隔的必要计算。即使是相对较低假设的过程仍然具有假设，并且如果我们关心我们的推论，我们将关注它们是否可能具有接近其标称特性的东西。

— Glen_b-恢复莫妮卡

@amoeba，我喜欢一个表明MLE渐近正态性的定理。我也喜欢似然比测试。

— gammer

除非它们都具有相同的预测值，否则它们的边际分布是不相同的，在这种情况下，您只需进行IID bernoulli试验。它们的条件分布（根据预测变量）都是相同的，但我认为在这种情况下，

通常不是IID。

Y_{i}

$Y_i$

— gammer

Answers:

从上一个问题中，您了解到GLM是用概率分布，线性预测变量和链接函数来描述的，并表示为 $\eta$ $g$

\begin{aligned} η & = X β \\ E (Y | X) & = μ = g^{- 1} (η) \end{aligned}

$\begin{align} \eta &= X\beta \\ E(Y|X) &= \mu = g^{-1}(\eta) \end{align}$

其中是对数链接函数，并且假定遵循伯努利分布 $g$ $Y$

Y_{i} \sim B (μ_{i})

$Y_i \sim \mathcal{B}(\mu_i)$

每个遵循伯努利分配它自己的均值是有条件。我们不假设每个来自相同的分布，并且具有相同的均值（这将是仅截取模型），但是它们均具有不同的均值。我们假设是独立的，即我们不必担心诸如后续值之间的自相关之类的事情。 $Y_i$ $\mu_i$ $X$ $Y_i$ $Y_i = g^{-1}(\mu)$ $Y_i$ $Y_i$

该IID假设是关系到线性回归（即高斯GLM），其中该模型是错误

y_{i} = β_{0} + β_{1} x_{i} + ε_{i} = μ_{i} + ε_{i}

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i = \mu_i + \varepsilon_i$

其中，所以我们必须IID噪声周围。这就是为什么对残差诊断感兴趣并注意残差与拟合图的原因。现在，在GLM的喜欢Logistic回归的情况下，它不是那么简单，因为有像高斯模型没有加性噪声项（见这里，这里和这里 $\varepsilon_i \sim \mathcal{N}(0, \sigma^2)$ $\mu_i$ ）。我们仍然希望残差在零附近是“随机的”，并且我们不希望看到残差中的任何趋势，因为它们会暗示模型中没有考虑某些影响，但是我们不认为残差是零。正常和/或iid。另请参阅关于iid假设在统计学习线程中的重要性。

作为附带说明，请注意，我们甚至可以放弃以下假设：每个来自相同的分布。有（非GLM）模型假设不同的可以具有不同的分布和不同的参数，即您的数据来自不同分布的混合。在这种情况下，我们还将假设值是独立的，因为依赖值来自于具有不同参数（即典型的实际数据）的不同分布，在大多数情况下，建模起来过于复杂（通常是不可能的）。 $Y_i$ $Y_i$ $Y_i$

— 蒂姆
source

如前所述，尽管我们经常在线性回归中考虑iid 错误的情况，但在大多数广义线性模型（包括逻辑回归）中并没有直接的等价物。在逻辑回归中，我们通常采用均具有非常严格关系（即对数概率的线性影响）的结果独立性的假设。但是，这些结果会导致随机变量不完全相同，也无法像线性回归那样将其分解为常数项和iid误差。

如果您真的想表明响应具有某种iid关系，请跟随我进入下一段。只是知道，这个想法有些偏离人迹罕至；如果您的教授缺乏耐心，那么您可能无法在决赛中得到充分的评价。

$X$ $F_X$ $X$ $q \sim \text{uniform(0,1)}$ $X = F_X^{-1}(q)$ $p = \text{expit}(\beta_o + \beta_1 x)$ $F_Y( y | p)$ $p$ $Y_i$

$p_i = \text{expit}(\beta_o + \beta_1 x_i)$

$q_i \sim\text{uniform(0,1)}$

$Y_i = F^{-1}(q_i | p_i)$

$q_i$

— 悬崖AB
source

q_{i}

$q_i$

Y_{i} \sim B (p_{i})

$Y_i \sim \mathcal{B}(p_i)$

Y_{i}

$Y_i$

p_{i}

$p_i$

q_{i}

$q_i$

@Tim：是的，答案的第二部分更多是有趣的旁注，而不是简洁的答案。但这可能是一种有用的查看方式。毕竟，这基本上就是您的计算机模拟这些模型中的数据的方式！

— Cliff AB