Logistic回归还是T检验？

一群人回答一个问题。答案可以是“是”或“否”。研究人员想知道年龄是否与答案的类型有关。

通过进行逻辑回归来评估该关联，其中年龄是解释变量，答案类型（是，否）是因变量。通过计算分别回答“是”和“否”的组的平均年龄，并通过进行T检验以比较均值来分别解决。

两种测试都是在不同的人的建议下进行的，但他们都不确定哪种方法是正确的。鉴于研究问题，哪种测试更好？

对于假设检验，p值不显着（回归）和显着（T检验）。样本少于20例。

两种测试都隐式地模拟了年龄-响应关系，但是它们以不同的方式进行建模。选择哪一个取决于您选择对关系建模的方式。您的选择应该取决于一种基础理论，如果有的话；您想从结果中提取什么样的信息；以及如何选择样本。该答案依次讨论了这三个方面。

---

我将使用假设您正在研究定义明确的人群并希望从样本中推断出该人群的语言来描述t检验和逻辑回归。

为了支持任何一种统计推断，我们必须假设样本是随机的。

• t检验假设样本中回答“否”的人是人口中所有无应答者的简单随机样本，样本中回答“是”的人是样本中所有yes应答者的简单随机样本。人口。

  t检验对人口中两组中每个人的年龄分布做出了其他技术假设。存在各种版本的t检验来处理可能的可能性。

• Logistic回归假设任何给定年龄的所有人都是该年龄人口中的简单随机样本。不同的年龄组可能会显示不同的“是”响应率。这些比率以对数赔率（而不是直线比例）表示时，假定与年龄（或与某些确定的年龄函数）成线性关系。

  逻辑回归很容易扩展，以适应年龄和反应之间的非线性关系。这样的扩展可用于评估初始线性假设的合理性。对于大型数据集而言，这是可行的，大型数据集提供了足够的细节来显示非线性，但对于小型数据集，则不太可能有用。一个普遍的经验法则-回归模型的观测值应是参数的十倍-建议检测非线性需要大约20多个观测值（除了线性函数的截距和斜率外，还需要第三个参数） ）。

t检验可检测出人口中没有回答和赞成的平均年龄是否不同。逻辑回归估计响应率如何随年龄变化。这样，它比t检验更灵活，能够提供更详细的信息。另一方面，对于检测各组平均年龄之间的差异这一基本目的，它往往不如t检验有效。

一对测试有可能显示出重要性和非重要性的所有四个组合。其中两个有问题：

• t检验不显着，但逻辑回归显着。 当两个检验的假设都是合理的时，这种结果实际上是不可能的，因为t检验并未试图检测逻辑回归所假设的特定关系。但是，当这种关系是足够非线性的，从而导致最老和最年轻的受试者共享一种意见，而中年受试者则是另一种意见时，则将逻辑回归扩展到非线性关系可以检测和量化该情况，而t检验无法检测到这种情况。 。

• 如问题所示，t检验显着，但逻辑回归不显着。 这种情况经常发生，特别是当有一群年轻的受访者，一群年长的受访者以及介于两者之间的人很少时。这可能会在无响应和是响应的响应率之间造成很大的分隔。t检验很容易检测到它。但是，逻辑回归可能不会提供有关响应率实际如何随年龄变化的详细信息，或者会没有定论的信息：“完全分离”的情况下，所有老年人以一种方式做出响应，所有年轻人以另一种方式做出响应-但是在那种情况下，两个测试通常都具有非常低的p值。

请注意，实验设计可能会使某些测试假设无效。例如，如果您在分层设计中根据他们的年龄选择了人，则t检验的假设（每个组都反映了一个简单的随机样本）变得可疑。此设计建议依赖于逻辑回归。相反，如果您有两个集合，一个没有响应者，一个是是响应者，并从那些集合中随机选择以确定他们的年龄，那么逻辑回归的抽样假设是可疑的，而t检验的假设是成立的。该设计建议使用某种形式的t检验。

（第二种设计在这里可能看起来很愚蠢，但是在“年龄”被难以，昂贵或耗时的某些特征代替的情况下，可能会很有吸引力。）

$t$$X$$Y$

$$X|Y=i \sim N(\mu_i,\sigma^2).$$ $Y \sim \operatorname{bernoulli}(p)$$Y$$X=x$ $$\begin{align} P(Y=1|X=x) &=\frac{f_{X|Y=1}(x)P(Y=1)}{\sum_{i=0}^1 f_{X|Y=i}(x)P(Y=i)} \\&=\frac{pe^{-\frac1{2\sigma^2}(x-\mu_1)^2}}{pe^{-\frac1{2\sigma^2}(x-\mu_1)^2} + (1-p)e^{-\frac1{2\sigma^2}(x-\mu_0)^2}} \\&=\frac1{1+\frac{1-p}pe^{-\frac1{2\sigma^2}(x-\mu_0)^2+\frac1{2\sigma^2}(x-\mu_1)^2}} \\&=\operatorname{logit}^{-1}(\beta_0 + \beta_1 x) \end{align}$$ $$\begin{align}\beta_0 &= \ln\frac p{1-p} -\frac1{2\sigma^2}(\mu_1^2-\mu_0^2) \\ \beta_1&=\frac1{\sigma^2}(\mu_1-\mu_0). \end{align}$$

因此，从这个意义上说，两个条件模型是兼容的。

更好的测试是可以更好地解决您的问题的测试。从表面上看，两者都不是更好。此处的差异等同于对x上的y和对y上的x进行回归时发现的差异，并且得出不同结果的原因相似。被评估的方差取决于在模型中哪个变量被视为响应变量。

您的研究问题非常模糊。也许，如果您考虑了因果关系的方向，就可以得出要使用哪种分析的结论。年龄是在引起人们对“是”做出回应还是在响应“是”引起人们的变老？前者更有可能，在这种情况下，您希望建模的是“是”的概率方差，因此逻辑回归是最佳选择。

也就是说，您应该检查测试的假设。可以在Wikipedia或您的教科书上在线找到这些内容。很有可能是您有充分的理由不执行逻辑回归，并且当发生这种情况时，您可能需要提出其他问题。