逻辑回归和t检验的功效如何比较？

逻辑回归和t检验的功效是否相等？如果是这样的话，它们应该是“等效数据密度”，这意味着在给定的固定alpha为0.05的情况下，相同数量的基础观测值会产生相同的功效。考虑两种情况：

1. [参数t检验]：从二项式观察中抽取30个抽签，然后将所得值取平均值。对于A组（发生的二项式Pr为0.70），此操作完成30次；对于B组（发生的二项式Pr为0.75），完成30次。每组产生30个均值，代表从二项式分布中得出的1800次抽奖的摘要。进行58df t检验以比较均值。
2. [逻辑回归]：使用代表组成员身份的虚拟编码斜率执行逻辑回归，并进行1800次抽奖。

我的问题分为两部分：

1. 给定的alpha为0.05，这些方法的功效是相同还是不同？为什么？我如何证明呢？
2. 问题1的答案是否对进入t检验的样本量，t检验中每个组的样本量，基本的二项式概率或其他因素敏感？如果是这样，我怎么能（不用模拟）知道功率确实不同，什么样的变化会产生什么样的功率变化？或者，提供制定出的R代码，以使用仿真解决问题。

如果我计算正确，则logistic回归渐近具有与t检验相同的功效。要看到这一点，请写下其对数似然并计算其Hessian在其全局最大值处的期望值（其负值估计ML解的方差-协方差矩阵）。不要为通常的逻辑参数设置而烦恼：仅使用所讨论的两个概率对其进行参数设置更为简单。详细信息将取决于您如何测试逻辑回归系数的显着性（有几种方法）。

这些检验具有相似的功效不应该太令人惊讶，因为用于ML估计的卡方理论是基于对数似然的正态近似，而t检验是基于比例分布的正态近似。问题的关键在于，两种方法对两个比例进行相同的估计，并且两种估计具有相同的标准误差。

---

实际分析可能更令人信服。让我们对给定组（A或B）中的值采用一些通用术语：

• $p$是1的概率。
• $n$是每组抽奖的大小。
• $m$是抽奖套数。
• $N = m n$是数据量。
• 0 1 j th i $k_{ij}$（等于或）是在组绘制中的结果的值。$0$$1$$j^\text{th}$$i^\text{th}$
• 我$k_i$是第组抽签中的总数 。$i^\text{th}$
• $k$是1的总数。

逻辑回归本质上是的ML估计量。其对数为$p$

$$\log(\mathbb{L}) = k \log(p) + (N-k) \log(1-p).$$

其关于参数导数为$p$

$$\frac{\partial \log(\mathbb{L})}{ \partial p} = \frac{k}{p} - \frac{N-k}{1-p} \text{ and}$$

$$-\frac{\partial^2 \log(\mathbb{L})}{\partial p^2} = \frac{k}{p^2} + \frac{N-k}{(1-p)^2}.$$

将第一个设置为零会产生ML估计并将其插入第二个表达式的倒数会产生方差，这是标准误差的平方。 p（1 - p）/${\hat{p} = k/N}$$\hat{p}(1 - \hat{p})/N$

在t统计量将基于由集得出的分组数据估计器获得; 就是说，作为均值之差（一个来自A组，另一个来自B组）除以该差异的标准误差，该标准误差是从均值的标准偏差得出的。然后，让我们看一下给定组的平均值和标准偏差。平均值等于，与ML估计量。所讨论的标准偏差是牵引装置的标准偏差。也就是说，它是集的标准偏差。这是问题的症结所在，所以让我们探索一些可能性。p ķ 我/$k/N$$\hat{p}$$k_i/n$

1. 假设数据不分组为所有绘制：即，和。所述是拉伸装置。它们的样本方差等于乘。由此可以得出的是，标准误差是相同的ML标准误差远离的因子，它实质上是时。因此，除了这个微小的差异外，任何基于逻辑回归的测试都将与t检验相同，并且我们将获得基本相同的功效。米= Ñ ķ 我 ñ /（ñ - 1 ）p（1 - p）$n = 1$$m = N$$k_{i}$$N/(N-1)$$\hat{p}(1 - \hat{p})$ 1N=$\sqrt{N/(N-1)}$$1$$N = 1800$

2. 对数据进行分组时，的（真）方差等于因为统计量代表 Bernoulli（）变量的总和，每个变量的方差为。因此，与以前一样，这些值的的平均值的预期标准误差是平方根。p （1 − p ）/ n k i n p p （1 − p ）m p （1 − p ）/ n / m = p （1 − p ）/$k_i/n$$p(1-p)/n$$k_i$$n$$p$$p(1-p)$$m$$p(1-p)/n/m = p(1-p)/N$

数字2表示测试的功效不应随抽奖的分配方式（即和在如何变化）而发生明显变化，除了样本方差调整可能产生的影响很小之外（除非您如此愚蠢以至于在每个组中使用极少的抽奖集）。n m n = $m$$n$$m n = N$

有限的模拟，将与（每次迭代10,000次）进行比较，涉及 （本质上是逻辑回归）；；并且（最大化样本方差调整）可以证明这一点：前两种情况的功效（在，单面）为0.59，而在第三种情况下，调整因子为物质变化（现在只有两个自由度，而不是1798或58），下降到0.36。另一个比较和p = 0.74 米= 900 ，Ñ = 1 米= Ñ = 30 米= 2 ，Ñ = 450 α = 0.05 p = 0.50 p = $p = 0.70$$p = 0.74$$m = 900, n = 1$$m = n = 30$$m = 2, n = 450$$\alpha = 0.05$$p = 0.50$$p = 0.52$ 分别得出0.22、0.21和0.15的幂：再次，我们观察到从没有分组到平局（=逻辑回归）到分组到30个组中只有很小的下降，而下降到只有两组。

这种分析的道德是：

1. 将数据值划分为大量个相对较小的“绘制”组时，您不会损失很多。$N$$m$
2. 使用少量的组（很小，（每组的数据量很大）），您可能会损失相当多的功能。$m$$n$
3. 最好不要将数据值全部分组为“绘图”。只需按原样分析它们（使用任何合理的检验，包括逻辑回归和t检验）。$N$

这是R中的代码，用于说明胡布尔人答案的模拟。欢迎反馈改进我的R代码。

N <- 900            # Total number data points
m <- 30;            # Size of draw per set
n <- 30;            # No of sets

p_null <- 0.70;     # Null hypothesis
p_alternate <- 0.74 # Alternate hypothesis
tot_iter <- 10000;

set.seed(1);        # Initialize random seed
null_rejected <- 0; # Set counter to 0
for (iter in 1:tot_iter)
{
    draws1 <- matrix(0,m,n);
    draws2 <- matrix(0,m,n);
    means1 <- matrix(0,m);
    means2 <- matrix(0,m);

    for (obs in 1:m)
    {
        draws1[obs,] <- rbinom(n,1,p_null);
        draws2[obs,] <- rbinom(n,1,p_alternate);

        means1[obs,] <- mean(draws1[obs,]);
        means2[obs,] <- mean(draws2[obs,]);
    }
    if (t.test(means1,means2,alternative="l")$p.value <= 0.05)
    {
        null_rejected <- null_rejected + 1; 
    }
}
power <- null_rejected / tot_iter