从两个不同的回归测试系数相等

这似乎是一个基本问题，但是我只是意识到我实际上不知道如何从两个不同的回归中检验系数的相等性。谁能对此有所启发？

更正式地说，假设我运行以下两个回归：和其中表示回归的设计矩阵，表示回归的系数向量。请注意，和可能存在很大差异，具有不同的尺寸等。例如，我对是否感兴趣。

y_{1} = X_{1} β_{1} + ϵ_{1}

$y_1 = X_1\beta_1 + \epsilon_1$

y_{2} = X_{2} β_{2} + ϵ_{2}

$y_2 = X_2\beta_2 + \epsilon_2$

X_{i}

$X_i$

i

$i$

β_{i}

$\beta_i$

i

$i$

X_{1}

$X_1$

X_{2}

$X_2$

{\hat{β}}_{11} \neq {\hat{β}}_{21}

$\hat\beta_{11} \neq \hat\beta_{21}$

如果这些来自相同的回归，那将是微不足道的。但是由于它们来自不同的人，所以我不确定该怎么做。有没有人有想法或可以给我一些建议？

我的问题的细节是：我的第一个直觉是看置信区间，如果它们重叠，那么我会说它们本质上是相同的。但是，此过程未附带正确的测试量（例如，每个单独的置信区间的，但是共同查看它们的概率将不同）。我的第二个直觉是进行正常的t检验。也就是说，拿 $\alpha=0.05$

\frac{β_{11} - β_{21}}{s d (β_{11})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})}$

其中被用作我的原假设的值。但是，这没有考虑的估计不确定性，答案可能取决于回归的顺序（我将其称为1和2）。 $\beta_{21}$ $\beta_{21}$

我的第三个想法是像在标准测试中那样，对来自同一回归的两个系数是否相等进行测试，即

\frac{β_{11} - β_{21}}{s d (β_{11} - β_{21})}

$\frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})}$

由于两者均来自不同的回归，因此出现了复杂性。注意

V a r (β_{11} - β_{21}) = V a r (β_{11}) + V a r (β_{21}) - 2 C o v (β_{11}, β_{21})

$Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21})$ 但由于它们来自不同的回归，我如何获得？

C o v (β_{11}, β_{21})

$Cov(\beta_{11},\beta_{21})$

这导致我在这里提出这个问题。这必须是标准程序/标准测试，但我发现没有任何与该问题足够相似的东西。因此，如果有人可以指出正确的程序，我将不胜感激！

hypothesis-testing inference

— 咖啡因
source

这似乎与结构/同时方程建模有关。解决该问题的一种方法是同时（例如，以最大似然）拟合两个方程，然后对无约束模型使用约束（等参数模型）的似然比检验。实际上，这可以使用SEM软件（Mplus，lavaan等）完成

— tomka

您知道相貌无关的回归（SUR）吗？

— Dimitriy V. Masterov 2014年

我认为您提出的问题（即如何获取两个系数的cov）已通过SEM解决，这将为您提供所有系数的var-cov矩阵。然后，您可以按照建议的方式使用Wald测试而不是LRT测试。此外，您还可以使用重新采样/引导程序，这可能更直接。

— tomka 2014年

是的，您对此表示正确，@ tomka。在SUR模型（您可以粗略地考虑SEM模型的特殊情况）中，我可以获得适当的测试。感谢您指出我的方向！我想我没有考虑，因为这似乎有点像用大炮射击麻雀，但我确实想不出更好的方法。如果您写下答案，我将其标记为正确。否则，我会很快自己写出来，并提供快速的理论解释和可能的示例。

— coffeinjunky

SUR非常易于实现。这是Stata的一个示例。使用R，您需要systemfit。

— Dimitriy V. Masterov 2014年

Answers:

尽管这不是一个常见的分析，但确实是令人感兴趣的分析之一。可以接受的答案适合您提出问题的方式，但是我将提供另一种可能被接受或可能不被接受的合理接受的技术（我将让更好的主意对此进行评论）。

这种方法是使用以下Z测试：

$Z = \frac{\beta_1-\beta_2}{\sqrt{(SE\beta_1)^2+(SE\beta_2)^2}}$

其中是标准错误 $SE\beta$ $\beta$ 。

$\beta$ $b$ $\beta$

— 拉塞尔皮尔斯
source

参见：stats.stackexchange.com/questions/55501/...

— russellpierce

β_{1}

$\beta_1$

β_{2}

$\beta_2$

Z = \frac{A β_{1} - B β_{2}}{\sqrt{(SE A β_{1})^{2} + (SE B β_{2})^{2}}}

$Z=\frac{A\beta_1-B\beta_2}{\sqrt{(\text{SE}A\beta_1)^2+(\text{SE}B\beta_2)^2}}$

我还注意到，本文讨论的是一个模型嵌套在另一个模型中，而两个模型的DV相同的情况。如果不满足这两个条件怎么办？相反，我让两个模型的设计矩阵相同，但是它们具有不同的DV。这个公式仍然适用吗？非常感谢！

— 西伯斯赌博

@SibbsGambling：您可能希望自己提出一个问题以引起更多关注。

— russellpierce

β_{1}

$\beta_1$

β_{2}

$\beta_2$

对于有类似问题的人，让我提供一个简单的答案概述。

$y_1$ $y_2$

$\left(\array{y_1 \\ y_2}\right) = \left(\array{X_1 \ \ 0 \\ 0 \ \ X_2}\right)\left(\array{\beta_1 \\ \beta_2 }\right) + \left(\array{e_1 \\ e_2 }\right)$

这将导致方差-协方差矩阵，该矩阵可以测试两个系数的相等性。

— 咖啡因
source

我实现了您建议的方法，并将其与上述方法进行了比较。我发现关键的区别在于误差方差是否相同。您的方法假定误差方差是相同的，而上面的方法未假定误差方差。

— KH Kim

这对我来说很好。在Stata中，我做了类似的事情： expand =2, generate(indicator); generate y = cond(indicator, y2, y1); regress y i.indicator##c.X, vce(cluster id); 使用聚类标准错误说明了在堆叠数据集后e1和e2对于同一观察值不是独立的这一事实。

— wkschwartz

$Var(\beta_1-\beta2)=Var(\beta_1)+Var(\beta_2)$
$covar(\beta_1,\beta_2) \neq 0$
（Clogg，CC，Petkova，E.＆Haritou，A.（1995）。比较模型之间回归系数的统计方法。《美国社会学杂志》 100（5），1261-1293。）提出了特殊情况的答案嵌套方程式（即，获取第二个方程式，考虑第一个方程式并添加一些解释变量），他们说这很容易实现。
如果我很了解，在这种特殊情况下，还可以执行Haussman测试。关键区别在于，他们的测试将第二（完整）方程式视为真实，而Haussman检验将第一方程式视为真实。
请注意，Clogg等人（1995年）不适合面板数据。但他们的测试已由（Yan，J.，Aseltine Jr，RH，and Harel，O.（2013）进行了概括。比较了嵌套数据的嵌套线性模型之间的回归系数与广义估计方程。《教育与行为统计》，38 （2），172-189。），其中R中提供了一个软件包：geepack请参阅：https ://www.jstor.org/stable/pdf/41999419.pdf ? refreqid = excelsior%3Aa0a3b20f2bc68223edb59e3254c234be & seq =1

并且（对于R-package）：https : //cran.r-project.org/web/packages/geepack/index.html

— 亚历山大·卡泽纳夫·拉克鲁兹
source