这两个回归模型之间的根本区别是什么？

假设我有一个具有显着相关性的双变量响应。我正在尝试比较两种模拟这些结果的方法。一种方法是对两个结果之间的差异进行建模：另一种方法是对它们进行使用或建模：

(y_{i 2} - y_{i 1} = β_{0} + X^{'} β)

$(y_{i2}-y_{i1}=\beta_0+X'\beta)$ glsgee

(y_{i j} = β_{0} + time + X^{'} β)

$(y_{ij}=\beta_0+\text{time}+X'\beta)$

这是一个foo示例：

#create foo data frame

require(mvtnorm)
require(reshape)
set.seed(123456)
sigma <- matrix(c(4,2,2,3), ncol=2)
y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma)
cor(y)
x1<-rnorm(500)
x2<-rbinom(500,1,0.4)
df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2)
df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long")
df.long<-df.long[order(df.long$id),]
    df.wide$diff_y<-df.wide$y2-df.wide$y1


#regressions
fit1<-lm(diff_y~x1+x2,data=df.wide)
fit2<-lm(y~time+x1+x2,data=df.long)
fit3<-gls(y~time+x1+x2,data=df.long, correlation = corAR1(form = ~ 1 | time))

fit1和之间有什么根本区别fit2？在fit2和之间fit3，假设它们与值和估计值如此接近？ $p$

r regression model-selection

— 大卫·Z
source

fit1和fit3之间的差异有时称为Lord悖论。参见此处的一些讨论（关于为什么模型之间的估计值不会改变）以及对Paul Allison文章stats.stackexchange.com/a/15759/1036的引用。另一个参考是

Holland, Paul & Donald Rubin. 1983. On Lord’s Paradox. In Principles of modern psychological measurement: A festchrift for Frederic M. Lord edited by Wainer, Howard & Samuel Messick pgs:3-25. Lawrence Erlbaum Associates. Hillsdale, NJ.

— Andy W

首先，我将在答案中介绍第四个讨论模型：

fit1.5 <-lm（y_2〜x_1 + x_2 + y_1）

第0部分
fit1和fit1.5之间的差异最好概括为约束差异与最佳差异之间的差异。

与上面提供的示例相比，我将使用一个更简单的示例进行说明。让我们从fit1.5开始。该模型的简单版本为当然，当我们获得OLS估计时，它将找到的“最佳”选择。并且，尽管这样写看起来很奇怪，但是我们可以将公式重写为我们可以将其视为两个变量之间的“最佳”差异。

y_{2} = b_{0} + b_{1} \cdot x + b_{2} \cdot y_{1}

$y_2 = b_0 + b_1·x + b_2·y_1$

b_{2}

$b_2$

y_{2} - b_{2} \cdot y_{1} = b_{0} + b_{1} \cdot x

$y_2 - b_2·y_1 = b_0 + b_1·x$

y

$y$

现在，如果我们决定约束，则公式/模型变为，这仅仅是（约束）差。 $b_2=1$

y_{2} - y_{1} = b_{0} + b_{1} \cdot x

$y_2 - y_1 = b_0 + b_1·x$

请注意，在上面的演示中，如果让为二分变量，并且为前测，为后测得分配对，那么约束差异模型将仅仅是得分的独立样本检验，而最佳差异模型则是将测试前得分用作协变量的ANCOVA检验。 $x$ $y_1$ $y_2$ $t$

第1部分
最好以类似于上面使用的差异方法的方式来考虑fit2的模型。尽管这是一个过分的简化（因为我有意地忽略了误差项），但是该模型可以表示为，其中为值，为值。这是过分简化了...让我们写写另一种方式，。而模型fit1.5以为值可以对OLS分析产生最佳差异，此处

y = b_{0} + b_{1} \cdot x + b_{2} \cdot t

$y = b_0 + b_1 · x + b_2 · t$

t = 0

$t=0$

y_{1}

$y_1$

t = 1

$t=1$

y_{2}

$y_2$

\begin{aligned} y_{1} & = b_{0} + b_{1} \cdot x \\ y_{2} & = b_{0} + b_{1} \cdot x + b_{2} \end{aligned}

$\begin{align}y_1 & = b_0 + b_1 · x \\ y_2 & = b_0 + b_1 · x + b_2\end{align}$

y_{2} - y_{1} = b_{2}

$y_2 - y_1 = b_2$

b_{2}

$b_2$

b_{2}

$b_2$ 本质上就是值之间的（控制其他协变量后）。

y

$y$

第2部分
那么，fit2和fit3模型之间的区别是什么……实际上，很少。fit3模型确实考虑了误差方面的相关性，但这仅改变了估计过程，因此两个模型输出之间的差异将很小（除了fit3估计自回归因子的事实）。

2.5部分
我将在讨论中再加入一个模型

fit4 <-lmer（y〜time + x1 + x2 +（1 | id），data = df.long）

这种混合效应模型的自回归方法版本略有不同。如果我们将时间系数包括在随机效应中，则可以与计算每个受试者的 s 之差相媲美。（但是，这将无法正常工作，并且该模型将无法运行。） $y$

— 格雷格·H
source