中度回归：为什么我们要计算预测变量之间的*乘积*项？

12

在社会科学中，经常使用适度的回归分析来评估两个或多个预测变量/协变量之间的相互作用。

通常，使用两个预测变量，将应用以下模型：

$Y = β_0 + β_1*X + β_2*M + β_3*XM + e$

请注意，适度性测试通过乘积项（自变量和缓和变量的乘积）进行运算。我的根本问题是：为什么我们实际上要计算和之间的乘积项？心动不如行动，例如，绝对差还是的总和？ $XM$ $X$ $M$ $X$ $M$ $|M-X|$ $X + M$

有趣的是，肯尼（Kenny）在这里http://davidakenny.net/cm/moderation.htm暗示了这个问题，他说：“正如所看到的那样，对适度的测试并不总是通过产品术语XM来进行”，但是没有给出进一步的解释。。我猜/希望有一个正式的例证或证明是有启发性的。

regression interaction

— 分母
source

12

“主持人”影响对的回归系数：随着主持人值的变化，它们可能会发生变化。因此，从总体上看，适度的简单回归模型为 $Y$ $X$

E (Y) = α (M) + β (M) X

$\mathbb{E}(Y) = \alpha(M) + \beta(M)X$

其中和是主持人函数，而不是不受值影响的常数。 $\alpha$ $\beta$ $M$ $M$

在其中回归是建立在一个同样的精神线性近似的关系的和，我们可能希望两个和是-至少约-的线性函数贯穿的值的范围在数据： $X$ $Y$ $\alpha$ $\beta$ $M$ $M$

\begin{aligned} E (Y) & = α_{0} + α_{1} M + O (M^{2}) + (β_{0} + β_{1} M + O (M^{2})) X \\ = α_{0} + β_{0} X + α_{1} M + β_{1} M X + O (M^{2}) + O (M^{2}) X . \end{aligned}

$\eqalign{ \mathbb{E}(Y) &= \alpha_0 + \alpha_1 M + O(M^2) + (\beta_0 + \beta_1 M + O(M^2))X \\ &= \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + O(M^2) + O(M^2)X. }$

删除非线性项（“ big-O”），希望它们太小而无所谓，从而提供了乘法（双线性）交互模型

\begin{matrix} (1) & E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X . \end{matrix}

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX.\tag{1}$

这个推导表明的系数的一个有趣的解释：是所述速率改变截距而是所述速率改变斜率。（和是斜率和截距时是（正式）设定为零。）是“产品术语”的系数。它以这种方式回答了这个问题： $\alpha_1$ $M$ $\beta_1$ $M$ $\alpha_0$ $\beta_0$ $M$ $\beta_1$ $MX$

$MX$ $M$ $Y$ $X$

$X$ $(1)$

E (Y) = α_{0} + β_{0} X + α_{1} M + β_{1} M X + α_{2} M^{2} + β_{2} M^{2} X .

$\mathbb{E}(Y) = \alpha_0 + \beta_0 X + \alpha_1 M + \beta_1 MX + \alpha_2M^2 + \beta_2 M^2X.$

$\alpha_2=\beta_2=0$ $\alpha_2$ $\beta_2$ $(1)$ $M$ $\alpha_2 \ne 0$ $\beta_2 \ne 0$ $f(X,M)$

$\beta_1$ $\beta_2$ $MX$ $M^2X$

— ub
source

8

如果使用预测变量的总和来建模它们的交互，则等式为：

\begin{array}{rcl} Y & = & β_{0} + β_{1} X + β_{2} M + β_{3} (X + M) + e \\ = & β_{0} + β_{1} X + β_{2} M + β_{3} X + β_{3} M + e \\ = & β_{0} + (β_{1} + β_{3}) X + (β_{2} + β_{3}) M + e \\ = & β_{0} + β_{1}^{'} X + β_{2}^{'} M + e \end{array}

$\begin{eqnarray} Y &=& \beta_0 + \beta_1X + \beta_2M + \beta_3(X + M) + e\\ &=& \beta_0 + \beta_1X + \beta_2M + \beta_3X + \beta_3M + e\\ &=& \beta_0 + (\beta_1 + \beta_3)X + (\beta_2 + \beta_3)M + e \\ &=& \beta_0 + \beta_1'X + \beta_2'M + e \end{eqnarray}$

$\beta_1'=\beta_1+\beta_3$ $\beta_2'=\beta_2+\beta_3$

回忆一下绝对值的定义：

| X - M | = {\begin{cases} X - M, & X \geq M \\ M - X, & X < M \end{cases}

$|X-M| = \begin{cases} X-M, & X \geq M\\ M-X, & X < M \end{cases}$

$\beta_0 + \beta_1X + \beta_2M + \beta_3|X-M| + e$ $X$ $M$ $|X-M|$

— 米洛斯
source

1

| X - M |

$|X-M|$

M

$M$

β_{2}

$\beta_2$

1

| X - M |

$|X-M|$

@Milos：您关于预测变量总和的示例令人大开眼界，有些令人尴尬，我必须说，因为我应该已经意识到数学含义；）wuber：据我所知，绝对值仅是有用的当两个预测变量以相同单位进行度量时（例如，使用相同的度量标准（例如z得分或T得分）进行两次心理测验）。X和M之间的绝对差是有用的度量，尽管不是唯一可能的度量（即，也可以使用prodcut术语）。

— 分母

6

$f(X,M)$

f (X, M) = f (0, 0) + \frac{\partial f (0, 0)}{\partial T} T + \frac{\partial f (0, 0)}{\partial M} M + \frac{\partial^{2} f (0, 0)}{\partial T \partial M} T M + \frac{\partial^{2} f (0, 0)}{2 \partial T^{2}} T^{2} + \frac{\partial^{2} f (0, 0)}{2 \partial M^{2}} M^{2} \dots

$f(X,M)=f(0,0)+\frac{\partial f(0,0)}{\partial T} T+\frac{\partial f(0,0)}{\partial M} M+\frac{\partial^2 f(0,0)}{\partial T\partial M} TM +\frac{\partial^2 f(0,0)}{2\partial T^2} T^2 +\frac{\partial^2 f(0,0)}{2\partial M^2} M^2\dots$

$f(X,M)=\beta_0+\beta_XX+\beta_MM+\beta_{XM}XM$

f (X, M) = β_{0} + β_{X} X + β_{M} M + β_{X M} X M

$f(X,M)=\beta_0+\beta_XX +\beta_MM +\beta_{XM}XM$

因此，此处的基本原理是，这种特殊的乘法形式基本上是一般调节关系二阶泰勒近似。 $f(X,M)$

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM+b_{X2}X^2 +b_{M2}M^2$

g (X, M) = b_{0} + b_{X} X + b_{M} M + b_{X M} X M + b_{X 2} X^{2} + b_{M 2} M^{2}

$g(X,M)=b_0+b_XX +b_MM +b_{XM}XM +b_{X2}X^2 +b_{M2}M^2$

$g(X,M)$ $f(X,M)$

— 阿克萨卡尔族
source

X^{2}

$X^2$

M^{2}

$M^2$ $\beta_{XM}$

@whuber，我决定保留简短的帖子-这是主要原因。否则，我开始写我的喜好，每当有交叉项时就包括二阶项，然后删去。

— 阿克萨卡尔邦