将多元线性模型转换为多元回归

将多元线性回归模型重铸为多元线性回归是否完全等效？我指的不是简单地运行单独的回归。$t$

我已经在几个地方（贝叶斯数据分析-Gelman等人，以及Multivariate Old School-Marden）中读到了这一点，可以很容易地将多元线性模型重新参数化为多元回归。但是，两个消息来源都没有对此进行详细说明。他们本质上只是提到它，然后继续使用多元模型。数学上，我将首先编写多元版本，

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$ 其中粗体变量是矩阵，其大小在其下方。和往常一样，是数据，是设计矩阵，是正态分布的残差，而是我们感兴趣的推理对象。X R $\mathbf{Y}$$\mathbf{X}$$\mathbf{R}$$\mathbf{B}$

要将其重新参数化为熟悉的多元线性回归，只需将变量重写为：

$$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$$

其中使用的重新参数化为$\mathbf{y} = row(\mathbf{Y})$，$\boldsymbol\beta = row(\mathbf{B})$和$\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}$。 $row()$表示矩阵的行首尾相连排列成一个长向量，$\otimes$是kronecker或外部乘积。

那么，如果这很容易，为什么还要花大量时间在多元模型上编写书籍，为它们测试统计数据等呢？最有效的方法是先转换变量并使用常见的单变量技术。我敢肯定有一个很好的理由，至少在线性模型的情况下，我很难考虑一个理由。在使用多元线性模型和正态分布的随机误差的情况下，是否存在无法应用此重新参数化或限制您可以进行分析的可能性的情况？

我见过的消息来源：Marden-多变量统计数据：老派。请参阅第5.3-5.5节。该书可从以下网站免费获得：http : //istics.net/stat/

Gelman等。-贝叶斯数据分析。我有第二版，而在此版本中，Ch中有一小段。19个标题为“等效单变量回归模型”的“多元回归模型”

基本上，您可以使用与多元模型等效的线性单变量回归模型来完成所有工作吗？如果是这样，为什么还要为多元线性模型开发方法呢？

贝叶斯方法呢？

基本上，您可以使用与多元模型等效的线性单变量回归模型来完成所有工作吗？

我相信答案是否定的。

如果您的目标只是估计效果（参数）或根据模型进一步做出预测，那么是的，在两者之间采用哪种模型公式并不重要。$\mathbf{B}$

但是，要进行统计推断，尤其是进行经典的显着性检验，多元表述似乎实际上是不可替代的。更具体地说，让我以心理学中的典型数据分析为例。来自受试者的数据表示为$n$

$$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$$

其中个受试者之间的解释变量（因子或/和定量协变量）被编码为X中的列，而t重复测量（或受试者内部）因子水平被表示为同时变量或Y中的列。$k-1$$\mathbf{X}$$t$$\mathbf{Y}$

通过上述公式，任何一般线性假设都可以轻松表示为

$$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$$

其中由对象间解释变量之间的权重组成，而L包含重复测量因子水平之间的权重，而C是一个常数矩阵，通常为0。$\mathbf{L}$$\mathbf{L}$$\mathbf{C}$$\mathbf{0}$

多元系统的优点在于，它在主体间和主体内两种变量之间的分离。正是这种分离使得在多变量框架下可以轻松制定三种类型的显着性检验：经典的多变量检验，重复测量的多变量检验和重复测量的单变量检验。此外，对于多变量系统中的单变量测试，进行球度违规的Mauchly测试和相应的校正方法（Greenhouse-Geisser和Huynh-Feldt）也变得很自然。这是统计软件包究竟是如何实现这些测试，如汽车在R，GLM在IBM SPSS统计，反复声明 PROC GLM SAS的。

我不确定该公式在贝叶斯数据分析中是否重要，但是我怀疑上述测试功能是否可以在单变量平台下制定和实现。

如果适合适当的方差-协方差结构，则两个模型都是等效的。在转换的线性模型中，我们需要使用kronecker产品拟合误差分量的方差-协方差矩阵，该产品在可用的计算软件中可用性有限。线性模型理论-单变量，多变量和混合模型是该主题的出色参考。

已编辑

这是另一个免费的不错的参考。