缺少预测变量的多元回归

假设我们得到了以下形式的一组数据 $(y,x_{1},x_{2},\cdots, x_{n})$ 和 $(y,x_{1},x_{2},\cdots, x_{n-1})$。我们被赋予了预测的任务$y$ 根据的值 $x$。我们估计两个回归，其中：

$$\begin{align} y &=f_{1}(x_{1},\cdots, x_{n-1}, x_{n}) \tag{1} \\ y &=f_{2}(x_{1},\cdots, x_{n-1}) \tag{2} \end{align}$$

我们还估计了一个回归，该回归预测了 $x_{n}$ 根据的值 $(x_{1},\cdots, x_{n-1})$， 那是：

$$x_{n}=f_{3}(x_{1},\cdots, x_{n-1}) \tag{3}$$

假设现在给我们的值为 $(x_{1},\cdots, x_{n-1})$，那么我们将有两种不同的方法来预测 $y$：

$$\begin{align} y&=f_{1}(x_{1},\cdots, x_{n-1},f_{3}(x_{1},\cdots,x_{n-1})) \tag{4} \\ y&=f_{2}(x_{1},\cdots, x_{n-1}) \tag{5} \end{align}$$

一般来说哪一个更好？

我猜第一个方程会更好，因为它利用了两种形式的数据点的信息，而第二个方程仅利用了具有 $n-1$预测值。我的统计学训练很有限，因此我想寻求一些专业建议。

另外，一般而言，处理信息不完整的数据的最佳方法是什么？换句话说，我们如何才能从全部没有值的数据中提取最多的信息$n$ 尺寸？

+1，我认为这是一个非常有趣且明确说明的问题。但是，更多信息将帮助我们对这种情况进行思考。

例如，之间有什么关系 $x_n$ 和 $y$？很可能没有一个，在这种情况下，回归$(1)$ 相对于回归没有优势 $(2)$。（实际上，这是一个非常小的缺点，在某种意义上，标准误差会稍大一些，因此，平均而言，β可能会比其真实值略远。）如果存在函数映射$x_n$ 至 $y$，那么根据定义，那里就有真实的信息，然后回归 $(1)$ 在初始情况下会更好。

接下来，之间的关系是什么性质 $(x_1, \cdots, x_{n-1})$ 和 $x_n$？有一个吗？例如，当我们进行实验时，（通常）我们尝试为解释变量值的每种组合分配相等数量的学习单位。（这种方法使用了IV级水平的笛卡尔乘积，被称为“全阶乘”设计；在某些情况下，故意混淆级别以保存数据，称为“ 分数阶乘 ”设计。）如果解释变量是正交的，那么您的第三次回归将得出的绝对值绝对为0。另一方面，在观察性研究中，协变量几乎总是相关的。相关性越强，则存在的信息越少$x_n$。这些事实将调节回归的相对优点$(1)$ 和回归 $(2)$。

但是，（不幸的是）它比这更复杂。多重回归中重要但困难的概念之一是多重共线性。您是否应该尝试估计回归$(4)$，您会发现您具有完美的多重共线性，并且您的软件将告诉您设计矩阵是不可逆的。因此，虽然回归$(1)$ 相对于回归可能会提供优势 $(2)$，回归 $(4)$ 将不会。

更有趣的问题（也是您要问的问题）是，如果使用回归 $(1)$ 对...做出预测 $y$ 使用估计的 $x_n$ 回归预测输出的值 $(3)$？（也就是说，您不是在估计回归$(4)$—您正在插入回归估计的预测方程的输出 $(3)$ 进入预测模型 $(4)$。）问题是您实际上并没有在这里获得任何新信息。无论第一个存在什么信息$n-1$ 每个观察值的预测值已通过回归优化使用 $(2)$，所以没有收益。

因此，第一个问题的答案是，您最好还是回归 $(2)$为您的预测节省不必要的工作。请注意，我一直在以一种相当抽象的方式解决这个问题，而不是解决您描述的由某人交给您两个数据集的具体情况（我无法想象这种情况的发生）。取而代之的是，我认为这个问题是试图对回归的本质有相当深入的了解。但是，偶尔会发生的情况是，某些观察值在所有预测变量上都有值，而其他一些观察值（在同一数据集中）却缺少某些预测变量上的某些值。在处理纵向数据时，这尤其常见。在这种情况下，您想研究多重插补。