平均数据然后拟合与拟合数据然后平均之间的差异

如果有，则在将一条线拟合到多个单独的“实验”之间进行平均，然后对拟合进行平均，或者对来自单独实验的数据进行平均，然后对平均数据进行拟合。让我详细说明：

我执行计算机仿真，生成一条曲线，如下所示。我们提取一个数量，通过拟合图的线性区域（长时间）将其称为“ A”。该值只是线性区域的斜率。当然，与线性回归有关的误差。

我们通常在不同的初始条件下运行100个左右的模拟，以计算平均值“ A”。有人告诉我，最好将原始数据（如下图所示）平均分成10组，然后拟合“ A”，然后再对这10个“ A”进行平均。

我没有直觉可言，它是否有任何优点，或者比拟合100个单独的“ A”值取平均值还要好。

error fitting average

— 实用主义者1
source

我不确定我是否理解：您在不同的时间点测量A，然后估计？然后，您多次执行此操作，然后取所有的平均值？

A = β_{0} + β_{1} t

$A= \beta_0 +\beta_1 t$

β_{1}

$\beta_1$

抱歉，没有。上图是单个模拟的结果（我们称其为实验）。丢弃最初的非线性区域，然后将直线拟合到线性部分并获得斜率“ A”。因此，一个完整的模拟将得出“ A”的单个估计值。当然，我的问题围绕着是否平均许多图然后计算A与仅计算一堆图并将它们平均化是否有所不同。希望能澄清。

— pragmatist15年

我不明白为什么这会有所作为？（如果满足线性回归的假设）

我猜拟合不会出错/不会收敛/由于实验很小而给出的陡峭估计值可笑吗？那将是首先结合（或分层模型）可以帮助的事情。

— 比约恩

您也可以将所有数据拟合在一起，但包括某种成分以区分实验（每个实验的截距不同，甚至斜率不同），类似于线性混合模型方法。这样，您可以

— 估算

Answers:

假设我们处于面板数据环境中，其中时间和公司之间存在差异。将每个时间段视为一个单独的实验。我理解您的问题是，使用以下方法估算效果是否等效： $t$ $i$ $t$

时间序列平均值的横截面变化。
横截面变化的时间序列平均值。

答案是肯定的。

设置：

在我的表述中，我们可以将每个时间段视为一个单独的实验。 $t$

比方说，你有长度的平衡面板了公司。如果我们将每个时间段分开等...，我们可以将整体数据写为： $T$ $n$ $(X_t, \mathbf{y}_t)$

Y = [\begin{matrix} y_{1} \\ y_{2} \\ \dots \\ y_{n} \end{matrix}] X = [\begin{matrix} X_{1} \\ X_{2} \\ \dots \\ X_{n} \end{matrix}]

$Y = \begin{bmatrix} \mathbf{y}_1 \\ \mathbf{y}_2 \\ \ldots \\ \mathbf{y}_n \end{bmatrix} \quad \quad X = \begin{bmatrix} X_1 \\ X_2 \\ \ldots \\ X_n \end{bmatrix}$

平均拟合：

\begin{aligned} \frac{1}{T} \sum_{t} b_{t} & = \frac{1}{T} \sum_{t} {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{t} \\ = \frac{1}{T} \sum_{t} S_{t}^{- 1} (\frac{1}{n} \sum_{i} x_{t, i} y_{t, i}) where S_{t} = \frac{1}{n} \sum_{i} x_{t, i} x_{t, i}^{'} \end{aligned}

$\begin{align*} \frac{1}{T} \sum_t \mathbf{b}_t &= \frac{1}{T} \sum_t \left(X_t'X_t \right)^{-1} X_t' \mathbf{y}_t \\ &= \frac{1}{T} \sum_t S^{-1}_t \left( \frac{1}{n} \sum_i \mathbf{x}_{t,i} y_{t,i}\right) \quad \text{where } S_t = \frac{1}{n} \sum_i \mathbf{x}_{t,i} \mathbf{x}_{t,i}' \end{align*}$

平均值拟合：

这通常不等于基于时间序列平均值的横截面变化的估计（即，估计之间的估计）。

{(\frac{1}{n} \sum_{i} {\bar{x}}_{i} {\bar{x}}_{i}^{'})}^{- 1} \frac{1}{n} \sum_{i} {\bar{x}}_{i} {\bar{y}}_{i}

$\left( \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{\mathbf{x}}_i' \right)^{-1} \frac{1}{n} \sum_i \bar{\mathbf{x}}_i \bar{y}_i$

其中等... $\bar{\mathbf{x}}_i = \frac{1}{T} \sum_t \mathbf{x}_{t, i}$

汇总的OLS估算：

汇总的OLS估计值可能值得考虑。它是什么？然后使用

\begin{aligned} \hat{b} & = {(X^{'} X)}^{- 1} X^{'} Y \\ = {(\frac{1}{n T} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T} \sum_{t} X_{t}^{'} y_{i}) \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \left(X'X\right)^{-1}X'Y \\ &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t' \mathbf{y}_i \right) \end{align*}$

b_{t} = {(X_{t}^{'} X_{t})}^{- 1} X_{t}^{'} y_{i}

$\mathbf{b}_t = \left(X_t'X_t \right)^{-1}X_t' \mathbf{y}_i$

\begin{aligned} = {(\frac{1}{n T} \sum_{t} X_{t}^{'} X_{t})}^{- 1} (\frac{1}{n T} \sum_{t} X_{t}^{'} X_{t} b_{t}) \end{aligned}

$\begin{align*} &= \left( \frac{1}{nT} \sum_t X_t'X_t \right)^{-1} \left( \frac{1}{nT} \sum_t X_t'X_t \mathbf{b}_t \right) \end{align*}$

令和是我们对估计在整个样本和期间。然后我们有： $S = \frac{1}{nT} \sum_i X'X$ $S_t = \frac{1}{n} X_t'X_t$ $\operatorname{E}[\mathbf{x}\mathbf{x}']$ $t$

\begin{aligned} \hat{b} & = \frac{1}{T} \sum_{t} (S^{- 1} S_{t}) b_{t} \end{aligned}

$\begin{align*} \hat{\mathbf{b}} &= \frac{1}{T} \sum_t \left( S^{-1} S_t \right) \mathbf{b}_t \end{align*}$

这有点像特定时间的特定估计值的平均值，但有点不同。从某种程度上讲，您将更多地分配给右侧变量方差较高的期间。 $\mathbf{b}_t$

特殊情况：右侧变量是时间不变的，且取决于公司

如果每个公司的右侧变量在时间上都是恒定的（即对于任何和），那么对于所有，，我们将： $i$ $X_{t_1} = X_{t_2}$ $t_1$ $t_2$ $S = S_t$ $t$

\hat{b} = \frac{1}{T} \sum_{t} b_{t}

$\hat{\mathbf{b}} = \frac{1}{T} \sum_t \mathbf{b}_t$

有趣的评论：

Fama和Macbeth就是这种情况，他们在估算预期收益如何随公司与市场（或其他因素负荷）的协方差而变化时，应用这种对横截面估计值求平均的技术来获得一致的标准误。

当误差项与截面相关但在整个时间范围内独立时，Fama-Macbeth过程是一种在面板环境中获得一致标准误差的直观方法。产生相似结果的更现代的技术是按时聚类。

— 马修·冈恩
source

（注意：我没有足够的声誉来发表评论，因此请将其发布为答案。）

对于提出的特定问题，通过fcop得出的答案是正确的：拟合平均值与对拟合值求平均值（至少对于线性最小二乘法）。但是，值得一提的是，与一次性拟合所有数据相比，这两种简单的“ 在线 ”方法都可能产生有偏差的结果。由于两者是等效的，因此我将重点介绍“适合平均值”方法。从本质上讲，拟合曲线平均忽略相对不确定度在不同之间的值点。例如，如果，和，则 $\bar{y}[x]=\langle y[x]\rangle$ $y$ $x$ $y_1[x_1]=y_2[x_1]=2$ $y_1[x_2]=1$ $y_1[x_2]=3$ $\bar{y}[x_1]=\bar{y}[x_2]=2$ ，但是与相比，任何曲线拟合都应该更关心处的不拟合。 $x_1$ $x_2$

请注意，大多数科学软件平台应具有用于计算/更新真正的“在线”最小二乘拟合（称为递归最小二乘）的工具。因此，可以使用所有数据（如果需要）。

— GeoMatt22
source

fcop发布的答案已删除。您可能希望稍微修改一下答案

— Glen_b-恢复莫妮卡（Monica）