一致且有偏差的估计量的示例？

13

真的很困扰这一点。我真的很想一个例子或情况，其中估计B既是一致的又是有偏差的。

mathematical-statistics estimation econometrics

— 吉米威格斯
source

3

这是上课吗？

— Glen_b-恢复莫妮卡

5

我认为您正在寻找的时间序列示例的最新规范将其转换为另一个问题，因为这会使已经提供的出色答案无效。但这很好-您可以提出一个新问题。

— Sycorax说恢复莫妮卡

6

我看到你改变了你的问题。鉴于您先前的问题已经解决了几个问题，我建议您将其改回并发布一个专门针对时间序列模型的新问题。

— JohnK 2015年

3

令人惊讶的是，即使您要求与时间序列相关的估计量，也没有人提到AR（1）的OLS。估计量是有偏见的，但是是一致的，并且显示起来也很容易（并且使用谷歌搜索将为您提供很多材料）。编辑：似乎时间序列请求是一个较晚的添加，这可以解释缺少此类答案的原因

— hejseb 2015年

2

这里是一个相当简单的例子：

{\bar{X}}_{n} + ϵ / n

$\bar{X}_n + \epsilon / n$ ，

ϵ \neq 0

$\epsilon \neq 0$ 。

— dsaxton

23

我能想到的最简单的示例是我们大多数人直观地想到的样本方差，即偏差的平方和除以 $n$ 而不是 $n-1$ ：

S_{n}^{2} = \frac{1}{n} \sum_{i = 1}^{n} {(X_{i} - \bar{X})}^{2}

$S_n^2 = \frac{1}{n} \sum_{i=1}^n \left(X_i-\bar{X} \right)^2$

容易证明 $E\left(S_n^2 \right)=\frac{n-1}{n} \sigma^2$ 并且因此估计器被偏置。不过，假设有限方差 $\sigma^2$ ，观察到偏压变为零作为 $n \to \infty$ 因为

E (S_{n}^{2}) - σ^{2} = - \frac{1}{n} σ^{2}

$E\left(S_n^2 \right)-\sigma^2 = -\frac{1}{n}\sigma^2$

还可以证明，估计量的方差趋于零，因此估计量收敛于均方。因此，它在概率上也收敛。

— 约翰·克
source

1

这是一个有用的示例，尽管在这里它可能对“偏见”应用了一个相当微弱的解释（在问题本身中使用的含义有些含糊）。一个人也可以要求更强的东西，例如，一个估计序列是一致的，但是偏差甚至不会渐近消失。

— 2015年

@cardinal偏差必须渐近消失，以使估计量保持一致，不是吗？

— 约翰·K

3

不。（有关更多详细信息，请参见评论流。）

— 红衣主教

我认为这将是有帮助的呼叫您估计

，而不是

，如

最通常指的是无偏估计量，而

常指MLE。

{\hat{σ}}^{2}

$\hat \sigma^2$

S^{2}

$S^2$

S^{2}

$S^2$

{\hat{σ}}^{2}

$\hat \sigma^2$

— 悬崖AB

@CliffAB是的，这是该指数

表示，偏差平方的总和被除以

代替常规的，

。

n

$n$

n

$n$

n - 1

$n-1$

— JohnK

9

一个简单的例子是在给定 iid个观测值情况下估计参数 $\theta > 0$ $n$ 。 $y_i \sim \text{Uniform}\left[0, \,\theta\right]$

让。对于任何有限我们有（以便估算被偏压），但是在极限它将等于 $\hat{\theta}_n = \max\left\{y_1, \ldots, y_n\right\}$ $n$ $\mathbb{E}\left[\theta_n\right] < \theta$ $\theta$ 以概率1（因此它是一致的）。

— 阿德里安
source

6

考虑任何无偏和一致估计和序列收敛到1（不必是随机的）并且形式。它被偏压，但一致的，因为收敛于1。 $T_n$ $\alpha_n$ $\alpha_n$ $\alpha_nT_n$ $\alpha_n$

从维基百科：

宽松地说，如果参数的估计量在概率上收敛于参数的真值，则称该估计量为一致： $T_n$ $\theta$

\underset{n \to \infty}{plim} T_{n} = θ .

$\underset{n\to\infty}{\operatorname{plim}}\;T_n = \theta.$

现在回想一下，估算器的偏差定义为：

{Bias}_{θ} [\hat{θ}] = E_{θ} [\hat{θ}] - θ

$\operatorname{Bias}_\theta[\,\hat\theta\,] = \operatorname{E}_\theta[\,\hat{\theta}\,]-\theta$

偏差确实为非零，并且概率收敛仍然是正确的。

— RUser4512
source

我感谢您的答复和解释。我现在有了更好的理解。谢谢

— Jimmy Wiggles 2015年

这个答案在开始时需要进行一些小小的修正，以明确表明没有任何无偏的

会起作用。原始估算器序列本身必须保持一致。

T_{n}

$T_n$

— 2015年

2

在包含滞后因变量作为回归变量的时间序列设置中，OLS估计量将保持一致但有偏差。这样做的原因是为了显示无偏的OLS估计器，我们需要严格的外生性，，即误差项，，在周期是不相关的，在所有时间段的所有回归量。然而，为了显示OLS的一致性估计我们只需要contemporanous外生性，，即误差项，，在周期是不相关的同回归量，周期。考虑AR（1）模型： $E\left[\varepsilon_{t}\left|x_{1},\, x_{2,},\,\ldots,\, x_{T}\right.\right]$ $\varepsilon_{t}$ $t$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$ $\varepsilon_{t}$ $t$ $x_{t}$ $t$ 与从现在开始。 $y_{t}=\rho y_{t-1}+\varepsilon_{t},\;\varepsilon_{t}\sim N\left(0,\:\sigma_{\varepsilon}^{2}\right)$ $x_{t}=y_{t-1}$

首先，我证明严格的外生性在包含滞后因变量作为回归变量的模型中不成立。让我们看一下之间的相关性和 $\varepsilon_{t}$ $x_{t+1}=y_{t}$

E [ε_{t} x_{t + 1}] = E [ε_{t} y_{t}] = E [ε_{t} (ρ y_{t - 1} + ε_{t})]

$E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]=E\left[\varepsilon_{t}\left(\rho y_{t-1}+\varepsilon_{t}\right)\right]$

= ρ E (ε_{t} y_{t - 1}) + E (ε_{t}^{2})

$=\rho E\left(\varepsilon_{t}y_{t-1}\right)+E\left(\varepsilon_{t}^{2}\right)$

= E (ε_{t}^{2}) = σ_{ε}^{2} > 0 (E q . (1)) .

$=E\left(\varepsilon_{t}^{2}\right)=\sigma_{\varepsilon}^{2}>0 \ (Eq. (1)).$

$E\left[\varepsilon_{t}\mid y_{1},\: y_{2},\:\ldots\ldots,y_{t-1}\right]=0$ $\varepsilon_{t}$ $t$ $\rho E\left(\varepsilon_{t}y_{t-1}\right)$ $E\left[\varepsilon_{t}x_{t+1}\right]=E\left[\varepsilon_{t}y_{t}\right]\neq0$ $E\left[\varepsilon_{t}\left|x_{t}\right.\right]$

$\rho$ $\hat{\rho}$

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} (E q . (2))

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}} \ (Eq. (2))$

$E\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]$ $Eq. (2)$

E [\hat{ρ} | y_{1}, y_{2,}, \dots, y_{T - 1}] = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} [ε_{t} | y_{1}, y_{2,}, \dots, y_{T - 1}] y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

However, we know from $Eq. (1)$ that $E\left[\varepsilon_{t}y_{t}\right]=E\left(\varepsilon_{t}^{2}\right)$ such that $\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq0$ meaning that $\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}\neq0$ and hence $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]\neq\rho$ but is biased: $E\left[\hat{\rho}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\left[\varepsilon_{t}\left|y_{1},\, y_{2,},\,\ldots,\, y_{T-1}\right.\right]y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}E\left(\varepsilon_{t}^{2}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=$ $\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\sigma_{\varepsilon}^{2}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$ .

All I assume to show consistency of the OLS estimator in the AR(1) model is contemporanous exogeneity, $E\left[\varepsilon_{t}\left|x_{t}\right.\right]=E\left[\varepsilon_{t}\left|y_{t-1}\right.\right]=0$ which leads to the moment condition, $E\left[\varepsilon_{t}x_{t}\right]=0$ with $x_{t}=y_{t-1}$ . As before, we have that the OLS estimator of $\rho$ , $\hat{\rho}$ is given as:

\hat{ρ} = \frac{\frac{1}{T} \sum_{t = 1}^{T} y_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = \frac{\frac{1}{T} \sum_{t = 1}^{T} (ρ y_{t - 1} + ε_{t}) y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{\frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{\frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}}

$\hat{\rho}=\frac{\frac{1}{T}\sum_{t=1}^{T}y_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\frac{\frac{1}{T}\sum_{t=1}^{T}\left(\rho y_{t-1}+\varepsilon_{t}\right)y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}$

Now assume that $plim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}=\sigma_{y}^{2}$ and $\sigma_{y}^{2}$ is positive and finite, $0<\sigma_{y}^{2}<\infty$ .

Then, as $T\rightarrow\infty$ and as long as a law of large numbers (LLN) applies we have that $p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}=E\left[\varepsilon_{t}y_{t-1}\right]=0$ . Using this result we have:

\underset{T \to \infty}{p lim \hat{ρ}} = ρ + \frac{p lim \frac{1}{T} \sum_{t = 1}^{T} ε_{t} y_{t - 1}}{p lim \frac{1}{T} \sum_{t = 1}^{T} y_{t}^{2}} = ρ + \frac{0}{σ_{y}^{2}} = ρ

$\underset{T\rightarrow\infty}{p\lim\hat{\rho}}=\rho+\frac{p\lim\frac{1}{T}\sum_{t=1}^{T}\varepsilon_{t}y_{t-1}}{p\lim\frac{1}{T}\sum_{t=1}^{T}y_{t}^{2}}=\rho+\frac{0}{\sigma_{y}^{2}}=\rho$

Thereby it has been shown that the OLS estimator of $p$ , $\hat{\rho}$ in the AR(1) model is biased but consistent. Note that this result holds for all regressions where the lagged dependent variable is included as a regressor.

— Plissken
source