参数可估计性问题

令和为四个随机变量，使得，其中是未知参数。还假设，那哪个是真的？ $Y_1,Y_2,Y_3$ $Y_4$ $E(Y_1)=\theta_1-\theta_3;\space\space E(Y_2)=\theta_1+\theta_2-\theta_3;\space\space E(Y_3)=\theta_1-\theta_3;\space\space E(Y_4)=\theta_1-\theta_2-\theta_3$ $\theta_1,\theta_2,\theta_3$ $Var(Y_i)=\sigma^2$ $i=1,2,3,4.$

：是可估计的。 $\theta_1,\theta_2,\theta_3$

B.是可估计的。 $\theta_1+\theta_3$

C.是可估计的，是的最佳线性无偏估计。 $\theta_1-\theta_3$ $\dfrac{1}{2}(Y_1+Y_3)$ $\theta_1-\theta_3$

D.是可估计的。 $\theta_2$

给出的答案是C，它对我来说看起来很奇怪（因为我得到了D）。

为什么我得到D？由于。 $E(Y_2-Y_4)=2\theta_2$

为什么我不明白C可以作为答案？好的，我可以看到是的无偏估计量，并且其方差小于。 $\dfrac{Y_1+Y_2+Y_3+Y_4}{4}$ $\theta_1-\theta_3$ $\dfrac{Y_1+Y_3}{2}$

请告诉我我在哪里做错了。

也发布在这里：https : //math.stackexchange.com/questions/2568894/a-problem-on-estimability-of-parameters

self-study estimation inference

— Stat_prob_001
source

放入self-study标签，否则有人会来并关闭您的问题。

— 卡尔，

@Car完成了，但是为什么呢？

— Stat_prob_001

它们是网站的规则，而不是我的规则，网站规则。

— 卡尔，

是吗？

Y_{1} \neq Y_{3}

$Y_1\neq Y_3$

— 卡尔，

@Carl您可以这样思考：其中是一个rv，均值为，方差为。并且，其中是均值为且方差为的rv

Y_{1} = θ_{1} - θ_{3} + ϵ_{1}

$Y_1=\theta_1-\theta_3+\epsilon_1$

ϵ_{1}

$\epsilon_1$

0

$0$

σ^{2}

$\sigma^2$

Y_{3} = θ_{1} - θ_{3} + ϵ_{3}

$Y_3=\theta_1-\theta_3+\epsilon_3$

ϵ_{3}

$\epsilon_3$

0

$0$

σ^{2}

$\sigma^2$

— Stat_prob_001

Answers:

这个答案强调了可估计性的验证。最小方差属性是我的次要考虑因素。

首先，按照线性模型的矩阵形式总结信息，如下所示：，其中（为了讨论可估计性，不需要球度假设。但是要讨论Gauss-Markov性质，我们确实需要假设的球度。

\begin{aligned} (1) & Y := [\begin{matrix} Y_{1} \\ Y_{2} \\ Y_{3} \\ Y_{4} \end{matrix}] = [\begin{matrix} 1 & 0 & - 1 \\ 1 & 1 & - 1 \\ 1 & 0 & - 1 \\ 1 & - 1 & - 1 \end{matrix}] [\begin{matrix} θ_{1} \\ θ_{2} \\ θ_{3} \end{matrix}] + [\begin{matrix} ε_{1} \\ ε_{2} \\ ε_{3} \\ ε_{4} \end{matrix}] := X β + ε, \end{aligned}

$\begin{align} Y := \begin{bmatrix} Y_1 \\ Y_2 \\ Y_3 \\ Y_4 \end{bmatrix} = \begin{bmatrix} 1 & 0 & -1 \\ 1 & 1 & -1 \\ 1 & 0 & -1 \\ 1 & -1 & -1 \\ \end{bmatrix} \begin{bmatrix} \theta_1 \\ \theta_2 \\ \theta_3 \end{bmatrix} + \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \varepsilon_3 \\ \varepsilon_4 \end{bmatrix}:= X\beta + \varepsilon, \tag{1} \end{align}$

E (ε) = 0, Var (ε) = σ^{2} I

$E(\varepsilon) = 0, \text{Var}(\varepsilon) = \sigma^2 I$

ε

$\varepsilon$

如果设计矩阵具有最高等级，则原始参数允许唯一的最小二乘估计。因此，任何参数，定义为线性函数的是可估计的，即它可以明确地由数据经由最小二乘估计估计作为。 $X$ $\beta$ $\hat{\beta} = (X'X)^{-1}X'Y$ $\phi$ $\phi(\beta)$ $\beta$ $\hat{\beta}$ $\hat{\phi} = p'\hat{\beta}$

当不具有完整等级时，就会产生微妙之处。为了进行深入的讨论，我们首先在下面修复一些符号和术语（我遵循线性模型的无坐标方法的约定，第4.8节。某些术语听起来不一定是技术性的）。另外，该讨论适用于具有和的一般线性模型。 $X$ $Y = X\beta + \varepsilon$ $X \in \mathbb{R}^{n \times k}$ $\beta \in \mathbb{R}^k$

甲回归歧管是作为均值向量的集合变化超过： $\beta$ $\mathbb{R}^k$ $M = {X β : β \in R^{k}} .$ $M = \{X\beta: \beta \in \mathbb{R}^k\}.$

甲参数官能 是直链的官能， $\phi = \phi(\beta)$ $\beta$ $ϕ (β) = p^{'} β = p_{1} β_{1} + \dots + p_{k} β_{k} .$ $\phi(\beta) = p'\beta = p_1\beta_1 + \cdots + p_k\beta_k.$

如上所述，当，并不是每个参数函数都是可估计的。但是，等等，技术上可估算的术语的定义是什么？不打扰一些线性代数似乎很难给出明确的定义。我认为最直观的一种定义如下（来自相同的前述参考文献）： $\text{rank}(X) < k$ $\phi(\beta)$

定义1.参数函数如果由唯一地确定，则意味着每当满足。 $\phi(\beta)$ $X\beta$ $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1,\beta_2 \in \mathbb{R}^k$ $X\beta_1 = X\beta_2$

解释。上面的定义规定，从回归流形到的参数空间的映射必须是一对一的，这在（即，当本身是-一对一）。当，我们知道存在使得。上面的可估计定义实际上排除了那些结构不足的参数函数，即使在上具有相同的值，它们本身也会导致不同的值，这自然是不合理的。另一方面，可估计参数函数 $M$ $\phi$ $\text{rank}(X) = k$ $X$ $\text{rank}(X) < k$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$ $M$ $\phi(\cdot)$ 只要满足条件确实允许情况与。 $\phi(\beta_1) = \phi(\beta_2)$ $\beta_1 \neq \beta_2$ $X\beta_1 = X\beta_2$

在相同的参考命题8.4中，还存在其他等效条件来检查参数函数的可估计性。

在进行了如此详尽的背景介绍之后，让我们回到您的问题。

：本身是不可估计的，因为，这意味着与。尽管以上定义是针对标量泛函给出的，但很容易将其泛化为矢量值泛函。 $\beta$ $\text{rank}(X) < 3$ $X\beta_1 = X\beta_2$ $\beta_1 \neq \beta_2$

B.是不可估计的。到机智，考虑和，这使但。 $\phi_1(\beta) = \theta_1 + \theta_3 = (1, 0, 1)'\beta$ $\beta_1 = (0, 1, 0)'$ $\beta_2 = (1, 1, 1)'$ $X\beta_1 = X\beta_2$ $\phi_1(\beta_1) = 0 + 0 = 0 \neq \phi_1(\beta_2) = 1 + 1 = 2$

C.是可估计的。因为意味着，即。 $\phi_2(\beta) = \theta_1 - \theta_3 = (1, 0, -1)'\beta$ $X\beta_1 = X\beta_2$ $\theta_1^{(1)} - \theta_3^{(1)} = \theta_1^{(2)} - \theta_3^{(2)}$ $\phi_2(\beta_1) = \phi_2(\beta_2)$

D.是也可估。从到也是微不足道的。 $\phi_3(\beta) = \theta_2 = (0, 1, 0)'\beta$ $X\beta_1 = X\beta_2$ $\phi_3(\beta_1) = \phi_3(\beta_2)$

在证明了可估计性之后，有一个定理（命题8.16，相同的参考文献）声称的高斯-马尔可夫性质。根据该定理，选项C的第二部分不正确。最佳线性无偏估计为，根据以下定理。 $\phi(\beta)$ $\bar{Y} = (Y_1 + Y_2 + Y_3 + Y_4)/4$

定理。让是可估计的参数的功能，那么它的最佳线性无偏估计（又名，高斯-马尔可夫估计）是对于任何溶液到正规方程。 $\phi(\beta) = p'\beta$ $\phi(\hat{\beta})$ $\hat{\beta}$ $X'X\hat{\beta} = X'Y$

证明如下：

证明。直接计算表明，正态方程为其中，简化后，是即。
$[\begin{matrix} 4 & 0 & - 4 \\ 0 & 2 & 0 \\ - 4 & 0 & 4 \end{matrix}] \hat{β} = [\begin{matrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & - 1 \\ - 1 & - 1 & - 1 & - 1 \end{matrix}] Y,$ $\begin{equation} \begin{bmatrix} 4 & 0 & -4 \\ 0 & 2 & 0 \\ -4 & 0 & 4 \end{bmatrix} \hat{\beta} = \begin{bmatrix} 1 & 1 & 1 & 1 \\ 0 & 1 & 0 & -1 \\ -1 & -1 & -1 & -1 \end{bmatrix} Y, \end{equation}$ $[\begin{matrix} ϕ (\hat{β}) \\ {\hat{θ}}_{2} / 2 \\ - ϕ (\hat{β}) \end{matrix}] = [\begin{matrix} \bar{Y} \\ (Y_{2} - Y_{4}) / 4 \\ - \bar{Y} \end{matrix}],$ $\begin{equation} \begin{bmatrix} \phi(\hat{\beta}) \\ \hat{\theta}_2/2 \\ -\phi(\hat{\beta}) \end{bmatrix} = \begin{bmatrix} \bar{Y} \\ (Y_2 - Y_4)/4 \\ -\bar{Y} \end{bmatrix}, \end{equation}$ $\phi(\hat{\beta}) = \bar{Y}$

因此，选项D是唯一正确的答案。

附录：可估计性和可识别性的联系

当我在学校时，一位教授简短地提到了参数函数的可估计性与模型可识别性相对应。那时，我认为这一主张是理所当然的。但是，需要更明确地阐明等效性。 $\phi$

根据AC Davison的专着《统计模型》第 144页，

定义2.每个参数生成不同分布的参数模型称为 identifiable。 $\theta$

对于线性模型，无论球度条件，都可以将其重新表示为 $(1)$ $\text{Var}(\varepsilon) = \sigma^2 I$

\begin{matrix} (2) & E [Y] = X β, β \in R^{k} . \end{matrix}

$\begin{equation} E[Y] = X\beta, \quad \beta \in \mathbb{R}^k. \tag{2} \end{equation}$

这个模型很简单，我们只指定了响应向量的第一矩形式。当，模型是可识别的，因为暗示（原始定义中的单词“ distribution”自然会为“ mean” ”（在模型）。 $Y$ $\text{rank}(X) = k$ $(2)$ $\beta_1 \neq \beta_2$ $X\beta_1 \neq X\beta_2$ $(2)$

现在假设和给定的参数函数，我们如何协调定义1和定义2？ $\text{rank}(X) < k$ $\phi(\beta) = p'\beta$

好了，通过操纵符号和单词，我们可以证明（“证明”相当琐碎）可估计性等同于模型在通过参数参数化时是可识别的。（设计矩阵可能会相应地更改）。为了证明，假设是可估计的，那么意味着，根据定义，这是，因此模型是可识别的使用索引时。相反，假设模型是可识别的， $\phi(\beta)$ $(2)$ $\phi = \phi(\beta) = p'\beta$ $X$ $\phi(\beta)$ $X\beta_1 = X\beta_2$ $p'\beta_1 = p'\beta_2$ $\phi_1 = \phi_2$ $(3)$ $\phi$ $(3)$ $X\beta_1 = X\beta_2$ 意味着，这很简单地。 $\phi_1 = \phi_2$ $\phi_1(\beta) = \phi_2(\beta)$

直观地，当降阶时，带有的模型是参数冗余的（参数太多），因此可能会进行非冗余的低维重新参数化（可能由线性函数的集合组成）。这样的新表示何时可能出现？关键是可估计性。 $X$ $\beta$

为了说明以上陈述，让我们重新考虑您的示例。我们已经验证了参数函数和是可估计的。因此，我们可以根据重新参数化的参数来重写模型，如下所示 $\phi_2(\beta) = \theta_1 - \theta_3$ $\phi_3(\beta) = \theta_2$ $(1)$ $(\phi_2, \phi_3)'$

E [Y] = [\begin{matrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{matrix}] [\begin{matrix} ϕ_{2} \\ ϕ_{3} \end{matrix}] = \tilde{X} γ .

$\begin{equation} E[Y] = \begin{bmatrix} 1 & 0 \\ 1 & 1 \\ 1 & 0 \\ 1 & - 1 \end{bmatrix} \begin{bmatrix} \phi_2 \\ \phi_3 \end{bmatrix} = \tilde{X}\gamma. \end{equation}$

显然，由于已完成排名，因此可以识别带有新参数的模型。 $\tilde{X}$ $\gamma$

— 战雄
source

如果您需要选项C第二部分的证明，我将补充我的答案。

— 詹雄

谢谢！如此详细的答案。现在，关于C的第二部分：我知道“最佳”与最小方差有关。那么，为什么不是“最佳”呢？

\frac{1}{4} (Y_{1} + Y_{2} + Y_{3} + Y_{4})

$\dfrac{1}{4}(Y_1+Y_2+Y_3+Y_4)$

— Stat_prob_001

哦，我不知道为什么我认为它是C中的估算器。实际上是最佳估算器。将编辑我的答案

(Y_{1} + Y_{2} + Y_{3} + Y_{4}) / 4

$(Y_1 + Y_2 + Y_3 + Y_4)/4$

— 詹雄

应用定义。

我将提供详细信息来演示如何使用基本技术：您不需要了解有关估计的任何特殊定理，也不需要假设有关的（边际）分布的任何信息。我们将需要就它们的共同分布时刻提供一个缺失的假设。 $Y_i$

定义

对于常数所有线性估计的形式均为。

t_{λ} (Y) = \sum_{i = 1}^{4} λ_{i} Y_{i}

$t_\lambda(Y) = \sum_{i=1}^4 \lambda_i Y_i$

λ = (λ_{i})

$\lambda = (\lambda_i)$

的估计量在且仅当其期望值为才是无偏的。通过期望的线性， $\theta_1-\theta_3$ $\theta_1-\theta_3$

\begin{aligned} θ_{1} - θ_{3} & = E [t_{λ} (Y)] = \sum_{i = 1}^{4} λ_{i} E [Y_{i}] \\ = λ_{1} (θ_{1} - θ_{3}) + λ_{2} (θ_{1} + θ_{2} - θ_{3}) + λ_{3} (θ_{1} - θ_{3}) + λ_{4} (θ_{1} - θ_{2} - θ_{3}) \\ = (λ_{1} + λ_{2} + λ_{3} + λ_{4}) (θ_{1} - θ_{3}) + (λ_{2} - λ_{4}) θ_{2} . \end{aligned}

$\eqalign{ \theta_1 - \theta_3 &= E[t_\lambda(Y)] = \sum_{i=1}^4 \lambda_i E[Y_i]\\ & = \lambda_1(\theta_1-\theta_3) + \lambda_2(\theta_1+\theta_2-\theta_3) + \lambda_3(\theta_1-\theta_3) + \lambda_4(\theta_1-\theta_2-\theta_3) \\ &=(\lambda_1+\lambda_2+\lambda_3+\lambda_4)(\theta_1-\theta_3) + (\lambda_2-\lambda_4)\theta_2. }$

比较未知量显示 $\theta_i$

\begin{matrix} (1) & λ_{2} - λ_{4} = 0 and λ_{1} + λ_{2} + λ_{3} + λ_{4} = 1. \end{matrix}

$\lambda_2-\lambda_4=0\text{ and }\lambda_1+\lambda_2+\lambda_3+\lambda_4=1.\tag{1}$

在线性无偏估计的情况下，“最佳” 始终表示方差最小。 的方差为 $t_\lambda$

Var (t_{λ}) = \sum_{i = 1}^{4} λ_{i}^{2} Var (Y_{i}) + \sum_{i \neq j}^{4} λ_{i} λ_{j} Cov (Y_{i}, Y_{j}) .

$\operatorname{Var}(t_\lambda) = \sum_{i=1}^4 \lambda_i^2 \operatorname{Var}(Y_i) + \sum_{i\ne j}^4 \lambda_i\lambda_j \operatorname{Cov}(Y_i,Y_j).$

取得进展的唯一方法是对协方差添加一个假设：最有可能的是，要规定它们全部为零的问题。（这并不意味着是独立的。此外，可以通过对那些协方差规定一个共同的乘法常数的假设来解决该问题。解决方案取决于协方差结构。） $Y_i$

由于我们得到 $\operatorname{Var}(Y_i)=\sigma^2,$

\begin{matrix} (2) & Var (t_{λ}) = σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) . \end{matrix}

$\operatorname{Var}(t_\lambda) =\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2).\tag{2}$

因此，问题是在约束约束下最小化。 $(2)$ $(1)$

解

约束允许我们仅通过的两个线性组合来表示它们。令和（线性独立）。这些确定和而约束确定和。我们要做的就是最小化，可以将其写成 $(1)$ $\lambda_i$ $u=\lambda_1-\lambda_3$ $v=\lambda_1+\lambda_3$ $\lambda_1$ $\lambda_3$ $\lambda_2$ $\lambda_4$ $(2)$

σ^{2} (λ_{1}^{2} + λ_{2}^{2} + λ_{3}^{2} + λ_{4}^{2}) = \frac{σ^{2}}{4} (2 u^{2} + (2 v - 1)^{2} + 1) .

$\sigma^2(\lambda_1^2 + \lambda_2^2 + \lambda_3^2 + \lambda_4^2) = \frac{\sigma^2}{4}\left(2u^2 + (2v-1)^2 + 1\right).$

没有约束适用于。假设（这样变量不仅是常量）。因为仅当时和才最小，所以很显然唯一解是 $(u,v)$ $\sigma^2 \ne 0$ $u^2$ $(2v-1)^2$ $u=2v-1=0$

λ = (λ_{1}, λ_{2}, λ_{3}, λ_{4}) = (1 / 4, 1 / 4, 1 / 4, 1 / 4) .

$\lambda = (\lambda_1,\lambda_2,\lambda_3,\lambda_4) = (1/4,1/4,1/4,1/4).$

选项（C）为假，因为它没有给出最佳的无偏线性估计量。选项（D）尽管没有提供完整的信息，但它是正确的，因为

θ_{2} = E [t_{(0, 1 / 2, 0, - 1 / 2)} (Y)]

$\theta_2 = E[t_{(0,1/2,0,-1/2)}(Y)]$

是线性估计量的期望。

很容易看出（A）和（B）都不正确，因为线性估计量的期望空间是由而没有或在该空间中。 $\{\theta_2, \theta_1-\theta_3\}$ $\theta_1,\theta_3,$ $\theta_1+\theta_3$

因此，（D）是唯一的正确答案。

— ub
source