改进最小估计量

假设我有正参数来估计以及由估计器产生的相应的无偏估计，即，等。$n$^ μ 1，^ μ 2，。。。，^ μ Ñ ë [ ^ μ 1 ] = μ 1个Ë [ ^ μ 2 ] = μ 2$\mu_1,\mu_2,...,\mu_n$$n$$\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}$$\mathrm E[\hat{\mu_1}]=\mu_1$$\mathrm E[\hat{\mu_2}]=\mu_2$

我想使用手头的估算来估算。显然，幼稚估计被偏置为低 $\mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})$

$$\mathrm E[\mathrm{min}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n})]\leq \mathrm{min}(\mu_1,\mu_2,...,\mu_n)$$

假设我还拥有相应估计量的协方差矩阵。是否有可能使用给定的估计值和协方差矩阵来获得最小的无偏（或偏少偏见）估计？$\mathrm{Cov}(\hat{\mu_1},\hat{\mu_2},...,\hat{\mu_n}) = \Sigma$

对于无偏估计量的存在，我没有明确的答案。但是，就估计误差而言，估计通常是一个内在的难题。$\min(\mu_1, \dots, \mu_n)$

例如，让和。让是目标量和是的估计。如果我们使用“天真”估计量，其中，则估计误差由 直到恒定。（注意，对于每个估计误差就是）。当然，如果μ = （μ 1，... ，μ Ñ）θ = 分钟我μ 我θ θ θ = 分钟我（ˉ Ý我）＆OverBar; ÿ 我 = $Y_1, \dots, Y_N \sim N(\mu, \sigma^2I)$$\mu = (\mu_1, \dots, \mu_n)$$\theta = \min_i \mu_i$$\hat{\theta}$$\theta$$\hat{\theta} = \min_i(\bar{Y}_i)$大号2ë[ θ -θ]2⪅σ2日志$\bar{Y_i} = \frac{1}{N}\sum_{j=1}^N Y_{i,j}$$L_2$ μ我σ

$$\mathbb{E}[\hat{\theta} - \theta]^2 \lessapprox \frac{\sigma^2\log n}{N}$$ $\mu_i$ μ$\frac{\sigma^2}{N}$$\mu_i$彼此相距遥远并且非常小，估计误差应减小为 。但是，在最坏的情况下，没有的估计比天真的估计更好。您可以精确地显示 ，其中最小值基于样本接管的所有可能估计接管的所有可能配置。σ $\sigma$ θINF θ SUP μ 1，...， μ Ñ ë[ θ -θ]2⪆σ2日志$\frac{\sigma^2}{N}$$\theta$ θÿ1，...，ÿÑμ $$\inf_{\hat{\theta}} \sup_{\mu_1, \dots,\mu_n} \mathbb{E}[\hat{\theta} - \theta]^2 \gtrapprox \frac{\sigma^2\log n}{N}$$ $\theta$$Y_1,\dots, Y_N$$\mu_i$

因此，朴素的估计量在不超过常数的情况下是minimax最优的，在这个意义上没有更好的估计量。$\theta$

编辑：以下回答的问题与所询问的问题不同—它被视为好像被认为是随机的，但在被认为是固定的时不起作用，这可能是OP的初衷。如果是固定的，那么我没有比更好的答案μ μ 分钟（μ 1，。。。，μ Ñ$\mu$$\mu$$\mu$$\min(\hat\mu_1,...,\hat\mu_n)$

---

如果仅考虑均值和协方差的估计值，则可以将视为来自多元正态分布的单个样本。一种简单的估计最小值的方法是从中提取大量样本，计算每个样本的最小值，然后取这些最小值的平均值。中号V Ñ （μ，Σ $(\mu_1, ..., \mu_n)$$MVN(\hat{\mu}, \Sigma)$

以上过程及其局限性可以用贝叶斯术语来理解-以Wikipedia上的MVN表示，如果是估计量的已知协方差，并且我们有一个观察结果，则联合后验分布为其中和来自先验，在观察任何数据之前，我们先取先验）。由于您可能不愿意在上放置先验，我们可以将限制取为，从而导致平坦的先验，后验变为μ 〜中号V Ñ （μ + 米λ $\Sigma$λ0米μ〜中号VÑ（λ0，米-1Σμ米→0μ〜中号VÑ（ μ，Σ）$\mu \sim MVN(\frac{\hat{\mu} + m \lambda_0}{1 + m}, \frac{1}{n+m} \Sigma)$$\lambda_0$$m$$\mu \sim MVN(\lambda_0, m^{-1} \Sigma$$\mu$$m \rightarrow 0$$\mu \sim MVN(\hat{\mu}, \Sigma)$。但是，在给定平坦先验的情况下，我们隐含地假设的元素相差很大（如果所有实数的可能性均等，则很难获得相似的值）。$\mu$

甲快速模拟表明，此过程稍稍高估的估计时的元素差别很大和低估当元件是类似的。有人可能会说，没有任何先验知识，这就是正确的行为。如果您愿意陈述至少一些先验信息（例如），则对于您的用例，结果可能会表现得更好。μ 中号我Ñ （μ ）米= $min(\mu)$$\mu$$min(\mu)$$m = 0.1$

如果您愿意采用更多的结构，则可以选择比多元正态分布更好的分布。首先，也可以使用Stan或其他MCMC采样器来拟合的估计。这将为您提供一组样本，这些样本反映了估计量本身的不确定性，包括其协方差结构（可能比MVN所提供的丰富）。再一次，您可以计算每个样本的最小值，以获得最小值的后验分布，如果需要点估计，则取该分布的均值。（μ 1，。。。，μ Ñ$\mu$$(\mu_1, ..., \mu_n)$