具有不等方差的James-Stein估计量

我发现的James-Stein估计量的每条陈述均假设所估计的随机变量具有相同（和单位）的方差。

但是所有这些示例还提到，可以使用JS估计器来估计彼此无关的数量。在维基百科的例子是台湾光，茶叶消费，并在蒙大拿州生猪重量的速度。但是，假设您对这三个量的测量将具有不同的“真实”方差。这会带来问题吗？

这与一个我不理解的，与这个问题有关的更大的概念问题联系在一起：James-Stein估计量：埃夫隆和莫里斯是如何计算棒球范例中的收缩因子的？ $\sigma^2$ 我们计算收缩率如下： $c$

c = 1 - \frac{(k - 3) σ^{2}}{\sum (y - \bar{y})^{2}}

$c = 1 - \frac{(k-3) \sigma^2} {\sum (y - \bar{y})^2}$

直觉，我认为项实际上是－对于每个估计的数量而言都是不同的。但是该问题的讨论仅涉及使用合并方差... $\sigma^2$ $\sigma^2_i$

如果有人能消除这种混乱，我将不胜感激！

estimation shrinkage steins-phenomenon

— 专家
source

如果方差为我们可以乘以来回到James-Stein问题。如果是未知的，但是问题中的每个“观察”都是基于观测值计算的样本均值，我们可以用来估计，并希望如果我们预先乘以... ...也会得到James-Stein的情况。代替。

D = diag (σ_{1}^{2}, \dots, σ_{n}^{2})

$D = \mbox{diag}(\sigma_1^2, \ldots, \sigma_n^2)$

D^{- 1 / 2}

$D^{-1/2}$

D

$D$

m_{i}

$m_i$

D

$D$

\hat{D}

$\hat D$

{\hat{D}}^{- 1 / 2}

$\hat D^{-1/2}$

— 人

@guy：这是一个明智的建议（+1），但这将导致所有变量的收缩因子相同，而一个人希望根据变量的方差/不确定性以不同的方式收缩变量。查看我刚刚发布的答案。

— 变形虫说恢复莫妮卡

@amoeba当然；我并不是说我的估算器是实用的，只是说明了人们为什么说OP在他/她的第二段中提到的事情。

— 2014年

埃弗隆和莫里斯（Efron＆Morris）在1970年代撰写的有关经验贝叶斯背景下詹姆斯·斯坦因估计量的经典系列论文中明确回答了这个问题。我主要是指：

埃夫隆和莫里斯（Efron and Morris），1973年，斯坦因的估计规则及其竞争者-经验贝叶斯方法
埃夫隆（Efron）和莫里斯（Morris），1975年，斯坦因估计量的数据分析及其推广
埃夫隆和莫里斯（Efron and Morris），1977年，斯坦因统计学的悖论

1977年的论文是非技术性的博览会，必须阅读。他们在那里介绍了棒球击球的例子（在您链接的线程中进行了讨论）；在这个例子中，观察变量对于所有变量确实是相等的，并且收缩因子是恒定的。 $c$

但是，他们继续举另一个例子，它正在估计萨尔瓦多许多城市的弓形虫病发病率。在每个城市中，对不同人数的人口进行了调查，因此可以将单个观察值（每个城市中的弓形虫病率）视为具有不同的方差（被调查的人口数越低，方差越大）。直觉当然是，不需要像具有高方差（高不确定性）的数据点那样强烈收缩具有低方差（低不确定性）的数据点。下图显示了他们的分析结果，在此图中确实可以看出这种情况正在发生：

在此处输入图片说明

相同的数据和分析也以更为技术性的1975年论文的形式呈现，但更为优雅（尽管没有显示出个体差异），请参阅第3节：

在此处输入图片说明

在这里，他们提出了一种简化的经验贝叶斯方法，如下所述。令其中是未知的。在所有相同的情况下，标准的经验贝叶斯处理方法是将估计为，并将的后验均值计算为没什么除了James-Stein估计量。

X_{i} | θ_{i} \sim N (θ_{i}, D_{i}) θ_{i} \sim N (0, A)

$X_i|\theta_i \sim \mathcal N(\theta_i, D_i)\\ \theta_i \sim \mathcal N(0, A)$

A

$A$

D_{i} = 1

$D_i=1$

1 / (1 + A)

$1/(1+A)$

(k - 2) / \sum X_{j}^{2}

$(k-2)/\sum X_j ^2$

θ_{i}

$\theta_i$

{\hat{θ}}_{i} = (1 - \frac{1}{1 + A}) X_{i} = (1 - \frac{k - 2}{\sum X_{j}^{2}}) X_{i},

$\hat \theta_i = \left(1-\frac{1}{1+A}\right)X_i = \left(1-\frac{k-2}{\sum X_j^2}\right)X_i,$

如果现在，则贝叶斯更新规则为，我们可以使用相同的经验贝叶斯技巧来估计，即使在这种情况下没有封闭式（请参见论文）。但是，他们注意到 $D_i \ne 1$

{\hat{θ}}_{i} = (1 - \frac{D_{i}}{D_{i} + A}) X_{i}

$\hat \theta_i = \left(1-\frac{D_i}{D_i+A}\right)X_i$

A

$A$

\hat{A}

$\hat A$

...当所有都相等时，该规则不会减少到斯坦因，而是使用[1973年论文]中推导的这个估计量的一个小变型，它确实会减少到斯坦因。变体规则为每个城市估计一个不同的值。在这种情况下，规则之间的差异很小，但如果较小，则可能很重要。 $D_j$ $\hat A_i$ $k$

1973年论文中的相关章节是第8节，但阅读起来有些困难。有趣的是，他们在上面的评论中对@guy的建议有明确的评论：

在这种情况下，推广James-Stein规则的一种非常简单的方法是定义，这样，对转换后的数据应用[原始James-Stein规则]，然后转换回原始坐标。生成的规则通过估算这是没有吸引力的，因为每个都以相同的比例缩小到原点。 $\tilde x_i = D_i^{-1/2} x_i, \tilde \theta_i = D_i^{-1/2} \theta_i$ $\tilde x_i \sim \mathcal N(\tilde \theta_i, 1)$ $\theta_i$
${\hat{θ}}_{i} = (1 - \frac{k - 2}{\sum [X_{j}^{2} / D_{j}]}) X_{i} .$ $\hat \theta_i = \left(1-\frac{k-2}{\sum [X_j^2 / D_j]}\right)X_i.$ $X_i$

然后他们继续描述估计的首选过程，我必须承认我还没有完全阅读（有点涉及）。如果您对这些细节感兴趣，建议您去那里看看。 $\hat A_i$

— 变形虫说恢复莫妮卡
source