加权方差的偏差校正

对于未加权方差存在的偏置校正的样本方差，当平均是从相同的数据估计：

Var (X) := \frac{1}{n} \sum_{i} (x_{i} - μ)^{2}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$

Var (X) := \frac{1}{n - 1} \sum_{i} (x_{i} - E [X])^{2}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

我正在研究加权均值和方差，并想知道加权方差的适当偏差校正是什么。使用：

mean (X) := \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} x_{i}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

我正在使用的“天真”，未经校正的方差是：

Var (X) := \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

所以我想知道纠正偏见的正确方法是

A）

Var (X) := \frac{1}{\sum_{i} ω_{i} - 1} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

或B）

Var (X) := \frac{n}{n - 1} \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

或C）

Var (X) := \frac{\sum_{i} ω_{i}}{(\sum_{i} ω_{i})^{2} - \sum_{i} ω_{i}^{2}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

A）当权重较小时对我来说没有意义。归一化值可以是0甚至是负数。但是B）（是观察次数）-这是正确的方法吗？您是否有参考资料可以证明这一点？我相信“更新均值和方差估计：一种改进的方法”，DHD West，1979年使用了这种方法。第三，C）是我对这个问题的答案的解释：https : //mathoverflow.net/questions/22203/unbiased-estimate-of-the-variance-of-an-unnormalized-weighted-mean $n$

对于C），我刚刚意识到分母看起来很像。这里有一些一般的联系吗？我认为这并不完全一致；显然我们正在尝试计算方差... $\text{Var}(\Omega)$

他们三个似乎都“生存”设置所有的健全性检查。那么我应该在哪个前提下使用哪个呢？“更新：” whuber建议也使用和所有其余的进行完整性检查。这似乎排除了A和B。 $\omega_i=1$ $\omega_1=\omega_2=.5$ $\omega_i=\epsilon$

— Anony-Mousse
source

当您考虑两个最大权重相等而其余所有权重都几乎消失的情况时，（A）和（B）都从竞争中退出（因为它们不同意的已知结果）。（C）似乎是一个近似值；我怀疑正确的因素是权重的复杂得多。

n = 2

$n=2$

— ub

下面的@whuber ThePawn表示它是C。您是否有更详细的担忧？

— Anony-Mousse 2013年

解决方案（A）可行，我过去已经实现了，可以从经验测试中确认它给出了正确的结果。但是，您只能将整数值用于权重且>

— 0。–令人讨厌的

谢谢！当权重为指数移动平均数时，这对我有很大帮助，使其走上正确的轨道！事实证明，除了小幅度的（1-1 / n）校正（类似于简单的移动平均值计算）外，天真的计算方差的方法实际上将其高估了常数因子2。那是一个特别疯狂的特例！

— saolof

Answers:

我经过了数学运算，最后得到了变体C：

其中是未校正的方差估计。式与当所有的未加权的情况下同意是相同的。我在下面详细说明：

V a r (X) = \frac{(\sum_{i} ω_{i})^{2}}{(\sum_{i} ω_{i})^{2} - \sum_{i} ω_{i}^{2}} \bar{V}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

设置 $\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{V} = \sum_{i} λ_{i} (x_{i} - \sum_{j} λ_{j} x_{j})^{2}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

(x_{i} - \sum_{j} λ_{j} x_{j})^{2} = x_{i}^{2} + \sum_{j, k} λ_{j} λ_{k} x_{j} x_{k} - 2 \sum_{j} λ_{j} x_{i} x_{j}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

$E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ $E[X]$

E [\bar{V}] = V a r (X) \sum_{i} λ_{i} (1 + \sum_{j} λ_{j}^{2} - 2 λ_{i})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$

E [\bar{V}] = V a r (X) (1 - \sum_{j} λ_{j}^{2})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$

λ_{i}

$\lambda_i$

ω_{i}

$\omega_i$

— 典当行
source

那是上面的变体C，不是吗？

— Anony-Mousse 2013年

Oups，是的，它是变异C.

— ThePawn

我已经凭经验检查了此解决方案，但它不起作用...唯一可行的解决方案是我自己也曾在过去实现的解决方案（A），但它仅适用于权重为整数且> = 0

— 令人讨厌

根据Wikipedia，Matlab，R和其他正在实施此方程式的人的说法，该方程式是错误的。这里的分子是平方的，但不应该是平方的，它应该像OP建议的（C）一样。见en.wikipedia.org/wiki/...

— gaborous

@rajatkhanduja我不是在谈论证明，而是在讨论最终的导出方程式（此答案中最上面的方程式）。但是确实是正确的，分子是平方的，因为我们乘以V，因此分子最终是不平方的。无论如何，正如我在下面的回答中所解释的，此估计量仍然有偏差，因为它依赖于“可靠性”类型的权重。

— 2013年

A和C都是正确的，但是将使用哪种取决于您使用的权重类型：

A需要您使用“重复”类型的权重（对每个观察值的出现次数进行计数的整数），并且没有偏见。
C需要您使用“可靠性”类型的权重（每个观察值的归一化权重或方差），并且存在偏见。它不能公正。

C必然偏倚的原因是，如果您不使用“重复”类型的权重，则您将无法计算观察值的总数（样本大小），因此您将无法使用校正因子。

有关更多信息，请查看最近更新的Wikipedia文章：http : //en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

— 夸张的
source