中位数的无偏估计

假设我们在上支持一个随机变量，我们可以从中抽取样本。我们如何得出的中位数的无偏估计？ $X$ $[0,1]$ $X$

当然，我们可以生成一些样本并取样本中值，但是我知道这通常不会产生偏差。

注意：这个问题与我的上一个问题有关，但并不完全相同，在这种情况下，只能近似采样。 $X$

sampling

— 罗宾逊
source

Answers:

这样的估计量不存在。

直觉是中位数可以保持固定，而我们可以自由地在其两侧左右移动概率密度，因此任何平均值为一个分布的中位数的估计量对于更改后的分布将具有不同的平均值，从而产生偏差。下面的说明使这种直觉更加严格。

我们专注于分布 $F$ 具有独特位数 $m$ ，从而根据定义 $F(m) \ge 1/2$ 和 $F(x) \lt 1/2$ 对于所有 $x \lt m$ 。固定的样品大小 $n \ge 1$ 并且假设 $t: [0,1]^n \to [0,1]$ 的估计 $m$ 。（这将足够了 $t$ 只为界，但通常一个不认真考虑产生显然是不可能的价值估计）我们做。没有关于假设 $t$ ; 它甚至不必在任何地方都连续。

的含义 $t$ 是无偏（对于该固定的样品大小）是

E_{F} [t (X_{1}, \dots, X_{n})] = m

$E_F[t(X_1, \ldots, X_n)] = m$

用于与任何IID样品 $X_i \sim F$ 。对于所有这样的 “无偏估计量” $t$ 就是具有这种性质的一个。 $F$

假设存在一个无偏估计量。通过将其应用于一组特别简单的分布中，我们将得出一个矛盾。考虑具有以下属性的分布 $F = F_{x,y,m, \varepsilon}$ ：

$0 \le x \lt y \le 1$ ;
$0 \lt \varepsilon \lt (y-x)/4$ ;
$x + \varepsilon \lt m \lt y - \varepsilon$ ;
; $\Pr(X = x) = \Pr(X = y) = (1-\varepsilon)/2$
; 和 $\Pr(m-\varepsilon \le X \le m+\varepsilon) = \varepsilon$
在上是均匀的。 $F$ $[m-\varepsilon, m+\varepsilon]$

这些分布在和每个位置放置概率，并且在和之间的周围对称地放置了少量概率。这使成为的唯一中位数。（如果担心，这不是一个连续分布，那么具有非常窄的高斯卷积它和截断结果：参数不会变化） $(1-\varepsilon)/2$ $x$ $y$ $m$ $x$ $y$ $m$ $F$ $[0,1]$

现在，对于任何推定的位数估计，一个简单的估计显示，是严格内的平均值的值，其中在和所有可能组合上变化。但是，我们可以改变 $t$ $E[t(X_1, X_2, \ldots, X_n)]$ $\varepsilon$ $2^n$ $t(x_1, x_2, \ldots, x_n)$ $x_i$ $x$ $y$ $m$ 在和，至少变化（由于条件2和3）。因此存在一个，和从那里的相应分布，为此，这种期望不会不等于位数，QED。 $x + \varepsilon$ $y - \varepsilon$ $\varepsilon$ $m$ $F_{x,y,m,\varepsilon}$

— ub
source

（+1）很好的证明。您是想出来的，还是您在读研究生时记得的东西？

— StasK 2012年

这是另一个证明：大多数伯努利随机变量的中位数为

或

。从估计

试验仅取决于估计的上顶点的平均值

与

，和它们的平均值的权重是在一个多项式

程度的

。如果这是一个无偏估计，它必须具有平均值

对于任何

，和有超过

的这样的值

0

$0$

1

$1$

n

$n$

[0, 1]^{n}

$[0,1]^n$

k

$k$

p

$p$

n

$n$

1

$1$

p > 1 / 2

$p \gt 1/2$

n + 1

$n+1$

p

$p$ ，因此该多项式必须为常数...但在

较低值处必须为

，因此在此也不能无偏。

0

$0$

p

$p$

— 道格拉斯·扎里

@道格拉斯这是一个很好的证明。我怀疑有些人可能会觉得它的适用范围有点不安，但是，因为对一个伯努利变量的值有点特殊，是与它的两个支撑点一个一致（除了当

）。读者可能会倾向于将其声明为“病理性的”，并试图通过仅查看在其域中到处都具有正密度的连续分布来阻止此类怪物。这就是为什么我要小心地表明这种努力将失败的原因。

p = 1 / 2

$p=1/2$

— ub

Finding an unbiased estimator without having a parametric model would be difficult! But you could use bootstrapping, and use that to correct the empirical median to get an approximately unbiased estimator.

— kjetil b halvorsen
source

If this is impossible, is it possible to prove it? For example, if

X_{1}, X_{2}, \dots, X_{n}

$X_1, X_2, \ldots, X_n$ are independent samples from

X

$X$ then can one prove that

f (X_{1}, \dots, X_{n})

$f(X_1, \ldots, X_n)$ cannot be unbiased for any choice of

f

$f$ ?

— robinson

I think kjetil is saying that in a nonparametric framework there is no method that will give an unbiased estimate for every possible distribution. But in the parametric framework you probably could. Bootstrapping a biased sample estimate can allow you to estimate the bias and adjust it to get a bootstrap estimate that is nearly unbiased. That was his suggestion for handling the problem in the nonparametric framework. Proving that an unbiased estimate is not possible would also be difficult.

— Michael R. Chernick

If you really want to try to prove that there do not exist an unbiased estimator, there is a book, Ferguson: "Mathematical Statistics - A Decision Theoretic Approach" which do have some examples of that kind of thing!

— kjetil b halvorsen

I imagine that the regularity conditions for the bootstrap will be violated with the distribution functions that whuber considers in his answer. Michael, can you comment?

— StasK

@Stas As I pointed out, my functions can be made to look very "nice" by mollifying them. They can also be generalized to mollifications of large finite mixtures of atoms. The class of such distributions is dense in all distributions on the unit interval, so I don't think bootstrap regularity would be involved here.

— whuber

I believe quantile regression will give you a consistent estimator of the median. Given the model $Y = \alpha + u$ . And you want to estimate $\text{med}(y) = \text{med}(\alpha + u) = \alpha + \text{med}(u)$ since $\alpha$ is a constant. All you need is the $\text{med}(u) = 0$ which should be true so long as you have independent draws. However, as far as unbiasedness, I don't know. Medians are difficult.

— Francis
source

See @whuber 's answer

— Peter Flom - Reinstate Monica