M估计器收敛到真实均值的条件

10

给定来自高斯分布和M估计量的iid样本，，上的哪些属性足以保证的概率？是是严格凸和严格递增足够了吗？ $X_1,...,X_n \sim N(\mu,\sigma)$ $\mu_m = \underset{a}{\operatorname{argmin}} \sum\rho(|X_i-a|)$ $\rho$ $\mu_m \rightarrow \mu$ $\rho$

estimation

— 毛虫
source

由于您可以取，然后是样本均值，这意味着它甚至可以不是严格凸的，而是严格增加的，因此...我将严格凸或严格地增加似乎已经足够了，尽管还需要证明这一点。直觉上严格的凸度可确保唯一的全局最小值，对于严格增加凸度，高斯假设至关重要。

ρ (x) = x

$\rho(x) = x$

μ_{m}

$\mu_m$

— Dmitrij Celov

1

纸张凸过程minimisers渐近由Hjort和波拉德可能有助于这里，虽然它不擅长于高斯分布，并且其认为对比度功能，即一个更一般的形式，尽管它们的符号是。除了 in凸性，在某种意义上，它们还需要 in在周围，这与数据分布有关。因此，不是简单地说是凸的或递增的，而是如果您将定理限制为高斯分布和 $\rho(x,a)$ $g(y,t)$ $g$ $t$ $g$ $t$ $\theta_0$ $\rho$ $g$ 要获得您指定的表格，您可以获得一套更整洁的条件。为了完整起见，我将在这里重写它们的定理，稍作解释：

假设我们有

$Y,Y_{1},Y_{2},\ldots$ 来自分布 $F$
感兴趣的参数 $\theta_{0}=\theta(F)\in\cal{R}^{p}$
$\theta_{0}\in\arg\min_{t\in\cal{R}^{p}}\mathbb{E} g(Y,t)$ ，其中在是凸的。 $g(y,t)$ $t$
我们的“弱扩张”在左右：对于在和下均值为零的为正定矩阵。 $g(y,t)$ $t$ $\theta_{0}$ $g (y, θ_{0} + t) - g (y, θ_{0}) = D (y)^{T} t + R (y, t),$ $g(y,\theta_{0}+t)-g(y,\theta_{0})=D(y)^{T}t+R(y,t),$ $D(y)$ $F$ $E R (Y, t) = \frac{1}{2} t^{T} J t + o ({| t |}^{2}), as t \to 0$ $\mathbb{E} R(Y,t)=\frac{1}{2}t^{T}Jt+o(\left|t\right|^{2}),\mbox{ as }t\to0$ $J$
$\mbox{Var}[ R(Y,t) ]=o(\left|t\right|^{2})$ 如。 $t\to0$
$D(Y)$ 具有有限协方差矩阵。 $K=\int D(y)D(y)^{T}\, dF(y)$

然后任何估计量是 -与，并且渐近于 $\hat{\theta}_{n}\in\arg\min_{\theta\in\cal{R}^{p}}\sum_{i=1}^{n}g(Y_{i},t)$ $\sqrt{n}$ $\theta_{0}$

\sqrt{n} ({\hat{θ}}_{n} - θ_{0}) \overset{d}{\to} N_{p} (0, J^{- 1} K J^{- 1}) .

$\sqrt{n}\left(\hat{\theta}_{n}-\theta_{0}\right)\stackrel{d}{\rightarrow}\mathcal{N}_{p}(0,J^{-1} K J^{-1}).$

— 戴维
source

0

这不会是一个答案，因为它将使您的问题减少到另一个问题，但是我认为这可能很有用。您的问题基本上是关于M估计量的一致性。因此，首先我们可以看一下一般结果。这是范德法特书（定理5.7，第45页）的结果：

定理令为随机函数，令为的固定函数，使得对于每个 $M_n$ $M$ $\theta$ $\varepsilon>0$

sup_{θ \in Θ} | M_{n} (θ) - M (θ) | \overset{P}{\to} 0,

$\sup_{\theta\in\Theta}|M_n(\theta)-M(\theta)|\xrightarrow{P}0,$

sup_{θ : d (θ, θ_{0}) \geq ε} M (θ) < M (θ_{0}) .

$\sup_{\theta:d(\theta,\theta_0)\ge\varepsilon} M(\theta)<M(\theta_0).$

然后，任何带有的估计量收敛到概率 $\hat\theta_n$ $M_n(\hat\theta_n)\ge M_n(\theta_0)-o_P(1)$ $\theta_0$

在您的情况下，和 $\theta_0=\mu$ $M(\theta)=E\rho(|X-\theta|)$ $M_n(\theta)=\frac{1}{n}\sum \rho(|X_i-\theta|)$

这里的关键条件是一致收敛。范德法特在第46页中说

对于平均值（这是您的情况），此条件等效于函数（在您的情况下，）为 Glivenko -Canteli。一组简单的充分条件是是紧致的，对于每个，函数都是连续的，并且>由可积函数主导。 $\{m_\theta, \theta\in\Theta\}$ $m_\theta=\rho(|x-\theta|)$ $\Theta$ $\theta\to m_\theta(x)$ $x$

在Wooldridge中，此结果被公式化为定理，称为大数均匀弱定律，第347页（第一版），定理12.1。它仅在van der Vaart所说的内容上增加了可测量性要求。

在您的情况下，您可以安全地为某些选择，因此您需要证明存在函数使得 $\Theta=[\mu-C,\mu+C]$ $C$ $b$

| ρ (| x - θ |) | \leq b (x)

$|\rho(|x-\theta|)|\le b(x)$

对于所有，例如。凸函数理论在这里可能会有所帮助，因为您基本上可以接受 $\theta\in\Theta$ $Eb(X)<\infty$

b (x) = sup_{θ \in Θ} | ρ (| x - θ |) | .

$b(x)=\sup_{\theta\in\Theta}|\rho(|x-\theta|)|.$

如果此函数具有不错的属性，那么您就很好了。

— mpiktas
source