最大似然估计的标准误差是什么意思？

我是一名数学家，自学统计数据，尤其是在语言方面苦苦挣扎。

在我正在使用的书中，存在以下问题：

随机变量为为。（当然，你可以根据对这个问题的缘故一个参数采取任何分布）。然后五个值的样品，，，，中给出。 $X$ $\text{Pareto}(\alpha,60)$ $\alpha>0$ $14$ $21$ $6$ $32$ $2$

第一部分：“使用最大似然的方法中，发现一个估计的基于[样品]”。这没问题。答案是。 $\hat{\alpha}$ $\alpha$ $\hat{\alpha}\approx 4.6931$

但是然后：“给出的标准误差的估计值。” $\hat{\alpha}$

这是什么意思？由于只是一个固定的实数，因此我不知道它可能以什么方式出现标准错误。我是否要确定的标准偏差？ $\hat{\alpha}$ $\text{Pareto}(\hat{\alpha},60)$

如果您认为问题不清楚，那么此信息对我也有帮助。

maximum-likelihood

— 斯特凡
source

代表什么？

60

$60$

— Alecos Papadopoulos

您有的公式吗？这将帮助您估计其标准误差。

\hat{α}

$\hat \alpha$

— soakley 2014年

@Glen_b但是，如果这是下限，那么实现的样本的所有值怎么会变小？

— Alecos Papadopoulos

@Alecos这是一个很好的观点。我的评论没有道理。我已经把它删了。

— Glen_b-恢复莫妮卡2014年

@Alecos：是密度为。

Pareto (α, λ)

$\text{Pareto}(\alpha,\lambda)$

f (x) = \frac{α λ^{α}}{(λ + x)^{α + 1}}

$f(x)=\frac{\alpha\lambda^\alpha}{(\lambda+x)^{\alpha+1}}$

— Stefan

Answers:

另一个答案涵盖了标准错误的推导，我只是想用符号来帮助您：

您的困惑是由于这样一个事实，在统计数据中，我们使用完全相同的符号来表示Estimator（这是一个函数）和一个特定的估计（这是估计器在接收特定的实现样本作为输入时所取的值）。

因此和对于。因此，是随机变量的函数，因此随机变量本身肯定具有方差。 $\hat \alpha = h(\mathbf X)$ $\hat \alpha(\mathbf X = \mathbf x) = 4.6931$ $\mathbf x = \{14,\,21,\,6,\,32,\,2\}$ $\hat \alpha(X)$

在ML估计中，由于估计器的有限样本分布未知（无法得出），因此在许多情况下，我们可以计算的是渐近标准误差。

严格来说，没有渐近分布，因为它收敛到实数（在几乎所有ML估计的情况下都是真数）。但是数量收敛到一个正常的随机变量（通过应用中心极限定理）。 $\hat \alpha$ $\sqrt n (\hat \alpha - \alpha)$

符号混乱的第二点：大多数（如果不是全部）文本将写（“ Avar” =渐近方差“），而它们的含义是，即它们是指而不是 ... 的渐近方差...对于基本帕累托我们有分布 $\text {Avar}(\hat \alpha)$ $\text {Avar}(\sqrt n (\hat \alpha - \alpha))$ $\sqrt n (\hat \alpha - \alpha)$ $\hat \alpha$

Avar [\sqrt{n} (\hat{α} - α)] = α^{2}

$\text {Avar}[\sqrt n (\hat \alpha - \alpha)] = \alpha^2$

因此

Avar (\hat{α}) = α^{2} / n

$\text {Avar}(\hat \alpha ) = \alpha^2/n$

（但是您会发现写的是） $\text {Avar}(\hat \alpha ) = \alpha^2$

现在，在什么意义上，估计器具有“渐近方差”，因为正如所说的那样，它渐近地收敛为常数？好吧，从近似的意义上来说，是针对大型但有限的样本。即在“小”样本（其中“估计”是一个（通常）未知分布的随机变量）和“无限”样本之间的某个地方，其中“估计”是一个常数，这里有“大但有限的样本区域”，估算器尚未变为常数，并且其分布和方差以a回的方式导出，方法是首先使用中央极限定理推导 $\hat \alpha$ $Z = \sqrt n (\hat \alpha - \alpha)$ （由于CLT的原因是正常的），然后转过来写（向后退一步，将视为有限）显示了是正常随机变量的仿射函数，因此本身呈正态分布（始终近似）。 $\hat \alpha = \frac 1{\sqrt n} Z + \alpha$ $n$ $\hat \alpha$ $Z$

— 阿莱科斯·帕帕多普洛斯
source

+1用于区分和 -当然，表示法可能会不一致。

\hat{α}

$\hat{\alpha}$

\sqrt{n} (\hat{α} - α)

$\sqrt{n}(\hat{\alpha} - \alpha)$

— Nate Pope'3

$\hat{\alpha}$ （最大似然估计器）是随机样本的函数，随机样本（不是固定的）也是函数。可以从Fisher信息中获得的标准误差的估算值， $\hat{\alpha}$

I (θ) = - E [\frac{\partial^{2} L (θ | Y = y)}{\partial θ^{2}} |_{θ}]

$I(\theta) = -\mathbb{E}\left[ \frac{\partial^2 \mathcal{L}(\theta|Y = y)}{\partial \theta^2}|_\theta \right]$

其中是参数，是对数似然函数，条件是随机样本。直观上，Fisher信息指示围绕MLE的对数似然表面的曲率的陡度，因此提供的“信息” 量约为。 $\theta$ $\mathcal{L}(\theta|Y = y)$ $\theta$ $y$ $y$ $\theta$

对于具有单个实现的分布，已知对数似然： $\mathrm{Pareto}(\alpha,y_0)$ $Y = y$ $y_0$

\begin{aligned} L (α | y, y_{0}) & = \log α + α \log y_{0} - (α + 1) \log y \\ L^{'} (α | y, y_{0}) & = \frac{1}{α} + \log y_{0} - \log y \\ L^{″} (α | y, y_{0}) & = - \frac{1}{α^{2}} \end{aligned}

$\begin{aligned} \mathcal{L}(\alpha|y,y_0) &= \log \alpha + \alpha \log y_0 - (\alpha + 1) \log y \\ \mathcal{L}'(\alpha|y,y_0) &= \frac{1}{\alpha} + \log y_0 - \log y \\ \mathcal{L}''(\alpha|y,y_0) &= -\frac{1}{\alpha^2} \end{aligned}$ 插入Fisher信息的定义，对于样本最大似然估计器渐近分布为：其中是样本大小。因为是未知的，所以我们可以插入

I (α) = \frac{1}{α^{2}}

$I(\alpha) = \frac{1}{\alpha^2}$

{y_{1}, y_{2}, . . ., y_{n}}

$\{y_1, y_2, ..., y_n\}$

\hat{α}

$\hat{\alpha}$

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) = N (α, \frac{α^{2}}{n}), \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) = \mathcal{N}(\alpha,\frac{\alpha^2}{n}),~ \end{aligned}$

n

$n$

α

$\alpha$

\hat{α}

$\hat{\alpha}$ 以获得标准误差的估计值：

S E (\hat{α}) \approx \sqrt{{\hat{α}}^{2} / n} \approx \sqrt{{4.6931}^{2} / 5} \approx 2.1

$\mathrm{SE}(\hat{\alpha}) \approx \sqrt{\hat{\alpha}^2/n} \approx \sqrt{4.6931^2/5} \approx 2.1$

— 内特·波普
source

对于倒数第二行，，表示符号不正确。如果，则不会出现在右侧。相反，您希望

\begin{aligned} \hat{α} \overset{n \to \infty}{\sim} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned} \hat{\alpha} \overset{n \rightarrow \infty}{\sim} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)}) \end{aligned}$

n \to \infty

$n \to \infty$

n

$n$

\begin{aligned} \hat{α} \dot{\approx} N (α, \frac{1}{n I (α)}) \end{aligned}

$\begin{aligned}\hat{\alpha} \dot{\approx} \mathcal{N}(\alpha,\frac{1}{nI(\alpha)})\end{aligned}$

— user321627