经验似然的一些说明性应用是什么？

我听说过欧文的经验可能性，但是直到最近我才对它感兴趣，直到我在一篇感兴趣的论文中碰到了它（Mengersen等，2012）。

在我的努力去理解它，我已经收集所观察到的数据的似然性被表示为

L = \prod_{i} p_{i} = \prod_{i} P (X_{i} = x) = \prod_{i} P (X_{i} \leq x) - P (X_{i} < x)

$L = \prod_i p_i = \prod_i P(X_i=x) = \prod_i P(X_i \le x) - P(X_i \lt x)$ ，其中

\sum_{i} p_{i} = 1

$\sum_i p_i = 1$ 且

p_{i} > 0

$p_i > 0$ 。

但是，我无法在将这种表示法与如何用于对观察结果进行推论的连接上进行精神上的飞跃。也许我太扎根于考虑模型的似然参数？

无论如何，我一直在Google学术搜索中寻找一些采用经验可能性的论文，这些论文将有助于我将这个概念内化……无济于事。显然，有Art Owen的《Empirical Likelihood》一书，但Google图书遗漏了所有可口的东西，而且我在图书馆之间借阅的过程仍很缓慢。

同时，有人可以请我指出清楚说明经验可能性的前提以及如何应用的论文吗？EL本身的说明性描述也将受到欢迎！

— 沙美尔
source

尤其是计量经济学家爱上了EL。如果您正在寻找应用程序，那么该文献可能是更好的参考资料之一。

— 红衣主教2012年

Answers:

我认为没有哪个地方比欧文的书更好地了解经验可能性。

考虑一种实用方法是在观察到的数据点上进行多项式分布。因此，似然率是概率矢量的函数，参数空间实际上是概率矢量的维单形，而MLE则将权重设为 $L = L(p_1, \ldots, p_n)$ $x_1, \ldots, x_n$ $(p_1, \ldots, p_n)$ $n$ $1/n$ 在每个观察值上（假设它们都不同）。参数空间的维数随观察数的增加而增加。

$\mu$ $p = (p_1, \ldots, p_n)$

μ (p) = \sum_{i = 1}^{n} x_{i} p_{i},

$\mu(p) = \sum_{i=1}^n x_i p_i,$

L_{prof} (μ) = max {L (p) ∣ μ (p) = μ} .

$L_{\text{prof}}(\mu) = \max \{ L(p) \mid \mu(p) = \mu \}.$ 然后，我们可以计算形式的置信区间与。这里是经验平均值，。间隔应该仅被称为（轮廓）似然性间隔，因为没有预先作出关于覆盖范围的声明。随着的减小，间隔（是的，它们是间隔）形成一个嵌套的，增加的置信区间。例如，可以使用渐近理论或自举来校准以达到95％的覆盖率。

I_{r} = {μ ∣ L_{prof} (μ) \geq r L_{prof} (\bar{x})}

$I_r = \{ \mu \mid L_{\text{prof}}(\mu) \geq r L_{\text{prof}}(\bar{x}) \}$

r \in (0, 1)

$r \in (0,1)$

\bar{x}

$\bar{x}$

L_{prof} (\bar{x}) = n^{- n}

$L_{\text{prof}}(\bar{x}) = n^{-n}$

I_{r}

$I_r$

r

$r$

I_{r}

$I_r$

r

$r$

Owen的书对此进行了详细介绍，并提供了对更复杂的统计问题和其他感兴趣的参数的扩展。

— NRH
source

（+1）由于缺乏对本书的了解，因此始终可以从原始论文入手，以获取该理论的基础知识。和书一样，论文也写得很清楚。

— 红衣主教2012年

一些链接：（1）A. Owen（1988），单项功能的经验似然比置信区间，Biometrika，第一卷。75，第2号，第237-249页，（2）A. Owen（1990），经验似然比置信区域，Ann。统计员。，卷 18号 1，第90-120页（开放获取），以及（3）A. Owen（1991）线性模型的经验似然性，Ann。统计员。，卷 19号 4，第1725-1747页（开放式访问）。

— 红衣主教2012年

@cardinal太棒了！我本该想到的。

— Sameer 2012年

@NHS谢谢您的解释！只是要清楚一点，是的吗？另外，您能解释为什么吗？应该是吗？

L_{p r o f} (μ)

$L_{prof}(\mu)$

a r g m a x

$argmax$

p

$p$

L_{p r o f} (\bar{x}) = n^{n}

$L_{prof}(\bar{x})=n^n$

\prod_{i} n^{- 1} = n^{- n}

$\prod_i n^{-1} = n^{-n}$

— Sameer 2012年

@Sameer，现在纠正了错字。但是，它不是 argmax。它是通过以给定值最大化所有参数向量的似然性而获得的轮廓似然性。顺便说一句，有适当的大学访问权限，我从CRC获得了欧文书中各个章节的电子版本。

μ

$\mu$

— NRH 2012年

在计量经济学中，许多应用论文都假设，其中是数据向量，是已知的方程组，并且是未知参数。函数来自经济模型。目的是估计。

E [g (X, θ)] = 0

$E[g(X,\theta)] = 0$

X

$X$

g

$g$

q

$q$

θ \in Θ \subseteq R^{p}

$\theta \in \Theta \subseteq \mathbb{R}^p$

q \geq p

$q \geq p$

g

$g$

θ

$\theta$

在计量经济学中，对进行估计和推论的传统方法是使用广义矩量：其中是正定权重矩阵，经验可能性提供了GMM的替代估计量。这个想法是在使非参数似然性最大化时强制采用力矩条件作为约束。首先，修复。然后求解受 $\theta$

{\hat{θ}}_{GMM} = {argmin}_{θ \in Θ} {\bar{g}}_{n} (θ)^{'} W {\bar{g}}_{n} (θ)

$\hat{\theta}_\text{GMM} = \text{argmin}_{\theta \in \Theta} \; \bar{g}_n(\theta) 'W \bar{g}_n(\theta)$

W

$W$

{\bar{g}}_{n} (θ) := \frac{1}{n} \sum_{i = 1}^{n} g (X_{i}, θ) .

$\bar{g}_n(\theta) := \frac{1}{n} \sum_{i=1}^n g(X_i,\theta).$

θ

$\theta$

L (θ) = max_{p_{1}, \dots, p_{n}} \prod_{i = 1}^{n} p_{i}

$L(\theta) = \max_{p_1,\ldots,p_n} \; \prod_{i=1}^n p_i$

\sum_{i = 1}^{n} p_{i} = 1, p_{i} \geq 0, \sum_{i = 1}^{n} p_{i} \cdot g (X_{i}, θ) = 0.

$\sum_{i=1}^n p_i=1, \qquad p_i \geq 0, \qquad \sum_{i=1}^n p_i \cdot g(X_i,\theta) = 0.$ 这是“内部循环” '。然后最大化：事实证明，这种方法比GMM具有更好的高阶特性（请参阅Newey和Smith 2004，Econometrica），这是它比GMM更可取的原因之一。有关其他参考，请参见此处的Imbens和Wooldridge的注释和讲义（第15讲）。

θ

$\theta$

{\hat{θ}}_{EL} = {argmax}_{θ \in Θ} \log L (θ) .

$\hat{\theta}_\text{EL} = \text{argmax}_{\theta \in \Theta} \; \log L(\theta).$

当然，EL引起计量经济学关注的原因还有很多，但我希望这是一个有用的起点。经验平等模型在经验经济学中非常普遍。

— 艾尔莫尔
source

感谢您写出这样清晰，引人入胜的答案。欢迎来到我们的社区！

— ub

在生存分析中，Kaplan-Meier曲线是生存函数最著名的非参数估计量，其中表示事件发生时间的随机变量。基本上，是经验分配函数的泛化，它允许检查。如大多数实用教科书中所述，可以通过启发式获得。但是，它也可以正式推导为最大（经验）似然估计器。这里有更多细节。 $S(t) = Pr(T > t)$ $T$ $\hat{S}$

— 奥克拉姆
source