当只有汇总统计信息可用时，如何进行估算？

这部分是由于以下问题及其后续讨论引起的。

假设观察到iid样本。目的是估计。但是原始样品不可用。相反，我们拥有的是样本一些统计信息。假设是固定的。我们如何估算？在这种情况下，最大似然估计器是什么？ $X_i\sim F(x,\theta)$ $\theta$ $T_1,...,T_k$ $k$ $\theta$

estimation maximum-likelihood

— mpiktas
source

如果已知函数

T_{i} = f (X_{i})

$T_i=f(X_i)$ ，则可以记下的分布，并以通常的方式得出最大似然估计量。但是您尚未确定什么？

f

$f$

T_{i}

$T_i$

T_{i}

$T_i$

— 斯蒂芬·洛朗

我对已知感兴趣。这就是我说是样本统计信息时的意思。

T_{i} = f (X_{1}, . . ., X_{n})

$T_i=f(X_1,...,X_n)$

f

$f$

T_{i}

$T_i$

— mpiktas 2012年

那么和什么？

T_{i}

$T_i$

T_{j}

$T_j$

— 斯蒂芬·洛朗

抱歉，应该是，而不是一个

。我们有几个函数

，它们将整个样本作为参数。

f_{i}

$f_i$

f

$f$

f_{i}

$f_i$

— mpiktas 2012年

这不是为最大熵设计的吗？

— 概率

在这种情况下，您可以在以下假设/约束下考虑似然性的ABC近似值（并因此考虑MLE）：

假设。原始样本大小是已知的。 $n$

考虑到频繁性估计量的收敛性取决于样本量，因此这不是一个疯狂的假设，因此，在不知道原始样本量的情况下，无法获得任意好的估计量。

这个想法是根据的后验分布生成一个样本，并且为了产生MLE的近似值，您可以使用[1]中的重要性抽样技术，或者考虑上的统一先验，并支持[2]中的合适集合。 $\theta$ $\theta$

我将在[2]中描述该方法。首先，让我描述一下ABC采样器。

ABC采样器

令为生成样本的模型，其中为参数（待估计），为统计量（样本的函数），为观察到的统计量在ABC行话这就是所谓的汇总统计，是一个度量，上的先验分布和的容差。然后，可以如下实现ABC拒绝采样器。 $f(\cdot\vert\theta)$ $\theta \in \Theta$ $T$ $T_0$ $\rho$ $\pi(\theta)$ $\theta$ $\epsilon>0$

从采样。 $\theta^*$ $\pi(\cdot)$
从模型生成大小为的样本。 $\bf{x}$ $n$ $f(\cdot\vert\theta^*)$
计算。 $T^*=T({\bf x})$
如果，则接受作为后面的模拟。 $\rho(T^*,T_0)<\epsilon$ $\theta^*$ $\theta$

该算法根据给定的的后验分布生成近似样本。因此，最好的情况是统计量足够但可以使用其他统计量。有关此内容的详细说明，请参见本文。 $\theta$ $T({\bf x})=T_0$ $T$

现在，在一个通用框架中，如果使用统一的先验，且先验包含MLE，则最大后验（MAP）与最大似然估计器（MLE）重合。因此，如果您在ABC采样器中考虑适当的先验先验，则可以生成后验分布的近似样本，其MAP与MLE一致。其余步骤包括估算此模式。这个问题已经在CV中讨论过，例如在“多元模式的计算有效估计”中。

一个玩具的例子

令为的样本并假定此样本中唯一可用的信息为。令为的欧几里得度量，。下述R代码示出了如何使用上述使用模拟样品与所描述的方法，以获得一个近似MLE和，大小的后验分布的样本，均匀先验上，以及用于估计后样本模式（MAP = MLE）的核密度估计器。 $(x_1,...,x_n)$ $N(\mu,1)$ $\bar{x}=\dfrac{1}{n}\sum_{j=1}^n x_j$ $\rho$ ${\mathbb R}$ $\epsilon=0.001$ $n=100$ $\mu=0$ $1000$ $\mu$ $(-0.3,0.3)$

rm(list=ls())

# Simulated data
set.seed(1)
x = rnorm(100)

# Observed statistic
T0=mean(x)

# ABC Sampler using a uniform prior 

N=1000
eps = 0.001
ABCsamp = rep(0,N)
i=1

while(i<N+1){
u = runif(1,-0.3,0.3)
t.samp = rnorm(100,u,1)
Ts = mean(t.samp)
if(abs(Ts-T0)<eps){
ABCsamp[i]=u
i=i+1
print(i)
}
}

# Approximation of the MLE
kd = density(ABCsamp)
kd$x[which(kd$y==max(kd$y))]

如您所见，使用较小的公差，我们可以得到非常好的MLE近似值（在这个琐碎的示例中，只要有足够的统计量就可以计算得出）。重要的是要注意汇总统计的选择至关重要。分位数通常是汇总统计信息的不错选择，但并非所有选择都能产生良好的近似值。可能的情况是，摘要统计信息不是非常有用，因此近似值的质量可能很差，这在ABC社区中是众所周知的。

更新：Fan等人最近发表了类似的方法。（2012）。有关本文的讨论，请参见此条目。

— 社区
source

（+1）用于陈述有关MLE与MAP之间关系的正确结果，并用于最后一段中的警告（除其他原因外）。为了使警告更明确，如果手头的统计数据是辅助统计数据或几乎是辅助统计数据，则此方法（或任何方法）将失败。可以考虑你的玩具例子，

，例如。

T = \sum_{i} (X_{i} - \bar{X})^{2}

$T = \sum_i (X_i - \bar X)^2$

— 主教

+1 @procrastinator我要简单地说，是的，如果模型适用，您可以使用足够的统计信息。但是您的广泛答案似乎涵盖了这一点。

— Michael R. Chernick

一个简单的问题，您提到统一优先级必须在其支持中包含MLE。但是MLE是一个随机变量，它只是随机限制的，即它可以以正概率出现在任何有界集合之外。

— mpiktas 2012年

@mpiktas对于特定样本，您必须选择统一先验的适当支持。如果您更改样本，则可能会更改。重要的是要注意，这不是贝叶斯方法，我们只是将其用作数值方法，因此在选择先验条件时没有问题。先验的支持越小越好。这将提高ABC采样器的速度，但是当您的信息模糊不清时，例如您对MLE的位置没有可靠的线索，那么您可能需要更大的支持（并会付出代价）。

@mpiktas在玩具例如，可以事先与支撑件上使用，例如，均匀的

或统一之前与支持

获得相同的结果，但具有非常不同的接受率。正如您所提到的，鉴于MLE不受随机限制，因此选择这种支持是临时性的，并且不可能提出通用用途的支持。可以将这种选择视为必须在每种特定情况下进行调整的方法的杠杆。

(- 1000000, 1000000)

$(-1000000,1000000)$

(0.1, 0.15)

$(0.1,0.15)$

这完全取决于这些的联合分布是否已知。如果是，例如，则可以进行基于此的联合分布的最大似然估计。请注意，除非足够，否则与使用原始数据 $T_i$

(T_{1}, \dots, T_{k}) \sim g (t_{1}, \dots, t_{k} | θ, n)

$(T_1,\ldots,T_k)\sim g(t_1,\ldots,t_k|\theta,n)$

(T_{1}, \dots, T_{k})

$(T_1,\ldots,T_k)$

。它将必然效率较低，并且具有较大的渐近方差。

(X_{1}, \dots, X_{n})

$(X_1,\ldots,X_n)$

如果上述密度为关节分布不可用，则Procrastinator提出的解决方案是非常合适的。 $g$

— 西安
source

（频率）最大似然估计器如下：

$F$

l (θ | T) = \exp (- ψ (θ) + ⟨ T, ϕ (θ) ⟩),

$l(\theta| T) = \exp\left( -\psi(\theta) + \langle T,\phi(\theta) \rangle \right),$

⟨ \cdot, \cdot ⟩

$\langle \cdot, \cdot\rangle$

T

$T$

ψ (\cdot)

$\psi(\cdot)$

ϕ (\cdot)

$\phi(\cdot)$ 连续两次可微。

实际使可能性最大化的方式主要取决于能否以一种易于处理的方式分析性地写入可能性。如果可能的话，您将可以考虑一般的优化算法（newton-raphson，simplex ...）。如果您没有可预测的可能性，则可能会发现像EM算法中那样更容易计算条件期望，这在相当可承受的假设下也会产生最大似然估计。

最好

— 朱利安·斯特尼曼
source

对于我感兴趣的问题，无法进行分析处理。

— mpiktas 2012年

难处理性的原因决定了优化方案。但是，EM的扩展通常可以避免这些原因中的大多数。我认为我不可以看到模型本身，而不能更具体地建议我

— 朱利安·斯特里曼