我们曾经使用最大似然估计吗？

14

我想知道统计中是否曾经使用过最大似然估计。我们学习了它的概念，但我不知道它何时实际使用。如果我们假设数据的分布，我们会找到两个参数，一个用于平均值，一个用于方差，但是您实际在实际情况下使用它吗？

有人可以告诉我一个简单的例子吗？

estimation maximum-likelihood

— 用户名
source

33

它

the

$\textit{the}$ 最普遍的估计方法。

— JohnK

3

我试图问我们什么时候不使用MLE

— Haitao Du

4

逻辑回归。泊松回归。当错误被假定为正常时，OLS是MLE。伽玛回归。确实是任何经典的GLM。从正常人群中估算平均值。通过一系列二项式试验估算成功概率。估计泊松事件发生率。我可以继续...

— GoF_Logistic

4

对我们站点的这种非常狭窄的搜索产生了数百个实际用途的示例。

— ub

6

@ hxd1011 例如，即使您使用的估算器可能恰好与MLE估算器相符，当您不使用MLE的方法来获取估算值的方差或计算置信度，预测或公差区间时，也不会使用MLE。例如，当您运行任何t检验时，您没有使用MLE。应用无偏估计量时，您通常不使用它。从哲学上讲，当您关心损失函数或具有先验分布时，就不会使用MLE。

— ub

25

我想知道统计中是否曾经使用过最大似然估计。

当然！实际上很多-但并非总是如此。

我们学习了它的概念，但我不知道它何时实际使用。

当人们拥有参数分布模型时，他们通常会选择使用最大似然估计。当模型正确时，最大似然估计器将具有许多方便的属性。

举一个例子-广义线性模型的使用非常普遍，在这种情况下，描述均值的参数由最大似然估计。

可能会发生某些参数是通过最大似然估计的，而另一些则不是。例如，考虑过度分散的Poisson GLM －不能通过最大似然来估计分散参数，因为在这种情况下MLE没有用。

如果我们假设数据的分布，我们找到两个参数

好吧，有时您可能有两个，但是有时您有一个参数，有时是三个或四个或更多。

一个用于均值，另一个用于方差，

您是否正在考虑某个特定模型？这并非总是如此。考虑估计指数分布，泊松分布或二项式分布的参数。在每种情况下，都有一个参数，方差是描述平均值的参数的函数。

或考虑具有三个参数的广义伽玛分布。或四参数beta分布，它具有（也许不足为奇）四个参数。还应注意，（取决于特定的参数设置）平均值或方差或两者均可能不是由单个参数表示，而是由多个参数的函数表示。

例如，伽玛分布，其中三个参数化具有相当普遍的用途- 两种最常见它们具有的均值和方差都是两个参数的函数。

通常，在回归模型，GLM或生存模型（包括许多其他模型类型）中，模型可能取决于多个预测变量，在这种情况下，与该模型下每个观察值相关的分布可能具有其自己的参数之一（或甚至与许多预测变量（“独立变量”）相关的参数。

— Glen_b-恢复莫妮卡
source

5

“当人们有一个参数分布模型时。” 不要忘记非参数最大似然估计，以包括经验似然。

— 马克·L·斯通

3

@Mark相对来说比较少见。我会在回答中加一个字。

— Glen_b-恢复莫妮卡

即使我们假设分布是正态的，是否也可以使用最大似然估计？我认为我们不需要，但我们仍然可以使用它，对吗？

— user122358 '17

@ user122358 Glen和Mark已经回答了您。您可以假设是否分配。在大多数情况下，您会假设分布，从而得出似然函数。

— HelloWorld

3

“当人们有一个参数分布模型时。” 不要忘记半参数最大似然估计，以包括部分似然。;）

— Scortchi-恢复莫妮卡

8

考虑到数据分布的假设，虽然最大似然估计器看起来有些可疑，但通常使用拟最大似然估计器。这个想法是从假设分布开始并求解MLE，然后删除显式的分布假设，而是查看估算器在更一般的条件下的性能。因此，准MLE只是成为获得估算器的一种聪明方法，然后大量工作便推导出了估算器的属性。由于丢弃了分布假设，因此准MLE通常没有良好的效率属性。

作为玩具例子，假设有一个独立同分布样本，并且您想要一个的方差的估计量。你可以通过假设开始，使用正常的PDF写的可能性，并且求解argmax以获得。然后我们可以问一些问题，例如在什么条件下 $x_1, x_2, ..., x_n$ $X$ $X \sim N (\mu, \sigma^2)$ $\hat\sigma^2 = n^{-1}\sum (x_i - \bar x)^2$ 一致的估计，是公正的（它不是），是N叉一致的，什么是它的asypmtotic分配等 $\hat\sigma^2$

— 伊戈尔
source

1

同样，您可以根据准MLE的直观检查此线程。

— 理查德·哈迪

5

最大似然估计通常在机器学习中用于训练：

神经网络，例如我们可以使用MLE来估计神经网络权重吗？
线性，逻辑回归和多类逻辑回归，例如，为什么不能使用相同的方法估算线性和逻辑回归系数？
条件随机场（CRF），例如https://www.coursera.org/learn/probabilistic-graphical-models-3-learning/lecture/oKJ1x/maximum-likelihood-for-conditional-random-fields
隐藏的马尔可夫模型（HMM），例如https://en.wikipedia.org/w/index.php?title=Hidden_Markov_model&oldid=768811108#Learning

请注意，在某些情况下，您倾向于添加一些正则化，有时它等效于最大后验估计，例如，为什么套索罚分等于先验的双指数（Laplace）？。

— 弗兰克·德农库特
source

3

有人可以告诉我一个简单的例子吗？

一个非常典型的例子是逻辑回归。逻辑回归是机器学习中常用的一种对数据点进行分类的技术。例如，逻辑回归可以用于对电子邮件是否为垃圾邮件进行分类或对某人是否患有疾病进行分类。

具体地说，逻辑回归模型说的是数据点的概率 $x_i$ 在第1类中的内容如下： $h_\theta(x_i) = P[y_i = 1] = \frac{1}{1+e^{-\theta^T x_i}}$

The parameter vector $\theta$ is typically estimated using MLE.

Specifically, using optimization methods, we find the estimator $\hat\theta$ such that the expression $-\sum_{i=1}^n y_i\log(h_\hat\theta(x_i)) + (1-y_i)\log(1-h_{\hat\theta}(x_i))$ is minimized. This expression is the negative log likelihood, so minimizing this is equivalent to maximizing the likelihood.

— user35734
source

1

We are using MLE all the time, but we may not feel it. I will give two simple examples to show.

Example 1

If we observe coin flip result, with $8$ head out of $10$ flips (assuming iid. from Bernoulli), how to guess the parameter $\theta$ (prob of head) of the coin? We may say $\theta=0.8$ , using "counting".

Why use counting? this is actually implicitly using MLE! Where the problem is

\underset{θ}{Maximize} θ^{8} (1 - θ)^{2}

$\underset \theta {\text{Maximize}}~~~\theta^{8}(1-\theta)^{2}$

To solve the equation, we will need some calculus, but the conclusion is counting.

Example 2

How would we estimate a Gaussian distribution parameters from data? We use empirical mean as estimated mean and empirical variance as estimated variance, which is also coming from MLE!.

— Haitao Du
source

6

Example 1 is also a Bayes solution and a method of moments (MM) solution (and probably it's the solution using other procedures as well). Example 2 is the MM solution. It would be much more convincing to exhibit procedures that are exclusively MLE--for otherwise one wouldn't ever need MLE.

— whuber

Why example 1 becomes a Bayes solution and Example 2 becomes the MM solution? What is MM, by the way?

— user122358

@ user122358 MM是瞬间的方法。参见此处，例如：en.wikipedia.org/wiki/Method_of_moments_

— statistics

0

无线通信中使用的一些最大可能性：

从有噪声的接收信号中解码数字数据，并带有或不带有冗余代码。
估计接收器中的时间，相位和频率偏移。
传播信道（的参数）的估计。
估计延迟，到达角和多普勒频移（例如，雷达）。
估计移动位置（例如GPS）。
估计用于所有分布式设置的同步的时钟偏移量。
多种校准程序。

— 杜邦
source