估计学生t分布的参数

23

学生t分布参数的最大似然估计是什么？它们是否以封闭形式存在？快速的Google搜索没有给我任何结果。

今天，我对单变量情况很感兴趣，但是可能我将不得不将模型扩展到多个维度。

编辑：我实际上对位置和比例参数最感兴趣。现在，我可以假设自由度参数是固定的，并且可能以后使用某种数字方案来找到最佳值。

estimation maximum-likelihood t-distribution

— 格岑尼奥
source

据我所知，它们并不以封闭形式存在。可能需要使用梯度上升方法。

— 2013年

尽管Student t分布具有单个参数，但是您可以使用复数形式的“参数”。您是否可能包括位置和/或比例参数？

— ub

@whuber，感谢您的评论，我的确对位置和比例参数感兴趣，而不是对自由度感兴趣。

— Grzenio

与

n

$n$ 数据，为位置的参数的可能性方程是代数相当于一个多项式度的

2 n - 1

$2n-1$ 。您是否认为以“封闭形式”给出此类多项式的零？

— ub

@whuber，小n是否有特殊情况，例如n = 3？

— Grzenio

27

对于T，不存在闭合形式，但是通过EM算法，这是一种非常直观且稳定的方法。现在，由于学生是法线的比例混合，因此您可以将模型编写为

y_{i} = μ + e_{i}

$y_i=\mu+e_i$

其中和 $e_i|\sigma,w_i \sim N(0,\sigma^2w_i^{-1})$ 。这意味着，有条件上的MLE只是加权平均值和标准偏差。这是“ M”步骤 $w_i\sim Ga(\frac{\nu}{2}, \frac{\nu}{2})$ $w_i$

\hat{μ} = \frac{\sum_{i} w_{i} y_{i}}{\sum_{i} w_{i}}

$\hat{\mu}=\frac{\sum_iw_iy_i}{ \sum_iw_i}$

{\hat{σ}}^{2} = \frac{\sum_{i} w_{i} (y_{i} - \hat{μ})^{2}}{n}

$\hat{\sigma}^2= \frac{\sum_iw_i(y_i-\hat{\mu})^2}{n}$

现在，“ E”步骤用给定所有数据的期望值替换。给出为： $w_i$

{\hat{w}}_{i} = \frac{(ν + 1) σ^{2}}{ν σ^{2} + (y_{i} - μ)^{2}}

$\hat{w}_i=\frac{(\nu+1) \sigma^2 }{\nu \sigma^2 +(y_i-\mu)^2}$

因此，您只需重复上述两个步骤，就可以用当前参数估计值替换每个方程式的“右侧”。

这很容易地示出了如与大残差观测接收在计算为位置更少重量t分布的稳健性特性，和有界的影响在计算。通过“有限影响”的意思是所述估计的贡献从第i个观测不能超过给定阈值（这是在EM算法）。另外，是“健壮性”参数，因为增加（减小）将导致更多（更少）均匀的权重，因此对异常值具有更高（更少）的敏感性。 $\mu$ $\sigma^2$ $\sigma^2$ $(\nu+1)\sigma^2_{old}$ $\nu$ $\nu$

需要注意的一件事是，对数似然函数可能具有多个固定点，因此EM算法可能会收敛到局部模式而不是全局模式。当location参数开始时离离群值太近时，很可能会找到本地模式。因此，从中位数开始是避免这种情况的好方法。

— 概率逻辑
source

1

棒极了。一段时间以来，我一直在考虑让学生适应使用EM的想法，这恰恰是因为它看起来像是高斯混合体。您是否对所提供的更新方程式进行了引用/引用？拥有该功能将进一步提高此职位的威力。

— 2013年

实际上，我想我已经为学生t的混合模型找到了自己（我将以此为材料）：学生t分布的混合作为严格注册的可靠框架。Demetrios Gerogiannis，Christophoros Nikou，Aristidis Likas。图像与视觉计算27（2009）1285–1294。

— 2013年

我对这个问题的回答中的链接具有一个非常通用的EM框架，用于处理大量的似然函数-分位数，学生，逻辑和一般回归。您的具体情况是没有协变量的“回归”-仅拦截-因此非常适合此框架。此外，您可以将大量惩罚条款纳入此框架。

— 概率

@probabilityislogic真的很整洁！如果

也不知道怎么办？您还可以提供参考吗？也许最好在这里：stats.stackexchange.com/questions/87405/…–

ν

$\nu$

— Quartz

我认为此引用比@Pat的引用更好。“使用EM及其扩展，ECM和ECME对t分布进行ML估计。” 由于局部最佳问题，在运行EM算法时，必须非常小心选择初始参数值。换句话说，您必须了解一些有关数据的知识。通常，我避免在研究中使用t分布。

4

以下论文完全解决了您发布的问题。

Liu C.和Rubin DB1995。“使用EM及其扩展ECM和ECME对t分布进行ML估计。” 中国统计月刊5：19–39。

无论有无自由度知识，它都能提供通用的多元t分布参数估计。该过程可以在第4节中找到，它与一维概率概率逻辑非常相似。

— 米奇希
source

7

听起来您所参考的论文包含对该问题的有用答案，但是当答案是独立的且不需要外部资源时（例如，在这里，OP或读者可能无权访问此论文）会更好。）。您可以充实您的答案以使其更独立吗？

— Patrick Coulombe 2015年

3

\frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} {(1 + \frac{t^{2}}{ν})}^{- \frac{ν + 1}{2}} = \frac{Γ (\frac{ν + 1}{2})}{\sqrt{ν π} Γ (\frac{ν}{2})} \exp {[\ln (1 + \frac{t^{2}}{ν})] [- \frac{ν + 1}{2}]}

$\frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \left(1+\frac{t^2}{\nu} \right)^{-\frac{\nu+1}{2}} = \frac{\Gamma(\frac{\nu+1}{2})} {\sqrt{\nu\pi}\,\Gamma(\frac{\nu}{2})} \exp \left \{ \left [ \ln \left(1+\frac{t^2}{\nu} \right) \right ] \left [ {-\frac{\nu+1}{2}} \right ]\right \}$ and take the ln of that, you will get a nonlinear equation in

ν

$\nu$ . Even if you manage to get a solution, then depending on the number of factors (terms)

n

$n$ , the MLE equation is going to depend on this

n

$n$ in a nontrivial way. All that dramatically simplifies, of course, when

ν \to \infty

$\nu \rightarrow \infty$ , when the power approaches an exponential (Gaussian PDF).

— Lucozade
source

1

Even in the Gaussian setting the log likelihood is nonlinear in its parameters :-).

— whuber

I am actually interested in location and scale parameters, more than in the degrees of freedom. Please see edit to the question, and sorry for being not precise.

— Grzenio

2

I have recently discovered a closed-form estimator for the scale of the Student's t distribution. To the best of my knowledge, this is a new contribution, but I would welcome comments suggesting any related results. The paper describes the method in the context of a family of "coupled exponential" distributions. The Student's t is referred to as the Coupled Gaussian, where the coupling term is the reciprocal of the degree of freedom. The closed-form statistic is the geometric mean of the samples. Assuming a value of the coupling or degree of freedom, an estimate of the scale is determined by multiplying the geometric mean of the samples by a function involving the coupling and a harmonic number.

https://arxiv.org/abs/1804.03989 Use of the geometric mean as a statistic for the scale of the coupled Gaussian distributions, Kenric P. Nelson, Mark A. Kon, Sabir R. Umarov

— Kenric
source