三角形分布的MLE?


12

是否可以将常规的MLE程序应用于三角形分布?-我正在尝试,但是在数学上似乎一步一步被定义分布的方式所阻塞。我试图利用一个事实,即我知道c上下的样本数量(不知道c):如果n是样本总数,则这两个数字是cn和(1-c)n。但是,这似乎无助于推导。此刻的时刻给出了c的估计量,没有太大的问题。这里的MLE阻塞的确切性质是什么(如果确实存在)?

更多细节:

让我们考虑在,并在规定的分配由: [ 0 1 ] [ 0 1 ]c[0,1][0,1]

f(x;c)=2xc如果x <c如果c <= x,则
f(x;c)=2(1x)(1c)

让我们从这个分布中取 iid样本,以给定该样本的c的对数似然性为例:{ x i }n{xi}

l^(c|{xi})=i=1nln(f(xi|c))

然后,我尝试利用以下事实:给定的形式,我们知道样本将落在(未知),而将落在以上。恕我直言,这允许分解对数似然表达式的总和,从而:c n c 1 c n cfcnc(1c)nc

l^(c|{xi})=i=1cnln2xic+i=1(1c)nln2(1xi)1c

在这里,我不确定如何进行。MLE将涉及对数似然的导数wrt,但是我将作为求和的上限,这似乎阻止了这一点。我可以使用指标函数尝试另一种形式的对数可能性:çcc

l^(c|{xi})=i=1n{xi<c}ln2xic+i=1n{c<=xi}ln2(1xi)1c

但是,尽管狄拉克(Dirac)三角洲可以允许继续(尽管仍然有指标,因为我们需要推导产品),但得出指标也不容易。

因此,在这里我被限制在MLE中。任何的想法?


如果这是针对某些学科的,请添加自学标签。如果不是,请说明问题是如何产生的。
Glen_b-恢复莫妮卡

感谢更新; 由于它大大减少了要处理的案件的范围,因此更容易说出明智的话。您能否考虑我之前的评论。要么属于自学标签,要么不属于自学标签,无论哪种情况,我都问过您是否愿意做。
Glen_b-恢复莫妮卡

这不是为了家庭作业或上课。它出现在我的工作中。我们从矩量法中得出另一个估计值,但我试图在此更深入地了解MLE的情况。
Frank

好的; 这给了我更多的余地。看到我更新的答案。我可能会很快添加更多内容
Glen_b-恢复莫妮卡

添加了参考资料/链接
Glen_b-莫妮卡(Monica)恢复2013年

Answers:


10

是否可以将常规的MLE程序应用于三角形分布?

当然!尽管有一些奇怪的地方要处理,但在这种情况下可以计算MLE。

但是,如果通过“通常的过程”表示“取对数似然的导数并将其设置为零”,则可能不这样。

这里的MLE阻塞的确切性质是什么(如果确实存在)?

您是否尝试过绘制可能性?

-

澄清问题后的后续行动:

关于得出可能性的问题不是闲聊,而是问题的核心。

MLE将涉及衍生产品

不会。MLE涉及找到函数的argmax。那只涉及在某些条件下找到导数的零点……在这里不成立。充其量,如果您设法做到这一点,您将确定一些局部最小值

正如我前面的问题所建议的那样,请看一下可能性。

这是一个样本,其中10个观测值中的个来自(0,1)上的三角形分布:y

0.5067705 0.2345473 0.4121822 0.3780912 0.3085981 0.3867052 0.4177924
0.5009028 0.8420312 0.2588613

这是该数据上的似然和对数似然函数: c三角峰的可能性

三角峰的对数似然

灰线标记数据值(我可能应该已经生成了一个新样本来更好地分离这些值)。黑点表示这些值的似然度/对数似然度。

这是最大可能性附近的放大图,以查看更多详细信息:

可能性的细节

从可能性中可以看到,在许多阶数统计中,可能性函数具有尖锐的“角”-不存在导数的点(这并不奇怪-原始pdf有一个角,我们采用pdf的产品)。三角形分布就是这种情况(在订单统计处有尖点),并且最大值始终出现在订单统计之一处。(这种尖点发生在阶次统计中并不是三角形分布所独有的;例如,拉普拉斯密度具有一个角,因此在每个阶次统计中其中心的可能性都为一个。)

在我的样本中,最大值出现在四阶统计量0.3780912

cc

有用的参考书是Johan van Dorp和Samuel Kotz撰写的“ 超越Beta ”的第一章。碰巧的是,第1章是该书的免费“样本”章节-您可以在此处下载。

我想在美国统计学家杂志上,埃迪·奥利弗(Eddie Oliver)有一篇关于三角形分布的可爱小论文(我的观点基本上是相同的;我认为它在教师角)。如果可以找到它,我将作为参考。

编辑:这是:

EH奥利弗(1972),《最大似然率》,
《美国统计学家》,第26卷,第3期,6月,第43-44页

(发布者链接

如果您可以轻松掌握它,那么值得一看,但是Dorp和Kotz章节涵盖了大多数相关问题,因此并不重要。


通过对评论中的问题进行后续处理-即使您可以找到某种“平滑”角落的方法,您仍然必须处理这样一个事实,即您可以获得多个局部最大值:

两个局部最大值

但是,可能会找到具有非常好的属性(比矩量法更好)的估计量,您可以轻松地写下这些估计量。但是(0,1)上的三角形上的ML是几行代码。

如果涉及大量数据,也可以处理,但我认为这将是另一个问题。例如,并非每个数据点都可以达到最大值,这可以减少工作量,并且还可以节省一些其他费用。


谢谢-我将尝试发布失败的尝试,显示我确切在说什么发行版以及我认为被阻止的位置。
Frank

感谢您的详细解释!不过,我有另一个想法:假设我可以找到收敛于三角形分布的函数族,但不是分段的-我可以用它来分析得出MLE,然后取极限,并假设我将具有三角形分布本身?
2013年

可能-我认为这可能取决于您使用的特定限价过程...并且您可能最终仍会获得几个局部最大值,因此无论如何,它仅能节省您评估极值统计量附近的可能性-即使工作,为什么还要尝试做这么复杂的事情?ML在三角形分布上有什么问题?实际上这很简单。
Glen_b-恢复莫妮卡

2
我必须说,尽管基于上一章的推导需要做一些工作(虽然不太费劲),但基于订单统计的C语言MLE还是不错的-很好地说明了MLE的本质在argmax中(当然!),而不是导数(正如您所指出的,我完全同意,它发生在我通常的“导数”步骤的上游(即担心通过任何方式实现最大化),但我没有追求)。
Frank

1
xi
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.