Questions tagged «maximum-likelihood»

一种通过选择优化观察给定样本概率的参数值来估算统计模型参数的方法。

1
在回归设置中,什么时候不能将频繁样本抽样分布解释为贝叶斯后验?
我的实际问题在最后两段中,但是要激发他们: 如果我试图估计遵循具有已知方差的正态分布的随机变量的均值,则我已经读过,在均值上放置均等的先验会导致与似然函数成正比的后验分布。在这些情况下,贝叶斯可信区间与频密者置信区间完全重叠,并且贝叶斯最大值后验估计等于频密者最大似然估计。 在简单的线性回归设置中, Y=Xβ+ϵ,ϵ∼N(0,σ2)Y=Xβ+ϵ,ϵ∼N(0,σ2)Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2) 推杆上形成均匀的前和前上逆伽马σ 2与后部小的参数值结果β中号甲P,这将是非常相似的频率论β中号大号ë,而对于后验分布的可靠区间的β | X,它将与最大似然估计值周围的置信区间非常相似。他们不会完全一样,因为之前上σ 2ββ\betaσ2σ2\sigma^2β^MAPβ^MAP\hat\beta^{MAP}β^MLEβ^MLE\hat\beta^{MLE}β|Xβ|X\beta|Xσ2σ2\sigma^2施加的影响小的量,并且如果后估计经由MCMC仿真,将介绍差异的另一来源进行,但围绕贝叶斯置信区间β中号甲P和周围频率论置信区间β中号大号ë将彼此之间非常接近,当然,随着样本数量的增加,随着似然性的影响逐渐占主导,它们应该收敛。β^MAPβ^MAP\hat\beta^{MAP}β^MLEβ^MLE\hat\beta^{MLE} 但是我已经读到,在有些回归情况下,这些近等值不成立。例如,具有随机效应的层次回归或逻辑回归-在我所了解的情况下,没有“良好”的目标或参考先验条件。 所以我的一般问题是-假设我想推断P(β|X)P(β|X)P(\beta|X)并且我没有要合并的先前信息,为什么我不能在这些情况下进行频繁的最大似然估计,并将所得的系数估计和标准误解释为贝叶斯MAP估计和标准差,并隐式地对待这些由先验得出的“后验”估计必须是“无信息的”,而没有试图找到会导致这种后验的先验的明确表述?通常,在回归分析领域中,什么时候可以按照这些原则行事(将似然性当作后验对待),什么时候不行?对于不是基于似然性的频繁性方法(例如准似然方法), 答案是否取决于我的推论目标是系数点估计,还是系数在特定范围内的概率,或预测分布的数量?

1
偏正态分布的参数估计
偏态正态的公式参数估计是什么?如果可以的话,通过MLE或Mom进行派生也将是很棒的。谢谢 编辑。 我有一组数据,可以通过绘图直观地看出这些数据的左侧偏斜。我想估算均值和方差,然后进行拟合优度检验(这就是为什么我需要参数估算值的原因)。我是否以为我只需要猜测偏斜(alpha)(也许做几次偏斜并测试哪种才是最好的?)就对了吗? 我想根据自己的理解来推导MLE,因为我对MLE较熟悉,所以更喜欢MLE。 我不确定是否有多个通用偏斜法线-我只是说一个负偏斜法线!如果可能的话,偏指数幂参数估计也将有所帮助!


2
AR()模型的无偏估计
考虑一个AR()模型(为简单起见,假设均值为零):ppp xt=φ1xt−1+…+φpxt−p+εtxt=φ1xt−1+…+φpxt−p+εt x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t 如最近的线程所述,已知的OLS估计量(等于条件最大似然估计量是有偏差的。φ: =( φ1个,… ,φp)φ:=(φ1,…,φp)\mathbf{\varphi} := (\varphi_1,\dotsc,\varphi_p) (奇怪的是,我找不到汉密尔顿的《时间序列分析》或其他一些时间序列教科书中提到的偏见。但是,可以在各种讲义和学术文章中找到它,例如this。) 我无法找出AR()的确切最大似然估计是否有偏差;因此,我的第一个问题。ppp 问题1:是确切的 AR(最大似然估计)模型的自回归参数偏见吗?(让我们假设AR()过程是平稳的。否则,估计量甚至是不一致的,因为它被限制在平稳区域内;请参见Hamilton的“时间序列分析”,第123页。)φ 1,... ,φ p ppppφ1,…,φpφ1,…,φp\varphi_1,\dotsc,\varphi_pppp 也, 问题2:是否有任何合理简单的无偏估计量?

1
负二项分布的最大似然估计
问题如下: 从参数k = 3的负二项式分布中收集n个值的随机样本。 找到参数π的最大似然估计。 为该估计量的标准误差找到一个渐近公式。 说明如果参数k足够大,为什么负二项式分布将近似正态。此正态近似的参数是什么? 我的工作如下: 1.我觉得这是需要的,但是我不确定在这里我是否准确,或者鉴于提供的信息,我是否可以做得更好? p(x)=(x−1k−1)πk(1−π)x−kL(π)=Πnip(xn|π)ℓ(π)=Σniln(p(xn|π))ℓ‘(π)=Σnikπ−(x−k)(1−π)p(x)=(x−1k−1)πk(1−π)x−kL(π)=Πinp(xn|π)ℓ(π)=Σinln⁡(p(xn|π))ℓ‘(π)=Σinkπ−(x−k)(1−π)p(x) = {x-1 \choose k-1}\pi^k(1-\pi)^{x-k}\\ L(\pi) = \Pi_i^n p(x_n|\pi)\\ \ell(\pi) = \Sigma_i^n\ln(p(x_n|\pi))\\ \ell`(\pi) = \Sigma_i^n\dfrac{k}{\pi}-\dfrac{(x-k)}{(1-\pi)} 我认为以下是要求的。对于最后部分我感觉需要更换π^π^\hat{\pi}与kxkx\dfrac{k}{x} ℓ‘‘(π^)=−kπ^2+x(1−π^)2se(π^)=−1ℓ‘‘(π^)−−−−−−−√se(π^)=π^2k−(1−π^)2x−−−−−−−−−−−−√ℓ‘‘(π^)=−kπ^2+x(1−π^)2se(π^)=−1ℓ‘‘(π^)se(π^)=π^2k−(1−π^)2x\ell``(\hat{\pi}) = -\dfrac{k}{\hat{\pi}^2} + \dfrac{x}{(1-\hat{\pi})^2}\\ se(\hat{\pi}) = \sqrt{-\dfrac{1}{\ell``(\hat{\pi})}}\\ se(\hat{\pi}) = \sqrt{\dfrac{\hat{\pi}^2}{k} - \dfrac{(1-\hat{\pi})^2}{x}}\\ 我不确定如何证明这一点,并且仍在研究中。任何提示或有用的链接将不胜感激。我觉得这可能与负二项式分布可以看作是几何分布的集合有关,或者与二项式分布的倒数有关,但不确定如何处理。 任何帮助将不胜感激


1
是MLE
假设(X,Y)(X,Y)(X,Y)具有pdf Fθ(x ,y)= e- (X / θ + θ ÿ)1个x > 0 ,y> 0,θ > 0fθ(x,y)=e−(x/θ+θy)1x>0,y>0,θ>0f_{\theta}(x,y)=e^{-(x/\theta+\theta y)}\mathbf1_{x>0,y>0}\quad,\,\theta>0 样品的密度(X,Y)= (X一世,Y一世)1个≤ 我≤ Ñ(X,Y)=(Xi,Yi)1≤i≤n(\mathbf X,\mathbf Y)=(X_i,Y_i)_{1\le i\le n}从这一人群得出因此是 Gθ(x,y)= ∏我= 1ñFθ(x一世,ÿ一世)= 经验[ - Σ我= 1ñ(x一世θ+ θ ÿ一世) ] 1X1个,… ,xñ,ÿ1个,… ,yñ> 0= 经验[ − n x¯θ- θ Ñ ÿ¯] 1X(1 ),ÿ(1 )> 0,θ …

1
“棒球的勾股定理”背后是否有任何真实的统计数据?
我正在阅读一本有关Sabermetrics的书,特别是Wayne Winston的Mathletics,在第一章中,他介绍了可用于预测球队获胜率的数量: 他似乎在暗示,赛季中期的时候,它可以被用来预测赢率更好的比本赛季上半场的胜率。他将公式推广为 其中是得分与得分之比。然后,他找到最适合的指数来预测3项运动获胜百分比,并找到 [REXP得分点2得分点2+ 反对2≈ %游戏赢了,Points Scored2Points Scored2+Points Against2≈% Games Won,\frac{\text{Points Scored}^2 }{\text{Points Scored}^2 + \text{Points Against}^2} \approx \text{% Games Won},- [R棒球:EXP≈2,足球:EXP≈2.7,篮球:EXP≈14.我P小号我P甲我1[R经验值[R经验值+ 1,RexpRexp+1, \frac{R^{\text{exp}}}{R^{\text{exp}} + 1}, [RRR棒球:EXP ≈ 2 ,Baseball: exp≈2, \text{Baseball: exp} \approx 2 , 足球:EXP ≈ 2.7 ,Football: exp≈2.7, \text{Football: exp} \approx 2.7, 篮球:EXP ≈ 14。Basketball: exp≈14. …

1
找到独特的MVUE
该问题来自Robert Hogg的《数理统计入门》第六版问题7.4.9,第388页。 令用pdf在其他地方为零,其中。X1,...,XnX1,...,XnX_1,...,X_nf(x;θ)=1/3θ,−θ&lt;x&lt;2θ,f(x;θ)=1/3θ,−θ&lt;x&lt;2θ,f(x;\theta)=1/3\theta,-\theta0 (a)求MLE的θ^θ^\hat{\theta}θθ\theta (b)足够用于统计?为什么呢θ^θ^\hat{\theta}θθ\theta (c)是的唯一MVUE 吗?为什么呢(n+1)θ^/n(n+1)θ^/n(n+1)\hat{\theta}/nθθ\theta 我想我可以解决(a)和(b),但是我对(c)感到困惑。 为一个): 令为订单统计信息。Y1&lt;Y2&lt;...YnY1&lt;Y2&lt;...YnY_10 因此,似然函数正在减小。L(θ;x)L(θ;x)L(\theta;x) 从和, 和 (−θ&lt;y1(−θ&lt;y1(-\theta< y_1 yn&lt;2θ)yn&lt;2θ) y_n < 2\theta)⇒⇒\Rightarrow (θ&gt;−y1(θ&gt;−y1(\theta>-y_1 θ&gt;yn/2),⇒θ&gt;max(−y1,yn/2)θ&gt;yn/2),⇒θ&gt;max(−y1,yn/2)\theta>y_n/2), \Rightarrow \theta>max(-y_1,y_n/2) L(θ,x)L(θ,x)L(\theta,x)被降低,因此,当具有samllest值似然函数将达到最大,因为,当,似然函数将达到最大值。θθ\thetaθ&gt;max(−y1,yn/2)θ&gt;max(−y1,yn/2)\theta>max(-y_1,y_n/2)θ=max(−y1,yn/2)θ=max(−y1,yn/2)\theta=max(-y1,y_n/2) ∴∴\therefore theremleθ^=max(−y1,yn/2)θ^=max(−y1,yn/2)\hat{\theta}=max(-y_1,y_n/2) 对于(b): f(x1;θ)f(x2;θ)...f(xn;θ)=1(3θ)n∏niI(−θ&lt;xi&lt;2θ)=1(3θ)nI(max(xi)&lt;2θ)×1f(x1;θ)f(x2;θ)...f(xn;θ)=1(3θ)n∏inI(−θ&lt;xi&lt;2θ)=1(3θ)nI(max(xi)&lt;2θ)×1f(x_1;\theta)f(x_2;\theta)...f(x_n;\theta)=\frac{1}{(3\theta)^n}\prod_{i}^{n} I(-\theta-\theta)\times 1 ∴∴\therefore通过Neyman的因式分解定理,对于是足够的统计量。因此,也是足够的统计信息。y1=min(xi)y1=min(xi)y_1=min(x_i)θθ\theta−y1−y1-y_1 对于(c): 首先,我们找到的CDFXXX F(x)=∫x−θ13θdt=x+θ3θ,−θ&lt;x&lt;2θF(x)=∫−θx13θdt=x+θ3θ,−θ&lt;x&lt;2θF(x)=\int_{-\theta}^{x}\frac{1}{3\theta}dt=\frac{x+\theta}{3\theta},-\theta0 因此,pdf族已完成。Y1Y1Y_1 同样,仍然通过,我们可以证明pdf族是完整的。FTCFTCFTCYnYnY_n 现在的问题是,我们需要证明是无偏的。(n+1)θ^n(n+1)θ^n\frac{(n+1)\hat{\theta}}{n} 当θ^=−y1θ^=−y1\hat{\theta}=-y_1 E(−y1)=∫2θ−θ(−y1)n(3θ)n(2θ−y1)n−1dy1=1(3θ)n∫2θ−θy1d(2θ−y1)nE(−y1)=∫−θ2θ(−y1)n(3θ)n(2θ−y1)n−1dy1=1(3θ)n∫−θ2θy1d(2θ−y1)nE(-y_1)=\int_{-\theta}^{2\theta}(-y_1)\frac{n}{(3\theta)^n}(2\theta-y_1)^{n-1}dy_1=\frac{1}{(3\theta)^n}\int_{-\theta}^{2\theta}y_1d(2\theta-y_1)^n 我们可以通过零件积分来求解积分 E(−y1)=1(3θ)n[y1(2θ−y1)n∣2θ−θ−∫2θ−θ(2θ−y1)ndy1]=1(3θ)n[θ(3θ)n−(3θ)n+1n+1]=θ−3θn+1=(n−2)θn+1E(−y1)=1(3θ)n[y1(2θ−y1)n∣−θ2θ−∫−θ2θ(2θ−y1)ndy1]=1(3θ)n[θ(3θ)n−(3θ)n+1n+1]=θ−3θn+1=(n−2)θn+1E(-y_1)=\frac{1}{(3\theta)^n}[y_1(2\theta-y_1)^n\mid_{-\theta}^{2\theta}-\int_{-\theta}^{2\theta}(2\theta-y_1)^ndy_1]=\frac{1}{(3\theta)^n}[\theta (3\theta)^n-\frac{(3\theta)^{n+1}}{n+1}]=\theta-\frac{3\theta}{n+1}=\frac{(n-2)\theta}{n+1} ∴E((n+1)θ^n)=n+1nE(−y1)=n+1n(n−2)θn+1=n−2nθ∴E((n+1)θ^n)=n+1nE(−y1)=n+1n(n−2)θn+1=n−2nθ\therefore E(\frac{(n+1)\hat{\theta}}{n})=\frac{n+1}{n}E(-y_1)=\frac{n+1}{n}\frac{(n-2)\theta}{n+1}=\frac{n-2}{n}\theta 因此,当时,并非的无偏估计量(n+1)θ^n(n+1)θ^n\frac{(n+1)\hat{\theta}}{n}θθ\thetaθ^=−y1θ^=−y1\hat{\theta}=-y_1 当θ^=yn/2θ^=yn/2\hat{\theta}=y_n/2 E(Yn)=∫2θ−θynn(3θ)n(yn+θ)n−1dyn=1(3θ)n∫2θ−θynd(yn+θ)n=1(3θ)n[yn(yn+θ)n∣2θ−θ−∫2θ−θ(yn+θ)ndyn]=1(3θ)n[2θ(3θ)−(3θ)n+1n+1]=2θ−3θn+1=2n−1n+1θE(Yn)=∫−θ2θynn(3θ)n(yn+θ)n−1dyn=1(3θ)n∫−θ2θynd(yn+θ)n=1(3θ)n[yn(yn+θ)n∣−θ2θ−∫−θ2θ(yn+θ)ndyn]=1(3θ)n[2θ(3θ)−(3θ)n+1n+1]=2θ−3θn+1=2n−1n+1θE(Y_n)=\int_{-\theta}^{2\theta}y_n\frac{n}{(3\theta)^n}(y_n+\theta)^{n-1}dy_n=\frac{1}{(3\theta)^n}\int_{-\theta}^{2\theta}y_nd(y_n+\theta)^n=\frac{1}{(3\theta)^n}[y_n(y_n+\theta)^n\mid_{-\theta}^{2\theta}-\int_{-\theta}^{2\theta}(y_n+\theta)^ndy_n]=\frac{1}{(3\theta)^n}[2\theta(3\theta)^-\frac{(3\theta)^{n+1}}{n+1}]=2\theta-\frac{3\theta}{n+1}=\frac{2n-1}{n+1}\theta ∴E((n+1)θ^n)=n+1nE(Yn/2)=n+12nE(Yn)=n+12n2n−1n+1θ=2n−12nθ∴E((n+1)θ^n)=n+1nE(Yn/2)=n+12nE(Yn)=n+12n2n−1n+1θ=2n−12nθ\therefore E(\frac{(n+1)\hat{\theta}}{n})=\frac{n+1}{n}E(Y_n/2)=\frac{n+1}{2n}E(Y_n)=\frac{n+1}{2n}\frac{2n-1}{n+1}\theta=\frac{2n-1}{2n}\theta 不过,当时,并不是的无偏估计量(n+1)θ^n(n+1)θ^n\frac{(n+1)\hat{\theta}}{n}θθ\thetaθ^=yn/2θ^=yn/2\hat{\theta}=y_n/2 …

1
IV-probit的似然函数的推导
因此,我有一个二元模型,其中是潜在的不可观察变量,而y_1 \ in \ {0,1 \}在观察值中。y_2确定y_1,因此z_2是我的工具。简而言之,模型就是这样。 \ begin {eqnarray} y_1 ^ *&=&\ delta_1 z_1 + \ alpha_1 y_2 + u_1 \\ y_2&=&\ delta_ {21} z_1 + \ delta_ {22} z_2 + v_2 = \ textbf {z} \ delta + v_2 \\ y_1&=&\ text {1} [y ^ *&gt; 0] \ end …

1
最小的指数分布的最大似然估计
我被困在如何解决这个问题上。 因此,对于,我们有两个随机变量序列和。现在,和是具有参数和独立指数分布。然而,而不是观察和,我们观察到,而不是和。ÿ 我我= 1 ,。。。,Ñ X ÿ λ μ X ÿ ž W¯¯XiXiX_iYiYiY_ii=1,...,ni=1,...,ni=1,...,nXXXYYYλλ\lambdaμμ\muXXXYYYZZZWWW Z=min(Xi,Yi)Z=min(Xi,Yi)Z=\min(X_i,Y_i),如果Z_i = X_i则W = 1,如果Z_i = Y_i则为 0 。我必须在Z和W的基础上找到\ lambda和\ mu的最大似然估计的封闭形式。此外,我们需要证明这些是全局最大值。W=1W=1W=1Zi=XiZi=XiZ_i=X_iZi=YiZi=YiZ_i=Y_iλλ\lambdaμμ\muZZZWWW 现在,我知道两个独立指数的最小值本身就是指数,比率等于比率之和,因此我们知道ZZZ是带参数\ lambda + \ mu的指数λ+μλ+μ\lambda+\mu。因此,我们的最大似然估计器为:λ^+μ^=Z¯λ^+μ^=Z¯\hat{\lambda}+\hat{\mu}=\bar{Z}。 但是我对从这里去的方向感到困惑。我知道WWW是参数p = P(Z_i = X_i)的伯努利分布p=P(Zi=Xi)p=P(Zi=Xi)p=P(Z_i=X_i),但我不知道如何将其转换为关于参数之一的语句。例如,根据\ lambda和/或\ mu,MLE W¯W¯\bar{W}将估算什么?我知道如果Z_i = X_i,则\ mu = 0,但是在这里我很难弄清楚如何提出任何代数语句。λλ\lambdaμμ\muZi=XiZi=XiZ_i=X_iμ=0μ=0\mu=0 更新1:所以我在评论中被告知要推导ZZZ和W的联合分布的可能性WWW。 因此f(Z,W)=f(Z|W=1)⋅p+f(Z|W=0)⋅(1−p)f(Z,W)=f(Z|W=1)⋅p+f(Z|W=0)⋅(1−p)f(Z,W)=f(Z|W=1)\cdot p+f(Z|W=0)\cdot (1-p)其中p=P(Zi=Xi)p=P(Zi=Xi)p=P(Z_i=X_i)。正确?由于ZZZ和WWW不是独立的,因此在这种情况下我不知道如何导出联合分布。 因此,根据上述W的定义,得出f(Z_i,W_i)= p \ lambda …

2
非嵌套模型的广义对数似然比检验
我知道如果我有两个模型A和B,并且A嵌套在B中,那么在给定一些数据的情况下,我可以使用MLE拟合A和B的参数,并应用广义对数似然比检验。特别地,测试的分布应为具有个自由度,其中是和具有的参数数量之差。χ2χ2\chi^2ññnññn一个一个A乙乙B 但是,如果和具有相同数量的参数,但模型未嵌套,会发生什么情况?那就是他们只是不同的模型。有什么方法可以应用似然比检验,还是可以做其他事情?一个一个A乙乙B


1
关于最大似然的一致性和渐近正态性的一般性定理
我对有关最大似然估计器的渐近性质的结果有很好的参考价值感兴趣。考虑模型其中是维密度,并且是基于样本来自的MLE其中是的“真”值。我感兴趣的是两个违规行为。˚F Ñ(X | θ )ñ θ Ñ X 1,... ,X Ñ ˚F Ñ(&CenterDot;&| θ 0)θ 0 θ{ ˚Fñ(&CenterDot;&| θ ):θ ∈ Θ ,Ñ ∈ Ñ }{fn(⋅∣θ):θ∈Θ,n∈N}\{f_n(\cdot \mid \theta): \theta \in \Theta, n \in \mathbb N\}Fñ(X | θ )fn(x∣θ)f_n(\mathbf x \mid \theta)ñnnθ^ñθ^n\hat \theta_nX1个,… ,XñX1,…,XnX_1, \ldots, X_nFñ(&CenterDot;&| θ0)fn(⋅∣θ0)f_n(\cdot \mid \theta_0)θ0θ0\theta_0θθ\theta 数据不是iid,因此,关于的Fisher信息的累积速率比慢。 θ …

1
如何在ARIMA模型的观察值48中加入创新的离群值?
我正在处理数据集。使用一些模型识别技术后,我得出了一个ARIMA(0,2,1)模型。 我使用R detectIO包TSA中的函数在对原始数据集进行第48次观察时检测到创新的离群值(IO)。 如何将这个离群值合并到模型中,以便将其用于预测?我不想使用ARIMAX模型,因为我可能无法根据R中的模型做出任何预测。还有其他方法可以做到吗? 以下是我的价值观: VALUE &lt;- scan() 4.6 4.5 4.4 4.5 4.4 4.6 4.7 4.6 4.7 4.7 4.7 5.0 5.0 4.9 5.1 5.0 5.4 5.6 5.8 6.1 6.1 6.5 6.8 7.3 7.8 8.3 8.7 9.0 9.4 9.5 9.5 9.6 9.8 10.0 9.9 9.9 9.8 9.8 9.9 9.9 9.6 9.4 …
10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.