Questions tagged «likelihood-ratio»

似然比是两个模型(或单个模型中的空值和替代参数值)的似然比,可用于比较或测试模型。如果未完全指定任何一个模型,则使用其在所有自由参数上的最大似然-有时称为广义似然比。

2
似然比vs贝叶斯因子
关于使用似然比来表示针对/针对给定现象的客观证据,我颇为布道。但是,我最近了解到,在贝叶斯方法的上下文中,贝叶斯因子起着类似的作用(即主观先验与客观贝叶斯因子相结合,以产生客观更新的主观信念状态)。我现在试图理解似然比和贝叶斯因子之间的计算和哲学差异。 在计算级别上,我了解到,虽然似然比通常是使用代表每个模型各自参数化的最大似然性(通过交叉验证估计或使用AIC根据模型复杂度进行惩罚的可能性)来表示的,但贝叶斯因子显然以某种方式使用了代表每个模型在其整个参数空间上集成的可能性的可能性(即不仅在MLE处)。通常如何实际实现这种集成?是否真的只是尝试从参数空间计算成千上万个随机样本中的每一个的似然性,还是有分析方法来整合整个参数空间中的似然性?此外,在计算贝叶斯因子时, 另外,似然比和贝叶斯因子之间的哲学差异是什么(nb我并不是在询问似然比和贝叶斯方法之间的哲学差异,而是贝叶斯因子专门作为客观证据的代表)。与似然比相比,如何表征贝叶斯因子的含义?

2
为什么似然比检验分布卡方?
为什么似然比检验的检验统计量分布卡方? 2 (ln 大号一升吨米直径:d È 升 − ln 大号Ñ ü 升升米直径:d È 升 )〜χ2dF一升吨- dFnull2(ln⁡ 大号一种升Ť 米ØdË升-ln⁡ 大号ñü升升 米ØdË升)〜χdF一种升Ť-dFñü升升22(\ln \text{ L}_{\rm alt\ model} - \ln \text{ L}_{\rm null\ model} ) \sim \chi^{2}_{df_{\rm alt}-df_{\rm null}}

3
如何严格定义可能性?
可能性可以通过几种方式定义,例如: 功能LLL从Θ×XΘ×X\Theta\times{\cal X}其中映射(θ,x)(θ,x)(\theta,x)到L(θ∣x)L(θ∣x)L(\theta \mid x)即L:Θ×X→RL:Θ×X→RL:\Theta\times{\cal X} \rightarrow \mathbb{R} 。 随机函数L(⋅∣X)L(⋅∣X)L(\cdot \mid X) 我们也可以认为,可能是只有“观察”的可能性L(⋅∣xobs)L(⋅∣xobs)L(\cdot \mid x^{\text{obs}}) 在实践中,似然性仅将关于信息θθ\theta带到一个乘性常数,因此我们可以将似然性视为函数的等价类,而不是函数 考虑参数化的变化时,会发生另一个问题是:如果ϕ=θ2ϕ=θ2\phi=\theta^2是新的参数,我们通常表示由L(ϕ∣x)L(ϕ∣x)L(\phi \mid x)上的可能性ϕϕ\phi和这不是先前的功能的评价L(⋅∣x)L(⋅∣x)L(\cdot \mid x)在θ2θ2\theta^2但在ϕ−−√ϕ\sqrt{\phi}。这是一种滥用但有用的表示法,如果不加以强调,可能会给初学者造成困难。 您最喜欢的可能性的严格定义是什么? 另外你怎么骂L(θ∣x)L(θ∣x)L(\theta \mid x)?我通常会说“ 观察x时的可能性”之类的话。θθ\thetaxxx 编辑:鉴于下面的一些评论,我意识到我应该弄清楚上下文。我考虑一个参数的家庭给一个统计模型{f(⋅∣θ),θ∈Θ}{f(⋅∣θ),θ∈Θ}\{f(\cdot \mid \theta), \theta \in \Theta\}密度相对于一些占主导地位的措施,每个f(⋅∣θ)f(⋅∣θ)f(\cdot \mid \theta)对观测的空间定义XX{\cal X}。因此我们定义L(θ∣x)=f(x∣θ)L(θ∣x)=f(x∣θ)L(\theta \mid x)=f(x \mid \theta),问题是“什么是LLL ?”(问题不是关于可能性的一般定义)

2
为什么Wilks 1938年的证明不适用于错误指定的模型?
在1938年著名的论文中(“ 用于检验复合假设的似然比的大样本分布 ”,《数学统计年鉴》 9:60-62),塞缪尔·威尔克斯推导了(对数似然比)的渐近分布。对于嵌套假设,在正确指定了较大假设的前提下。极限分布为(卡方),具有自由度,其中是较大假设中的参数数,χ 2 ħ - 米ħ 米2 × L L R2×大号大号[R2 \times LLRχ2χ2\chi^2ħ - 米H-米h-mHHh米米m是嵌套假设中自由参数的数量。然而,众所周知,当假设被错误指定时(即,当较大的假设不是采样数据的真实分布时),该结果将不成立。 谁能解释为什么?在我看来,Wilks的证明应该仍然可以进行较小的修改。它依靠最大似然估计(MLE)的渐近正态性,但对于错误指定的模型仍然适用。唯一的不同是有限多元法线的协方差矩阵:对于正确指定的模型,我们可以使用反Fisher信息矩阵来近似协方差矩阵,而使用错误指定,可以使用协方差矩阵的三明治估计()。正确指定模型后,后者简化为Fisher信息矩阵的逆矩阵(因为 J − 1 K J − 1 J = KĴ− 1Ĵ-1个J^{-1}Ĵ− 1ķĴ− 1Ĵ-1个ķĴ-1个J^{-1} K J^{-1}Ĵ= KĴ=ķJ = K)。在AFAICT中,只要我们具有MLE的多元正态的可逆渐近协方差矩阵(Wilks论文中的),Wilks证明并不关心协方差矩阵的估计值从哪里来。 C− 1C-1个c^{-1}

3
内曼·皮尔森引理
我 从Mood,Graybill和Boes 撰写的《统计理论概论》一书中 阅读了Neyman–Pearson引理。但是我还不了解引理。 谁能用简单的话向我解释这个引理?它说明了什么? Neyman-Pearson Lemma:令是的随机样本,其中是两个已知值和,并且固定。X1,…,XnX1,…,XnX_1,\ldots,X_nf(x;θ)f(x;θ)f(x;\theta)θθ\thetaθ0θ0\theta_0θ1θ1\theta_10&lt;α&lt;10&lt;α&lt;10<\alpha<1 让 k∗k∗k^*是正的常数和C∗C∗C^*是的一个子集XX\mathscr X满足:Pθ0[(X1,…,Xn)∈C∗]=α(1)(1)Pθ0[(X1,…,Xn)∈C∗]=α \tag 1 P_{\theta_0}[(X_1,\ldots,X_n)\in C^*] = \alpha λ=L(θ0;x1,…,xn)L(θ1;x1,…,xn)=L0L1≤k∗if (x1,…,xn)∈C∗(2)(2)λ=L(θ0;x1,…,xn)L(θ1;x1,…,xn)=L0L1≤k∗if (x1,…,xn)∈C∗\tag 2 \lambda=\frac{L(\theta_0;x_1,\ldots,x_n)}{L(\theta_1;x_1,\ldots,x_n)} = \frac{L_0}{L_1} \le k^*\quad \text{if } (x_1,\ldots,x_n)\in C^* andλ≥k∗ if (x1,…,xn)∈C¯∗andλ≥k∗ if (x1,…,xn)∈C¯∗\text{and}\quad \lambda\ge\quad k^* \text{ if } (x_1,\ldots,x_n)\in \bar C^* 然后将试验γ∗γ∗\gamma^*对应于临界区域C∗C∗C^*是一个最有力的尺寸的测试αα\alpha的H0:θ=θ0H0:θ=θ0\mathscr H_0:\theta=\theta_0与H1:θ=θ1H1:θ=θ1\mathscr H_1:\theta=\theta_1 用言语表达,我了解到这两个标准 (1)P [拒绝零假设| 原假设为真] =显着性水平 …

2
GINI得分与对数似然比之间的关系是什么
我正在研究分类树和回归树,拆分位置的一种方法是GINI得分。 现在,当两个分布之间相同数据的似然比的对数为零时,我习惯于确定最佳分割位置,这意味着隶属的可能性同等可能。 我的直觉说,必须存在某种联系,GINI必须在信息数学理论(Shannon)中有良好的基础,但是我对GINI的理解不够深刻,无法自己得出这种关系。 问题: GINI杂质评分作为分裂度量的“第一原理”推导是什么? GINI分数与似然比或其他信息理论基础的对数有何关系(香农熵,pdf和交叉熵是其中的一部分)? 参考文献: 加权基尼标准是如何定义的? 分类和回归树背后的数学 http://www.cs.put.poznan.pl/jstefanowski/sed/DM-5-newtrees.pdf (已添加) http://www.ibe.med.uni-muenchen.de/organisation/mitarbeiter/020_professuren/boulesteix/pdf/gini.pdf https://www.youtube.com/watch?v=UMtBWQ2m04g http://www.ius-migration.ch/files/content/sites/imi/files/shared/documents/papers/Gini_index_fulltext.pdf /programming/4936788/decision-tree-learning-and-impurity 香农的熵描述为: H(x)=ΣiP(xi)logbP(xi)H(x)=ΣiP(xi)logb⁡P(xi) H \left(x \right) = \Sigma_{i} P\left(x_{i} \right)\log_{b} P\left(x_{i} \right) 将其扩展到多元情况下,我们得到: H(X,Y)=ΣxΣyP(x,y)logbP(x,y)H(X,Y)=ΣxΣyP(x,y)logb⁡P(x,y) H \left(X,Y \right)= \Sigma_{x}\Sigma_{y} P\left(x,y \right)\log_{b} P\left(x,y \right) 条件熵的定义如下: H(X|Y)H(X|Y)=Σyp(x,y)logbp(x)p(x,y)or,=H(X,Y)−H(Y)H(X|Y)=Σyp(x,y)logb⁡p(x)p(x,y)or,H(X|Y)=H(X,Y)−H(Y)\begin{align} H \left(X|Y \right) &= \Sigma_{y} p\left(x,y \right)\log_{b} \frac {p\left(x \right)} {p\left(x,y \right)} …

4
如何将新向量投影到PCA空间上?
执行主成分分析(PCA)之后,我想将一个新向量投影到PCA空间上(即在PCA坐标系中找到其坐标)。 我已经使用R计算了R语言的PCA prcomp。现在,我应该可以将向量乘以PCA旋转矩阵。该矩阵中的主要成分应该按行还是按列排列?
21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

2
允许比较混合效应模型(主要是随机效应)
我一直在研究使用R中的lme4包进行的混合效果建模。我主要使用该lmer命令,因此我将通过使用该语法的代码提出问题。我想可能是一个简单的普遍问题,可以比较lmer使用基于相同数据集的似然比构造的任何两个模型吗?我相信答案必须是“否”,但我可能是错误的。我已经阅读了有关随机效应是否必须相同的信息,而随机效应的含义是什么呢?因此,我将举几个例子。我将从使用单词刺激的重复测量数据中获取它们,也许像Baayen(2008)这样的东西在解释中会很有用。 假设我有一个模型,其中有两个固定效果预测变量,我们将它们称为A和B,还有一些随机效果……感知它们的单词和主题。我可能会构建如下模型。 m &lt;- lmer( y ~ A + B + (1|words) + (1|subjects) ) (请注意,我故意data =将其排除在外,REML = FALSE为了清晰起见,我们假设我的意思总是) 现在,以下模型中,哪些可以与上述模型的似然比进行比较,哪些不可以? m1 &lt;- lmer( y ~ A + B + (A+B|words) + (1|subjects) ) m2 &lt;- lmer( y ~ A + B + (1|subjects) ) m3 &lt;- lmer( y ~ A …

2
如何在线性混合模型中选择随机效应和固定效应结构?
请从主题设计的两个方面考虑以下数据: df &lt;- "http://personality-project.org/r/datasets/R.appendix4.data" df &lt;- read.table(df,header=T) head(df) Observation Subject Task Valence Recall 1 1 Jim Free Neg 8 2 2 Jim Free Neu 9 3 3 Jim Free Pos 5 4 4 Jim Cued Neg 7 5 5 Jim Cued Neu 9 6 6 Jim Cued Pos 10 我想使用混合线性模型对此进行分析。考虑到所有可能的固定效应和随机效应,有多种可能的模型: …

3
有人解决了PTLOS练习4.1吗?
埃德温·杰恩斯(Edwin Jaynes)于2003年在《概率论:科学的逻辑》中给出了该练习。此处有部分解决方案。我已经制定了一个更通用的局部解决方案,并且想知道是否有人解决了它。在发布答案之前,我将稍等片刻,让其他人受益。 好的,假设我们有互斥且详尽的假设,表示为。进一步假设我们有m个数据集,用D_j \; \;(j = 1,\ dots,m)表示。第i个假设的似然比由下式给出:Ñ ħ 我nn(i = 1 ,… ,n )Hi(i=1,…,n)H_i \;\;(i=1,\dots,n)m mmD j(j = 1 ,… ,m )Dj(j=1,…,m)D_j \;\;(j=1,\dots,m) L R (H i)= P (D 1 D 2 … ,D m | H i)P (d 1 d 2 ... ,d 米 | &OverBar; ħ我)LR(Hi)=P(D1D2…,Dm|Hi)P(D1D2…,Dm|H¯¯¯¯¯i)LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})} 请注意,这些是条件概率。现在假设给定第i个假设^ …

1
我是否正确计算了这些似然比?
我是R 的ez程序包的作者,并且我正在进行一个更新,以在ANOVA的输出中包括自动计算似然比(LR)。这个想法是为每种效应提供一个LR,类似于ANOVA所达到的那种效应的测试。例如,主要效果的LR表示空模型与包含主要效果的模型的比较,交互作用的LR表示包含组件主要效果的模型与同时包含主要效果和他们的互动等等 现在,我对LR计算的理解来自Glover&Dixon(PDF),它涵盖了基本计算以及对复杂性的更正,以及Bortolussi&Dixon的附录(附录PDF),其中涵盖了涉及重复测量变量的计算。为了检验我的理解,我开发了此电子表格,该电子表格从示例ANOVA(使用虚假数据从2 * 2 * 3 * 4设计生成)中提取dfs和SS,并逐步计算每种效果的LR。 如果对这种计算更有信心的人可以看一下并确保我做的一切正确,我将不胜感激。对于那些喜欢抽象代码的人,这是实现对ezANOVA()的更新的R代码(请参见第15-95行)。

3
为什么在嵌套的var-covar模型中进行选择时必须使用REML(而不是ML)?
关于线性混合模型随机效应的模型选择的各种描述指示使用REML。我在某种程度上知道REML和ML之间的区别,但是我不明白为什么要使用REML,因为ML有偏见。例如,使用ML对正态分布模型的方差参数进行LRT是否错误(请参见下面的代码)?我不明白为什么在模型选择中,没有偏见比成为ML更重要。我认为最终的答案必须是“因为REML的模型选择比ML的模型选择更好”,但我想知道的更多。我没有阅读LRT和AIC的派生词(我不足以全面了解它们),但是如果在派生词中明确使用REML,只是知道实际上就足够了(例如, n &lt;- 100 a &lt;- 10 b &lt;- 1 alpha &lt;- 5 beta &lt;- 1 x &lt;- runif(n,0,10) y &lt;- rnorm(n,a+b*x,alpha+beta*x) loglik1 &lt;- function(p,x,y){ a &lt;- p[1] b &lt;- p[2] alpha &lt;- p[3] -sum(dnorm(y,a+b*x,alpha,log=T)) } loglik2 &lt;- function(p,x,y){ a &lt;- p[1] b &lt;- p[2] alpha &lt;- p[3] beta &lt;- …

2
我们常客真的是隐性/不了解贝叶斯主义者吗?
对于给定的推理问题,我们知道贝叶斯方法通常在形式和结果上都不同于后继方法。经常有人(通常包括我在内)经常指出,他们的方法不需要先验,因此更多是“数据驱动”而不是“判断驱动”。当然,贝叶斯定律可以指向非信息性先验,或者说是实用的,只使用一个真正的分散先验。 我的担忧,尤其是在对惯常的客观性感到自鸣得意之后,尤其是我声称的“客观”方法可以在贝叶斯框架中提出,尽管有一些不同寻常的先验和数据模型。在那种情况下,我只是幸福地对荒谬的先验知识一无所知,并且仿照我的常客主义方法所暗示的那样吗? 如果贝氏指出,这样的提法,我想,我的第一反应是说“嗯,这是很好的,你可以这样做,但我怎么这不是想这个问题!”。但是,谁在乎我如何看待它或如何制定它。如果我的程序在统计学上/数学上等效于某些贝叶斯模型,那么我隐式地(不经意间!)执行贝叶斯推断。 下面的实际问题 这种认识大大破坏了任何自鸣得意的诱惑。但是,我不确定贝叶斯范式是否可以容纳所有惯常做法(同样,只要贝叶斯选择合适的先验和可能性)是否成立。我知道相反的说法是错误的。 我之所以这样问,是因为我最近发布了一个关于条件推断的问题,这使我想到了以下论文:在此处(请参阅3.9.5,3.9.6) 他们指出了Basu的著名结果,即可能有不止一个辅助统计信息,这引发了关于哪个“相关子集” 最相关的问题。更糟糕的是,它们显示了两个示例,这些示例说明即使您具有唯一的辅助统计信息,也无法消除其他相关子集的存在。 他们继续得出结论,只有贝叶斯方法(或与之等效的方法)才能避免此问题,从而实现无条件的条件推断。 贝叶斯统计惯常主义统计可能并非如此-这是我在这里向这个小组提出的问题。但是看来,这两种范式之间的根本选择在于哲学上而不是目标上:您需要较高的条件精度还是较低的无条件误差:⊃⊃\supset 当我们必须分析一个奇异的实例时,高条件精度似乎是适用的-尽管这种方法可能不适用于下一个数据集(超条件/专业化),但我们希望适合这种特殊的推断。 如果在某些情况下我们愿意做出有条件的错误推断,则低无条件错误是合适的,只要我们将长期运行的错误最小化或加以控制即可。老实说,写完这篇文章后,我不确定为什么要这么做,除非我被束缚了时间并且无法进行贝叶斯分析……嗯。 我倾向于基于似然的惯性论推论,因为我从似然函数中得到了一些(渐近/近似)条件性,但不需要摆弄先验条件-但是,我对贝叶斯推论越来越适应,尤其是当我看到了用于小样本推断的先前的aa 正则化术语。 抱歉,放在一边。我的主要问题的任何帮助表示赞赏。

2
为什么lrtest()与anova(test =“ LRT”)不匹配
我一直在寻找在R中进行似然比测试以比较模型拟合的方法。我首先自己编写了代码,然后在包中找到了默认anova()功能。但是,当我检查时,即使将“ test”参数设置为“ LRT” ,也总是会产生与其他两个略有不同的p值。实际上是在执行一些微妙的不同测试,还是我不了解某些内容?lrtest()lmtestanova()anova() 平台:在Linux Mint 17 lmtest版本0.9-33 上运行的R 3.2.0 样例代码: set.seed(1) # Reproducibility n=1000 y = runif(n, min=-1, max=1) a = factor(sample(1:5, size=n, replace=T)) b = runif(n) # Make y dependent on the other two variables y = y + b * 0.1 + ifelse(a==1, 0.25, 0) mydata = …

1
似然比测试-LMER R-非嵌套模型
我目前正在审查一些工作,遇到了以下问题,这对我来说似乎是错误的。使用lmer拟合了两个混合模型(在R中)。这些模型是非嵌套的,并通过似然比测试进行比较。简而言之,这是我拥有的可复制示例: set.seed(105) Resp = rnorm(100) A = factor(rep(1:5,each=20)) B = factor(rep(1:2,times=50)) C = rep(1:4, times=25) m1 = lmer(Resp ~ A + (1|C), REML = TRUE) m2 = lmer(Resp ~ B + (1|C), REML = TRUE) anova(m1,m2) 据我所知,它lmer被用来计算对数似然,并且该anova语句使用具有通常自由度的卡方来测试模型之间的差异。这对我来说似乎不正确。如果是正确的话,有人知道有什么参考可以证明这一点吗?我知道依赖模拟的方法(Lewis等人的论文,2011年)和Vuong(1989年)开发的方法,但是我不认为这是在这里产生的。我认为该anova陈述的使用不正确。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.