Questions tagged «maximum-likelihood»

我有以下形式的GLMM： lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) 当我使用时drop1(model, test="Chi")，我得到的结果与Anova(model, type="III")从汽车包装或汽车上获得的结果不同summary(model)。后两个给出相同的答案。 通过使用大量虚构数据，我发现这两种方法通常没有区别。对于平衡线性模型，不平衡线性模型（不同组中的n不相等）和平衡广义线性模型，它们给出相同的答案，但对于平衡广义线性混合模型，它们给出相同的答案。因此看来，只有在包括随机因素的情况下，这种矛盾才会显现出来。 为什么这两种方法之间存在差异？ 使用GLMM时应使用Anova()还是drop1()应使用？ 至少就我的数据而言，两者之间的差异很小。哪一个使用都重要吗？

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

通过 为样本定义零膨胀的Poisson回归模型 ，并进一步假设参数和满足(y1,…,yn)(y1,…,yn)(y_1,\ldots,y_n)ÿ一世= { 0ķ概率为p 一世+ （1 − p一世）e- λ一世概率（1 − p 一世）e- λ一世λķ一世/ k！Yi={0with probability pi+(1−pi)e−λikwith probability (1−pi)e−λiλik/k! Y_i = \begin{cases} 0 & \text{with probability} \ p_i+(1-p_i)e^{-\lambda_i}\\ k & \text{with probability} \ (1-p_i)e^{-\lambda_i} \lambda_{i}^{k}/k! \end{cases}λ =（ λ1个，… ，λñ）λ=(λ1,…,λn)\mathbf{\lambda} = (\lambda_1, \dots, \lambda_n)p =（ p1个，… ，pñ）p=(p1,…,pn)\textbf{p} = (p_1, \dots, p_n) …

10 generalized-linear-model  maximum-likelihood  poisson-distribution  expectation-maximization  latent-variable 

假设我观察到iid ，并希望测试 vech for a整合矩阵和向量。在这个问题上有已知的工作吗？xi∼N(μ,Σ)xi∼N(μ,Σ)x_i \sim \mathcal{N}\left(\mu,\Sigma\right)H0:A H0:A H_0: A\ (Σ−1)=a(Σ−1)=a\left(\Sigma^{-1}\right) = aAAAaaa （对我而言）显而易见的尝试是通过似然比测试，但是似乎要在受到约束的情况下最大化似然率将需要SDP求解器，并且可能非常麻烦。H0H0H_0

10 hypothesis-testing  normal-distribution  multivariate-analysis  maximum-likelihood  covariance 

在我的学年和大学期间，我有足够的统计学课程。我对概念有一定的了解，例如CI，p值，解释统计显着性，多重检验，相关性，简单线性回归（最小二乘法）（通用线性模型）以及所有假设检验。在早期的大部分时间里，我大多是在数学上被介绍给我的。最近，我相信，借助于《直觉生物统计学》一书，我已经掌握了对实际概念理论的前所未有的理解。 现在，我发现我缺乏对拟合模型（估计模型的参数）等的理解。特别是，诸如最大似然估计，广义线性模型，贝叶斯推断统计方法之类的概念对我而言似乎总是陌生的。没有足够的示例或教程或概念上合理的示例，就像人们在简单的概率模型或互联网上的其他（基本）主题中发现的那样。 我是一名生物信息学家，我从事RNA-Seq数据的研究，该数据处理原始读取计数，以便查找基因表达（或差异基因表达）。从我的背景来看，即使我不熟悉统计模型，我也能够掌握泊松分布假设和负二项式等的原因。但是有些论文涉及广义线性模型和估计MLE等。我相信我有必要了解的背景。 我想我要的是你们中的一些专家认为有用的方法，这是一本书，可以帮助我以更直观的方式掌握这些概念（不仅是严格的数学，而且有数学支持的理论）。由于我将主要应用它们，因此（目前）我对了解什么是满意的，以后，我可以返回严格的数学证明...有人有什么建议吗？如果我要求的主题确实分散在一本书中，则我不介意购买多于一本书。 非常感谢你！

10 bayesian  references  maximum-likelihood  generalized-linear-model 

在最大似然估计的上下文中，Wald，似然比和拉格朗日乘数检验在渐近上是等价的。但是，对于小样本，它们往往会有很大差异，在某些情况下，它们会得出不同的结论。 如何根据拒绝空值的可能性对它们进行排名？如果测试的答案不一致，该怎么办？您能选择一个给出所需答案的方法吗？或者是否有关于如何进行的“规则”或“指南”？

10 hypothesis-testing  maximum-likelihood 

病人被送进医院。他们的住院时间取决于两件事：他们受伤的严重程度，以及他们愿意为住院而支付多少保险。如果某些患者的保险决定停止支付住宿费用，则某些患者会过早离开。 假设以下内容： 1）停留时间是泊松分布的（参数为λλ\lambda，现在假设是暂时的，可能是现实的假设，也可能不是）。 2）各种保险计划涵盖7、14和21天的住宿时间。许多患者将在停留7,14或21天后离开（因为他们的保险用完了，必须离开）。 如果要从此过程中获取数据，它可能如下所示： 如您所见，在7、14和21天都有峰值。这些是在保险结束后离开的患者。 显然，可以将数据建模为混合模型。我很难记下这种分布的可能性。这就像零膨胀的泊松，但通货膨胀率分别为7、14和21。 此数据的可能性是多少？可能性背后的思考过程是什么？

10 maximum-likelihood  modeling 

我的问题来自阅读Minka的“估计Dirichlet分布”，该陈述在根据随机向量的观察推导Dirichlet分布的最大似然估计的情况下，没有证明以下内容： 与指数族一样，当梯度为零时，期望的足够统计量等于观察到的足够统计量。 我没有看到以这种方式呈现的指数族中的最大似然估计，也没有在搜索中找到任何合适的解释。有人可以提供对观察到的和预期的足够统计量之间的关系的洞察力，也许可以通过最大程度地减少差异来帮助理解最大似然估计？

10 self-study  maximum-likelihood  exponential-family  sufficient-statistics 

我想了解有关Logistic回归的最大似然估计器（MLE）的几个事实。 总的来说，逻辑回归的MLE是否存在偏见？我会说“是”。我知道，例如，样本维数与MLE的渐近偏差有关。 您知道这种现象的基本例子吗？ 如果MLE有偏差，那么MLE的协方差矩阵是否是最大似然函数的Hessian的逆是真的吗？ 编辑：我经常遇到这个公式，没有任何证据；在我看来，这是一个相当随意的选择。

10 logistic  maximum-likelihood  unbiased-estimator  bias 

考虑贝叶斯后验。渐近地，其最大值出现在MLE估计，这恰好使似然性 argmin最大化。θ∣Xθ∣X\theta\mid Xθ^θ^\hat \thetaargminθfθ(X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X) 所有这些概念（贝叶斯先验，使可能性最大化）听起来都是超级原则，一点也不随意。看不到日志。 然而，MLE最小化了实分布和之间的KL散度，即，它最小化了f~f~\tilde ffθ(x)fθ(x)f_\theta(x) KL(f~∥fθ)=∫+∞−∞f~(x)[logf~(x)−logfθ(x)]dxKL(f~∥fθ)=∫−∞+∞f~(x)[log⁡f~(x)−log⁡fθ(x)]dx KL(\tilde f \parallel f_\theta) = \int_{-\infty}^{+\infty} \tilde f(x) \left[ \log \tilde f(x) - \log f_\theta(x) \right] \, dx 哇，这些日志是从哪里来的？为什么特别是KL分歧？ 例如，为什么最小化不同的差异与贝叶斯后验的超原则性和积极性概念不相符，而使上述可能性最大化呢？ 在这种情况下，KL散度和/或对数似乎有一些特殊之处。当然，我们可以举手示意这就是数学。但是我怀疑可能会有更深刻的直觉或发现的联系。

9 bayesian  maximum-likelihood  kullback-leibler 

Casella和Berger表示ML估计量的不变性如下： 但是，在我看来，他们以完全临时的，荒谬的方式定义的“可能性” ：ηη\eta 如果我将概率论的基本规则应用于简单情况，我将得到以下结果： 现在应用贝叶斯定理，然后应用和是互斥的，因此我们可以应用求和规则： 大号（η | X ）= p （X | θ 2 = η ）= p （X | θ = - √η= τ（θ ）= θ2η=τ（θ）=θ2\eta=\tau(\theta)=\theta^2甲乙p（X|甲∨乙）=p（X） p （甲∨ 乙| X ）L （η| x）=p（x | θ2= η）= p （X | θ = - η–√∨ θ = η–√）= ： p （X …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

Hastie和Tibshirani在其书的第4.3.2节中提到，在线性回归设置中，最小二乘法实际上是最大似然的一种特殊情况。我们如何证明这个结果？ PS：不保留任何数学细节。

9 regression  maximum-likelihood  least-squares 

该问题基于题为：使用耦合的辐射传输-扩散模型的漫射光学层析成像中的图像重建 下载链接 作者应用具有未知向量稀疏正则化的EM算法来估计图像的像素。该模型由 μl1升1个l_1μμ\mu y=Aμ+e(1)（1）ÿ=一个μ+Ëy=A\mu + e \tag{1} 估算值在等式（8）中给出为 μ^=argmaxlnp(y|μ)+γlnp(μ)(2)（2）μ^=精氨酸⁡米一个Xln⁡p（ÿ|μ）+γln⁡p（μ）\hat{\mu} = \arg max {\ln p(y|\mu) + \gamma \ln p(\mu)} \tag{2} 在我的情况下，我已经将视为长度为的过滤器，而是代表过滤器的向量。所以，大号μ大号× 1μμ\muL大号Lμμ\mathbf{\mu}L×1大号×1个L \times 1 该模型可以重写为y(n)=μTa(n)+v(n)(3)（3）ÿ（ñ）=μŤ一个（ñ）+v（ñ）y(n) = \mathbf{\mu^T}a(n) + v(n) \tag{3} 问题：问题公式：（n乘以1）是未观察到的输入，是零均值，方差未知加性噪声。MLE解决方案将基于期望最大化（EM）。 { È （Ñ ）} σ 2 ëμ(n)μ(n){\mu(n)}{e(n)}{e(n)}\{e(n)\}σ2Ëσe2\sigma^2_e 在本文中，方程（19）是函数-完整的对数似然性，但是对于我而言，我不理解如何在完整的对数似然表达式中包含的分布。 甲，μ一个AA甲，μA,μA, \mu 使用 EM（包括先验分布）的完全对数似然是什么？ÿyy

9 self-study  bayesian  maximum-likelihood  expectation-maximization  moving-average 

我在一本机器学习书中读到，可以通过梯度下降来估算线性回归的参数（以及其他方法），而逻辑回归的参数通常是通过最大似然估计来估算的。 是否可以向新手（我）解释为什么我们需要不同的线性/逻辑回归方法。aka为什么不使用MLE进行线性回归，为什么不使用梯度下降进行logistic回归？

9 regression  logistic  maximum-likelihood 

我有一个混合模型，我想要找到给定一组数据xxx和一组部分观测数据的最大似然估计量zzz。我已经实现两个E-步骤（计算的期望zzz给定xxx和电流参数θkθk\theta^k），和M-步骤，以减少给定的期望的负对数似然zzz。 据我了解，每次迭代的最大可能性都在增加，这意味着负对数似然性必须在每次迭代中都在减少吗？但是，正如我所进行的迭代，该算法实际上并未产生负对数似然率的递减值。相反，它可能同时在减少和增加。例如，这是直到收敛的负对数似然的值： 我在这里误解了吗？ 另外，对于模拟数据，当我对真正的潜在变量（未观察到）执行最大似然法时，我的拟合度非常接近，表明没有编程错误。对于EM算法，它通常收敛到明显次优的解决方案，尤其是对于特定参数子集（即，分类变量的比例）。众所周知，该算法可以收敛到局部最小值或固定点，是否有常规的搜索试探法或同样地增加了找到全局最小值（或最大值）的可能性。对于这个特殊的问题，我相信会有很多未命中类别，因为对于双变量混合，两个分布之一采用概率为1的值（这是生命周期的混合，其中通过其中， z表示属于任一分布。指标 z当然在数据集中被检查。 T=zT0+(1−z)∞T=zT0+(1−z)∞T=z T_0 + (1-z)\inftyzzzzzz 我从理论解开始添加了第二个数字（应该接近最优值）。但是，可以看出，可能性和参数从该解决方案变为明显较差的解决方案。 xi=(ti,δi,Li,τi,zi)xi=(ti,δi,Li,τi,zi)\mathbf{x_i}=(t_i,\delta_i,L_i,\tau_i,z_i)titit_iiiiδiδi\delta_iLiLiL_iτiτi\tau_iziziz_i是观测值所属人群的指标（由于其二元变量，我们只需要考虑0和1）。 z=1z=1z=1fz(t)=f(t|z=1)fz(t)=f(t|z=1)f_z(t)=f(t|z=1)Sz(t)=S(t|z=1)Sz(t)=S(t|z=1)S_z(t)=S(t|z=1)z=0z=0z=0tttinfinf\inff(t|z=0)=0f(t|z=0)=0f(t|z=0)=0和。这还会产生以下完整的混合物分布：S(t|z=0)=1S(t|z=0)=1S(t|z=0)=1 f(t)=∑1i=0pif(t|z=i)=pf(t|z=1)f(t)=∑i=01pif(t|z=i)=pf(t|z=1)f(t) = \sum_{i=0}^{1}p_if(t|z=i) = pf(t|z=1)和 S(t)=1−p+pSz(t)S(t)=1−p+pSz(t)S(t) = 1 - p + pS_z(t) 我们继续定义可能性的一般形式： L(θ;xi)=Πif(ti;θ)δiS(ti;θ)1−δiS(Li)τiL(θ;xi)=Πif(ti;θ)δiS(ti;θ)1−δiS(Li)τi L(\theta;\mathbf{x_i}) = \Pi_i \frac{f(t_i;\theta)^{\delta_i}S(t_i;\theta)^{1-\delta_i}}{S(L_i)^{\tau_i}} 现在，当，只能部分观察到，否则未知。完全可能性变为zzzδ=1δ=1\delta=1 L(θ,p;xi)=Πi((pfz(ti;θ))zi)δi((1−p)(1−zi)(pSz(ti;θ))zi)1−δi((1−p)(1−zi)(pSz(Li;θ))zi)τiL(θ,p;xi)=Πi((pfz(ti;θ))zi)δi((1−p)(1−zi)(pSz(ti;θ))zi)1−δi((1−p)(1−zi)(pSz(Li;θ))zi)τi L(\theta,p;\mathbf{x_i}) = \Pi_i \frac{\big((p f_z(t_i;\theta))^{z_i}\big)^{\delta_i}\big((1-p)^{(1-z_i)}(p S_z(t_i;\theta))^{z_i}\big)^{1-\delta_i}}{\big((1-p)^{(1-z_i)}(p S_z(L_i;\theta))^{z_i}\big)^{\tau_i}} 其中是相应分布的权重（可能通过某些链接函数与某些协变量及其各自的系数相关联）。在大多数文献中，这简化为以下对数似然ppp ∑(ziln(p)+(1−p)ln(1−p)−τi(ziln(p)+(1−zi)ln(1−p))+δizifz(ti;θ)+(1−δi)ziSz(ti;θ)−τiSz(Li;θ))∑(ziln⁡(p)+(1−p)ln⁡(1−p)−τi(ziln⁡(p)+(1−zi)ln⁡(1−p))+δizifz(ti;θ)+(1−δi)ziSz(ti;θ)−τiSz(Li;θ))\sum \Big( z_i \ln(p) + (1-p) \ln(1-p) - \tau_i\big(z_i …

9 maximum-likelihood  mixture  expectation-maximization 

在系统发育学中，通常使用MLE或贝叶斯分析来构建系统发育树。通常，在贝叶斯估计中使用统一的先验。据我了解，贝叶斯估计是结合先验的可能性估计。我的问题是，如果您使用平坦先验，则与仅进行似然分析有什么不同吗？

9 bayesian  confidence-interval  maximum-likelihood  likelihood  phylogeny