Questions tagged «log-likelihood»

在大多数机器学习任务中，您可以制定应最大化的概率，我们实际上将优化对数概率而不是某些参数的概率。例如，在最大似然训练中，通常是对数似然。使用某些渐变方法进行此操作时，涉及一个因素：数p θppp日志plog⁡p\log pθθ\theta ∂日志p∂θ= 1p＆CenterDot;＆＆PartialD;＆p∂θ∂log⁡p∂θ=1p⋅∂p∂θ \frac{\partial \log p}{\partial \theta} = \frac{1}{p} \cdot \frac{\partial p}{\partial \theta} 有关示例，请参见此处或此处。 当然，优化是等效的，但梯度会有所不同，因此任何基于梯度的方法的行为都会有所不同（尤其是随机梯度方法）。是否有理由证明梯度比梯度更好？p日志plog⁡p\log pppp

66 probability  optimization  log-likelihood 

克里斯托弗·曼宁（Christopher Manning）关于R中逻辑回归的文章显示，R中的逻辑回归如下： ced.logr <- glm(ced.del ~ cat + follows + factor(class), family=binomial) 一些输出： > summary(ced.logr) Call: glm(formula = ced.del ~ cat + follows + factor(class), family = binomial("logit")) Deviance Residuals: Min 1Q Median 3Q Max -3.24384 -1.34325 0.04954 1.01488 6.40094 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) -1.31827 0.12221 …

46 r  logistic  log-likelihood 

我试图在更深层次上理解统计和概率论中对数似然性（也许更一般地说对数概率）的普遍性。对数概率随处可见：我们通常使用对数似然进行分析（例如，最大化），Fisher信息是根据对数似然的二阶导数定义的，熵是预期的对数概率，Kullback-Liebler散度涉及对数概率，预期差异是预期对数可能性，等等。 现在，我感谢许多实际和方便的原因。许多常见和有用的pdf都来自指数族，这在对数转换时会导致术语的简化。总和比产品更容易使用（尤其是用于区分）。对数概率比直概率有很大的浮点优势。对数转换pdf通常会将非凹函数转换为凹函数。但是对数概率的理论原因/合理性/动机是什么？ 作为我困惑的一个示例，请考虑Fisher信息（FI）。理解FI的通常解释是对数似然率的二阶导数告诉我们对数似然率有多“峰值”：对数似然率高度峰值意味着MLE已得到很好的指定，我们相对确定其价值，尽管近似平坦的对数似然（低曲率）意味着许多不同的参数值（就对数似然而言）几乎与MLE一样好，所以我们的MLE更加不确定。 这一切都很好，但是仅仅找到似然函数本身的曲率（不进行对数转换）是否更自然？乍一看，对数转换的强调似乎是任意和错误的。当然，我们对实际似然函数的曲率更感兴趣。Fisher使用计分函数和对数似然的Hessian的动机是什么？ 答案是否简单，最后，我们从对数似然渐近地得到了不错的结果？例如，Mram /后部的Cramer-Rao和正态性。还是有更深层次的原因？

18 probability  bayesian  likelihood  log-likelihood 

作为广义线性模型输出的一部分，零偏差和残差偏差用于评估模型。我经常看到这些量的饱和模型的对数似然来表示的公式，例如：/stats//a/113022/22199，Logistic回归：如何获取饱和模型 据我所知，饱和模型是完全符合观察到的响应的模型。因此，在我见过的大多数地方，饱和模型的对数似然始终为零。 但是，给出偏差公式的方式表明，有时该量不为零。（好像总是始终为零，为什么还要包括它？） 在什么情况下可以为非零？如果它永远都不为零，为什么要在偏差公式中包括它？

14 regression  generalized-linear-model  deviance  log-likelihood 

的mgcv软件包R具有两个功能，用于拟合张量积相互作用：te()和ti()。我了解两者之间的基本分工（拟合非线性交互与将这种交互分解为主要效果和交互）。我不明白的是为什么te(x1, x2)而ti(x1) + ti(x2) + ti(x1, x2)可能产生（略）不同的结果。 MWE（改编自?ti）： require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f + rnorm(n)*0.2 par(mfrow = c(2,2)) # …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa