Questions tagged «frequentist»

贝叶斯主义者是否曾经争论说他们的方法可以归纳为常人主义方法，因为人们可以使用非信息先验，因此可以恢复典型的常人主义模型结构？ 如果确实使用过这种说法，谁能将我引到一个我可以阅读该论点的地方？ 编辑：这个问题的措词可能不完全是我想表达它的方式。问题是：“是否有讨论使用贝叶斯方法和频繁主义者方法通过使用特定先验来重叠/相交/具有共同点的情况的讨论？” 一个例子是使用不适当的先验，但是我很确定这只是冰山一角。p （θ ）= 1p(θ)=1p(\theta) = 1

12 bayesian  references  frequentist 

如果有人说 “该方法对最大使用参数的MLE点估计，因此它是常客的；而且它不是贝叶斯。”P （x | θ ）P(x|θ)\mathrm{P}(x|\theta) 你同意吗？ 背景资料：最近我读了一篇自称是常客的论文。我不同意他们的主张，充其量我感到模棱两可。本文未明确提及MLE（或MAP）。他们只进行点估计，就好像这个点估计是正确的一样继续进行。他们不对这个估计量的采样分布进行任何分析，或者类似的分析；该模型非常复杂，因此可能无法进行此类分析。他们也不在任何时候使用“后”一词。他们只是将这一点的估计值作为票面价值，然后转到他们感兴趣的主要主题-推断丢失的数据。我认为他们的方法没有任何东西可以说明他们的哲学。他们可能打算成为常客（因为他们觉得有必要在袖子上穿上自己的哲学），但是他们的实际做法却很简单/方便/懒惰/模棱两可。我现在要说的是，这项研究实际上没有任何哲学依据。相反，我认为他们的态度更加务实或方便： “我已经观察到数据，并且希望估计一些缺失的数据。有一个参数控制着和之间的关系。我真的不在乎只是作为达到目的的一种手段。如果我有一个的估计，它将使从预测变得更加容易。我会选择一个的点估计，因为它很方便，尤其是我会选择最大化的。”ž θ žXxxžzzθθ\thetažzzθ θ ž X θ θ P（X | θ ）Xxxθθ\thetaθθ\thetazzzxxxθθ\thetaθ^θ^\hat{\theta}P(x|θ)P(x|θ)\mathrm{P}(x|\theta) 一个无偏估计量的想法显然是一个频率主义的概念。这是因为它不以数据为条件，并且描述了一个很好的属性（无偏），该属性可以容纳参数的所有值。 在贝叶斯方法中，数据和参数的作用有点相反。特别是，我们现在以观察到的数据为条件，并继续对参数的值进行推断。这需要先验。 到目前为止，一切都很好，但是MLE（最大似然估计）在哪里适合呢？我给人的印象是，很多人认为它是频率论者（或更确切地说，它不是贝叶斯主义者）。但是我觉得它是贝叶斯方法，因为它涉及获取观察到的数据，然后找到使最大化的。MLE隐式地使用统一的先验并以数据为条件，并使最大化。公平地说，MLE看起来既是频率派的又是贝叶斯的？还是每个简单的工具都必须完全属于这两种类别之一？P （p 一个ř 一米ë 吨ë [R | d 一吨一）P(data|parameter)P(data|parameter)P(data | parameter)P(parameter|data)P(parameter|data)P(parameter | data) MLE是一致的，但我认为一致性可以表示为贝叶斯思想。给定任意大的样本，估计值收敛于正确答案。对于参数的所有值，语句“估计值将等于真实值”成立。有趣的是，如果您以观察到的数据为条件，则该语句也成立，从而使其成为贝叶斯式。除了MLE之外，还有其他有趣的地方，但对于无偏估计器却没有。 这就是为什么我认为MLE是方法中的“最高级贝叶斯”方法，可以说是“频繁方法”。 无论如何，大多数频率属性（例如无偏）都适用于所有情况，包括有限的样本量。一致性仅在不可能的情况下保持有效（一个实验中有无限个样本），这一事实表明一致性并不是一个有用的属性。 给定一个现实的（即有限的）样本，是否存在一个适用于MLE的Frequentist属性？如果不是这样，那么MLE并不是真正的频率偏高者。

12 bayesian  maximum-likelihood  likelihood  frequentist  philosophical 

背景：我拥有社会心理学博士学位，在我的定量课程中几乎没有涉及理论统计和数学。通过本科和研究生学校，我通过“经典”常客制框架得到了教育（可能与社会科学中的许多人一样）。现在，我也很喜欢R和使用模拟方法来验证方法，使工作方式对我来说，比数学上的证明更有意义（再次：定量社会科学的背景，而不是理论统计）。惯常方法和模拟方法对我来说意义非凡。因为常客将概率视为长期可能性（例如，如果我执行任意多次，并且这种情况发生在50％的时间中，那么就有50％的概率）。我们可以使用蒙特卡洛方法来模拟这种长期运行！ 并发症：由于大学阶段，我已经很清楚的贝叶斯方法，并一直存在的人在我的生命给我打电话贝叶斯一边，说，结果更容易解释，我们得到概率的一个假设，而不是数据我真的很喜欢这个，参加了贝叶斯课程，阅读了一些贝叶斯书籍和论文，现在对Stan及其相关的R包非常熟悉。 输入Mayo：在思考了一段时间的“贝叶斯可能是未来之路”之后，我读了Deborah Mayo的“ 统计推断”作为“严格测试”。她说，她在书的开头并没有选择任何一方，但她这样做：她是一名常客，许多书都在捍卫常客的方法论。我不想讨论我们是否认为她认为证据有效的方式，但这让我思考：贝叶斯真的是广告宣传的全部吗？我的意思是，贝叶斯人群是如此分散，以至于我什至不知道经常在贝叶斯框架中分析数据的“正确”方法。通常我会用rstanarm现在的点估计值和可信区间...这通常与常客的估计和置信区间非常接近。我可能会进行模型比较，但是我总是害怕将贝叶斯因素描述为后验概率比较等。 更多思考：在梅奥的书中，我一直在思考：有一种方法可以使用计算机来确保我们的常客方法有效，因为从长远来看，概率是可以看到的，并且可以模拟。看来，贝叶斯人甚至不能就概率的确切性达成共识，这取决于贝叶斯学派（默认，主观等）。这引出我的问题： 问题：如果长期未将概率定义为费率，贝叶斯主义者如何使用蒙特卡罗模拟方法验证他们的方法是否正确定义了不确定性（即，计算有效的可信区间和后验分布）？ 示例：我创建一个数据生成器。这只是从伯努利分布中以0.​​5的概率进行模拟： set.seed(1839) p <- .50 n <- 100 gen_dat <- function(n, p) { rbinom(n, 1, p) } 现在，假设我要确保逻辑回归中的置信区间实际上是有效的。我可以多次模拟回归，并确保实际总体值在95％的时间内处于95％的置信区间内。这是一个仅拦截的模型，所以我只想确保自己估计p正确： set.seed(1839) iter <- 10000 results <- sapply(seq_len(iter), function(zzz) { mod <- glm(gen_dat(n, p) ~ 1, binomial) conf <- suppressMessages(confint(mod)) log(p / (1 - p)) < …

11 probability  bayesian  simulation  monte-carlo  frequentist 

在常客统计中，置信区间为95％是一个区间生成过程，如果重复无数次，则95％的时间将包含真实参数。为什么这有用？ 置信区间常常被误解。它们不是我们可以95％确定参数所在的间隔（除非您使用的是类似的贝叶斯可信度间隔）。置信区间对我来说就像个诱饵和开关。 我可以想到的一个用例是提供不能拒绝参数为该值的原假设的值范围。p值不能提供此信息，但是更好吗？不会这么误导？ 简而言之：为什么我们需要置信区间？如果正确解释，它们如何有用？

11 hypothesis-testing  bayesian  mathematical-statistics  confidence-interval  frequentist 

我在这里的博客文章中看到了这张图片。 令我感到失望的是，阅读这份声明并没有像我给这个家伙带来同样的面部表情。 那么，零假设是频繁主义者如何表达无信息先验的陈述意味着什么？是真的吗 编辑：我希望有人可以提供一个慈善的解释，使这个说法正确，即使从某种意义上来说也是这样。

11 hypothesis-testing  bayesian  frequentist  uninformative-prior 

的mgcv软件包R具有两个功能，用于拟合张量积相互作用：te()和ti()。我了解两者之间的基本分工（拟合非线性交互与将这种交互分解为主要效果和交互）。我不明白的是为什么te(x1, x2)而ti(x1) + ti(x2) + ti(x1, x2)可能产生（略）不同的结果。 MWE（改编自?ti）： require(mgcv) test1 <- function(x,z,sx=0.3,sz=0.4) { x <- x*20 (pi**sx*sz)*(1.2*exp(-(x-0.2)^2/sx^2-(z-0.3)^2/sz^2)+ 0.8*exp(-(x-0.7)^2/sx^2-(z-0.8)^2/sz^2)) } n <- 500 x <- runif(n)/20;z <- runif(n); xs <- seq(0,1,length=30)/20;zs <- seq(0,1,length=30) pr <- data.frame(x=rep(xs,30),z=rep(zs,rep(30,30))) truth <- matrix(test1(pr$x,pr$z),30,30) f <- test1(x,z) y <- f + rnorm(n)*0.2 par(mfrow = c(2,2)) # …

11 r  gam  mgcv  conditional-probability  mixed-model  references  bayesian  estimation  conditional-probability  machine-learning  optimization  gradient-descent  r  hypothesis-testing  wilcoxon-mann-whitney  time-series  bayesian  inference  change-point  time-series  anova  repeated-measures  statistical-significance  bayesian  contingency-tables  regression  prediction  quantiles  classification  auc  k-means  scikit-learn  regression  spatial  circular-statistics  t-test  effect-size  cohens-d  r  cross-validation  feature-selection  caret  machine-learning  modeling  python  optimization  frequentist  correlation  sample-size  normalization  group-differences  heteroscedasticity  independence  generalized-least-squares  lme4-nlme  references  mcmc  metropolis-hastings  optimization  r  logistic  feature-selection  separation  clustering  k-means  normal-distribution  gaussian-mixture  kullback-leibler  java  spark-mllib  data-visualization  categorical-data  barplot  hypothesis-testing  statistical-significance  chi-squared  type-i-and-ii-errors  pca  scikit-learn  conditional-expectation  statistical-significance  meta-analysis  intuition  r  time-series  multivariate-analysis  garch  machine-learning  classification  data-mining  missing-data  cart  regression  cross-validation  matrix-decomposition  categorical-data  repeated-measures  chi-squared  assumptions  contingency-tables  prediction  binary-data  trend  test-for-trend  matrix-inverse  anova  categorical-data  regression-coefficients  standard-error  r  distributions  exponential  interarrival-time  copula  log-likelihood  time-series  forecasting  prediction-interval  mean  standard-error  meta-analysis  meta-regression  network-meta-analysis  systematic-review  normal-distribution  multiple-regression  generalized-linear-model  poisson-distribution  poisson-regression  r  sas  cohens-kappa 

我的实际问题在最后两段中，但是要激发他们： 如果我试图估计遵循具有已知方差的正态分布的随机变量的均值，则我已经读过，在均值上放置均等的先验会导致与似然函数成正比的后验分布。在这些情况下，贝叶斯可信区间与频密者置信区间完全重叠，并且贝叶斯最大值后验估计等于频密者最大似然估计。 在简单的线性回归设置中， Y=Xβ+ϵ,ϵ∼N(0,σ2)Y=Xβ+ϵ,ϵ∼N(0,σ2)Y = \textbf{X}\beta+\epsilon, \hspace{1cm} \epsilon\sim N(0,\sigma^2) 推杆上形成均匀的前和前上逆伽马σ 2与后部小的参数值结果β中号甲P，这将是非常相似的频率论β中号大号ë，而对于后验分布的可靠区间的β | X，它将与最大似然估计值周围的置信区间非常相似。他们不会完全一样，因为之前上σ 2ββ\betaσ2σ2\sigma^2β^MAPβ^MAP\hat\beta^{MAP}β^MLEβ^MLE\hat\beta^{MLE}β|Xβ|X\beta|Xσ2σ2\sigma^2施加的影响小的量，并且如果后估计经由MCMC仿真，将介绍差异的另一来源进行，但围绕贝叶斯置信区间β中号甲P和周围频率论置信区间β中号大号ë将彼此之间非常接近，当然，随着样本数量的增加，随着似然性的影响逐渐占主导，它们应该收敛。β^MAPβ^MAP\hat\beta^{MAP}β^MLEβ^MLE\hat\beta^{MLE} 但是我已经读到，在有些回归情况下，这些近等值不成立。例如，具有随机效应的层次回归或逻辑回归-在我所了解的情况下，没有“良好”的目标或参考先验条件。 所以我的一般问题是-假设我想推断P(β|X)P(β|X)P(\beta|X)并且我没有要合并的先前信息，为什么我不能在这些情况下进行频繁的最大似然估计，并将所得的系数估计和标准误解释为贝叶斯MAP估计和标准差，并隐式地对待这些由先验得出的“后验”估计必须是“无信息的”，而没有试图找到会导致这种后验的先验的明确表述？通常，在回归分析领域中，什么时候可以按照这些原则行事（将似然性当作后验对待），什么时候不行？对于不是基于似然性的频繁性方法（例如准似然方法）， 答案是否取决于我的推论目标是系数点估计，还是系数在特定范围内的概率，或预测分布的数量？

11 bayesian  maximum-likelihood  posterior  frequentist 

我是一位工作数据科学家，在回归，其他机器学习类型算法和编程（数据分析和通用软件开发）方面都有扎实的经验。我一生的大部分时间都集中在构建预测精度模型（在各种业务约束下工作），以及构建数据管道以支持我自己（和其他人）的工作。 我没有接受过统计学方面的正规培训，我的大学教育重点是纯数学。因此，错过了学习许多经典主题的机会，尤其是各种流行的假设检验和推论技巧。 这些主题是否有适合我背景和经验水平的人参考？我可以处理（并欣赏）数学上的严格性，也可以欣赏算法的观点。我倾向于喜欢为读者提供指导性练习的参考书，既有（又有）数学和（或）编程方面的重点。

10 hypothesis-testing  references  frequentist  inference 

问题 我想拟合简单的2高斯混合总体的模型参数。考虑到围绕贝叶斯方法的所有炒作，我想了解贝叶斯推断是否比传统拟合方法更好。 到目前为止，MCMC在此玩具示例中的表现非常差，但也许我只是忽略了一些东西。因此，让我们看一下代码。 工具 我将使用python（2.7）+ scipy堆栈，lmfit 0.8和PyMC 2.3。 可以在此处找到重现分析的笔记本 产生数据 首先让我们生成数据： from scipy.stats import distributions # Sample parameters nsamples = 1000 mu1_true = 0.3 mu2_true = 0.55 sig1_true = 0.08 sig2_true = 0.12 a_true = 0.4 # Samples generation np.random.seed(3) # for repeatability s1 = distributions.norm.rvs(mu1_true, sig1_true, size=round(a_true*nsamples)) s2 = …

10 bayesian  gaussian-mixture  frequentist  pymc  method-comparison 

已关闭。这个问题是基于观点的。它当前不接受答案。 想改善这个问题吗？更新问题，以便通过编辑此帖子以事实和引用的形式回答。 去年关闭。 浏览美国新闻统计前100名计划的研究领域，在贝叶斯统计中几乎所有人都很沉重。但是，如果我去低年级学校，他们中的大多数人仍在进行古典/频率统计研究。例如，我目前的学校（在QS世界统计排名中介于150到200之间，因此不被认为是一流学校），只有一位教授关注贝叶斯统计，而对贝叶斯统计几乎感到不满。我采访过的一些研究生甚至说，贝叶斯统计学家正在做贝叶斯统计，因此我当然强烈反对。 但是，我想知道为什么会这样。我有一些有根据的猜测： （a）古典/常用统计的方法学上没有足够的进步空间，古典/常用统计的唯一可行的研究是应用，这将是低年级学校的主要重点，因为顶级学校应该更多倾向于理论和方法研究。 （b）它在很大程度上取决于领域。统计的某些分支仅更适合于贝叶斯统计，例如许多统计方法的科学应用，而其他分支更适合于经典统计（例如金融领域）。（如果我错了，请纠正我）鉴于此，在我看来，顶级学校有很多统计系在科学领域进行申请，而较低级的学校统计系则主要将重点放在财务领域，因为这可以帮助他们创收。和资金。 （c）频繁使用方法存在巨大的问题无法解决，例如容易发生MLE的过度拟合等问题。贝叶斯方法似乎提供了一个出色的解决方案。 （d）计算能力在这里，因此贝叶斯计算不再像30年前那样成为瓶颈。 （e）这可能是我最自以为是的猜测。古典/频率主义统计学家有一个抵制之处，就是他们不喜欢可能会取代古典统计角色的新方法论。但是就像拉里·瓦瑟曼（Larry Wasserman）所说的那样，这取决于我们正在尝试做的事情，每个人都应该保持开放的态度，尤其是作为研究人员。

10 bayesian  frequentist 

关于常客在“概率”下理解的内容，是否有任何正式（数学）定义。我读到这是“从长远来看”的相对发生频率，但是是否有一些正式的方法来定义它？在哪里可以找到该定义的已知参考文献？ 编辑： 对于常客（请参阅@whuber的评论以及我对答案@Kodiologist和@Graeme Walsh的评论，下面的答案），我的意思是那些“相信”这种长期相对频率存在的人。也许这（部分）也回答了@Tim的问题

10 probability  frequentist  definition 

好的-我的原始讯息未能引起回应；因此，让我将问题改写为另一个。我将从决策理论的角度解释我对估计的理解。我没有经过正规的培训，如果我的想法在某种程度上有缺陷，也不会感到惊讶。 假设我们有一些损失函数。预期的损失是（频繁发生的）风险：L （θ ，θ^（x ））L(θ,θ^(x))L(\theta,\hat\theta(x)) [R （θ ，θ^（x ））= ∫L （θ ，θ^（x ））L（θ ，θ^（x ））dX ，R(θ,θ^(x))=∫L(θ,θ^(x))L(θ,θ^(x))dx,R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx, 其中是可能性; 贝叶斯风险是预期的常客风险：L （θ ，θ^（x ））L(θ,θ^(x))\mathcal{L}(\theta,\hat\theta(x)) r （θ ，θ^（x ））= ∫∫[R （θ ，θ^（x ））π（θ ）dX dθ ，r(θ,θ^(x))=∫∫R(θ,θ^(x))π(θ)dxdθ,r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta, 其中是我们的先验。π（θ ）π(θ)\pi (\theta) 在一般情况下，我们发现了θ（X ），最大限度地减少[R而这一切工作地非常好; 而且富比尼定理适用，我们可以反向整合的顺序，使任何给定的θ（X ）最小化[R是独立于所有其他人。这样就不会违反似然性原则，并且让我们对成为贝叶斯等感到满意。θ^（x ）θ^(x)\hat\theta(x)[Rrrθ^（x ）θ^(x)\hat\theta(x)[Rrr 例如，给定大家熟悉的平方误差损失，我们的频率论风险是均方误差或平方偏差和方差和我们的总和贝叶斯风险是给定我们先前的即后验期望损失的期望偏差和方差的平方和。L （θ ，θ^（x ））= （θ - …

10 bias  loss-functions  frequentist  decision-theory  risk 

我正在尝试在R中拟合离散时间模型，但不确定如何执行。 我读过您可以将因变量组织在不同的行中，每个时间观察行一个，并将该glm函数与logit或cloglog链接一起使用。从这个意义上讲，我有三列：ID，Event（在每个时间范围内为1或0）和Time Elapsed（自观察开始以来）以及其他协变量。 如何编写适合模型的代码？哪个因变量？我想我可以将其Event用作因变量，并将其包括Time Elapsed在协变量中。但是，会发生什么ID呢？我需要吗？ 谢谢。

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

Casella和Berger表示ML估计量的不变性如下： 但是，在我看来，他们以完全临时的，荒谬的方式定义的“可能性” ：ηη\eta 如果我将概率论的基本规则应用于简单情况，我将得到以下结果： 现在应用贝叶斯定理，然后应用和是互斥的，因此我们可以应用求和规则： 大号（η | X ）= p （X | θ 2 = η ）= p （X | θ = - √η= τ（θ ）= θ2η=τ（θ）=θ2\eta=\tau(\theta)=\theta^2甲乙p（X|甲∨乙）=p（X） p （甲∨ 乙| X ）L （η| x）=p（x | θ2= η）= p （X | θ = - η–√∨ θ = η–√）= ： p （X …

9 self-study  bayesian  maximum-likelihood  frequentist  invariance 

题： 对p值的一个普遍误解是，它们代表原假设为真的概率。我知道这是不正确的，并且我知道p值仅代表找到样本的可能性，因为原假设是真的。但是，从直觉上讲，一个人应该能够从后者派生第一个。没有人这样做，一定有原因。我们缺少哪些信息，这些信息限制了我们从p值和相关数据得出假设成立的可能性？ 例： 我们的假设是“维生素D影响情绪”（无效假设是“无效”）。假设我们对1000人进行了适当的统计研究，发现情绪与维生素水平之间存在相关性。在所有其他条件相同的情况下，p值0.01表示真实假设的可能性比p值0.05更高。假设我们得到的p值为0.05。为什么我们不能计算假设为真的实际概率？我们缺少什么信息？ 常客统计学家的备用术语： 如果您接受我的问题的前提，则可以在这里停止阅读。以下内容适用于拒绝接受假设可以进行概率解释的人们。让我们暂时忘记术语。代替... 假设您与朋友下注。您的朋友向您展示了有关无关主题的一千项统计研究。对于每个研究，您只能查看p值，样本大小和样本的标准偏差。对于每项研究，您的朋友都会给您提供一定的机会来打赌研究中提出的假设是正确的。您可以选择下注或不下注。在为所有1000项研究下注后，一个先知会升华，并告诉您哪个假设是正确的。此信息使您可以下注。我的主张是该游戏存在最佳策略。在我的世界观中，这相当于知道假设为真的概率，但是如果我们不同意，那就很好。在那种情况下，我们可以简单地讨论采用p值以最大程度地期望下注的方法。

9 hypothesis-testing  bayesian  p-value  frequentist