Questions tagged «frequentist»

对于平坦的先验，ML（频率-最大似然）和MAP（贝叶斯-最大后验）估计量是重合的。 但是，更笼统地说，我说的是作为某些损失函数的优化子而得出的点估计量。即 ）X（x^(.)=argminE(L(X−x^(y))|y) (Bayesian) x^(.)=argminE(L(X−x^(y))|y) (Bayesian) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(X-\hat x(y)) \; | \; y \right) \qquad \; \,\text{ (Bayesian) } x^(.)=argminE(L(x−x^(Y))|x)(Frequentist)x^(.)=argminE(L(x−x^(Y))|x)(Frequentist) \hat x(\,. ) = \text{argmin} \; \mathbb{E} \left( L(x-\hat x(Y)) \; | \; x \right) \qquad \text{(Frequentist)} 其中EE\mathbb{E}是期望算子，LLL是损失函数（最小为零），x^(y)x^(y)\hat x(y) 是估计器，给定参数x的数据y，并且随机变量用大写字母表示。yyyxxx 是否有人知道LLL，xxx和y的pdf yyy，施加的线性度和/或无偏度的任何条件，这些条件在哪些条件下估计会重合？ 编辑 …

17 bayesian  estimation  loss-functions  frequentist  decision-theory 

罗比McKilliam说，在一个评论这个职位： 应该指出的是，从常客的观点来看，没有理由不能将先验知识整合到模型中。从这个意义上讲，常客视图更简单，您只有一个模型和一些数据。无需将先验信息与模型分开 另外，@ jbowman 在这里说，常客通过成本/罚函数使用正则化，而贝叶斯算法则可以将其作为先验： 频繁的人意识到正则化是好的，并且如今已经非常普遍地使用它-贝叶斯先验可以很容易地解释为正则化。 因此，我的问题是，贝叶斯主义者通常可以将贝叶斯主义者指定为先验者的常识纳入他们的模型吗？以正则化为例，成本/罚函数是否真的集成到了模型中，或者这仅仅是调整解决方案（以及使其唯一）的纯人工方式？

17 bayesian  prior  regularization  frequentist 

有没有人对各种统计方法写过简短的调查？初步估计，您具有常客和贝叶斯统计。但是，当您仔细观察时，还可以使用其他方法，例如似然论和经验贝叶斯。然后在组内进行细分，例如贝叶斯统计中的主观贝叶斯目标贝叶斯等。 调查文章会很好。如果包含图表，那就更好了。

17 bayesian  frequentist  philosophical 

对于给定的推理问题，我们知道贝叶斯方法通常在形式和结果上都不同于后继方法。经常有人（通常包括我在内）经常指出，他们的方法不需要先验，因此更多是“数据驱动”而不是“判断驱动”。当然，贝叶斯定律可以指向非信息性先验，或者说是实用的，只使用一个真正的分散先验。 我的担忧，尤其是在对惯常的客观性感到自鸣得意之后，尤其是我声称的“客观”方法可以在贝叶斯框架中提出，尽管有一些不同寻常的先验和数据模型。在那种情况下，我只是幸福地对荒谬的先验知识一无所知，并且仿照我的常客主义方法所暗示的那样吗？ 如果贝氏指出，这样的提法，我想，我的第一反应是说“嗯，这是很好的，你可以这样做，但我怎么这不是想这个问题！”。但是，谁在乎我如何看待它或如何制定它。如果我的程序在统计学上/数学上等效于某些贝叶斯模型，那么我隐式地（不经意间！）执行贝叶斯推断。 下面的实际问题 这种认识大大破坏了任何自鸣得意的诱惑。但是，我不确定贝叶斯范式是否可以容纳所有惯常做法（同样，只要贝叶斯选择合适的先验和可能性）是否成立。我知道相反的说法是错误的。 我之所以这样问，是因为我最近发布了一个关于条件推断的问题，这使我想到了以下论文：在此处（请参阅3.9.5,3.9.6） 他们指出了Basu的著名结果，即可能有不止一个辅助统计信息，这引发了关于哪个“相关子集” 最相关的问题。更糟糕的是，它们显示了两个示例，这些示例说明即使您具有唯一的辅助统计信息，也无法消除其他相关子集的存在。 他们继续得出结论，只有贝叶斯方法（或与之等效的方法）才能避免此问题，从而实现无条件的条件推断。 贝叶斯统计惯常主义统计可能并非如此-这是我在这里向这个小组提出的问题。但是看来，这两种范式之间的根本选择在于哲学上而不是目标上：您需要较高的条件精度还是较低的无条件误差：⊃⊃\supset 当我们必须分析一个奇异的实例时，高条件精度似乎是适用的-尽管这种方法可能不适用于下一个数据集（超条件/专业化），但我们希望适合这种特殊的推断。 如果在某些情况下我们愿意做出有条件的错误推断，则低无条件错误是合适的，只要我们将长期运行的错误最小化或加以控制即可。老实说，写完这篇文章后，我不确定为什么要这么做，除非我被束缚了时间并且无法进行贝叶斯分析……嗯。 我倾向于基于似然的惯性论推论，因为我从似然函数中得到了一些（渐近/近似）条件性，但不需要摆弄先验条件-但是，我对贝叶斯推论越来越适应，尤其是当我看到了用于小样本推断的先前的aa 正则化术语。 抱歉，放在一边。我的主要问题的任何帮助表示赞赏。

15 bayesian  inference  likelihood  likelihood-ratio  frequentist 

常客对电压表的故事及其变化有何看法？其背后的想法是，如果后来获悉那些假设事件不可能像假设的那样发生，那么必须对吸引假设事件的统计分析进行修订。 在维基百科上的故事的版本如下。 工程师抽取电子管的随机样本并测量其电压。测量范围为75至99伏。统计员计算样本均值和真实均值的置信区间。后来统计学家发现电压表的读数只能读到100，因此人口似乎被“审查了”。如果统计学家是正统的，这就需要进行新的分析。但是，工程师说，他还有另一个读到1000伏特的电表，如果电压超过100伏，他会使用该电表。这对统计学家来说是一件轻松的事，因为这意味着人口实际上是未经审查的。但是，第二天，工程师通知统计人员该第二个仪表在测量时没有工作。统计人员确定工程师在仪表固定好之前不会暂停测量，并告知他需要新的测量。工程师大为震惊。“接下来，您会问我的示波器”。 这个故事显然是愚蠢的，但我不清楚用它取笑的方法会带来什么自由。我敢肯定，在这种情况下，繁忙的应用统计学家不会为此担心，但是铁杆学术常客呢？ 使用教条常识性方法，我们是否需要重复实验？我们能否从现有数据中得出任何结论？ 为了解决故事中提出的更笼统的观点，如果我们想利用已经拥有的数据，是否可以对假设结果进行必要的修改以适应常人主义框架？

15 likelihood  frequentist 

一些贝叶斯主义者抨击常识性推断，指出“没有唯一的采样分布”，因为这取决于研究者的意图（Kruschke，Aguinis和Joo，2012，第733页）。 例如，某位研究人员开始收集数据，但在40名参与者参加之后，他的资金却被意外削减。此处如何定义采样分布（以及后续的CI和p值）？我们是否仅假设每个组成样本的N = 40？还是由不同N的样本组成，每个样本的大小由他的资金可能被削减的其他随机次数决定？ 教科书中的t，F，卡方（等）零分布均假设N对于所有组成样本都是固定且恒定的，但实际上可能并非如此。对于每个不同的停止过程（例如，在一定时间间隔后或直到我的助手厌倦为止），似乎存在不同的采样分布，并且使用这些“尝试且真实的”固定N分布是不合适的。 这种批评对频繁出现的CI和p值的合法性有多大损害？有理论上的反驳吗？似乎通过攻击采样分布的概念，频繁推断的整个体系是微不足道的。 任何学术参考都将不胜感激。

15 distributions  inference  frequentist 

给定两个长度均为n的数组x和y，我拟合了模型y = a + b * x，并希望计算斜率的95％置信区间。这是（b-delta，b + delta），其中b是通常找到的， delta = qt(0.975,df=n-2)*se.slope se.slope是斜率的标准误差。从R获得斜率标准误差的一种方法是summary(lm(y~x))$coef[2,2]。 现在，假设我写出给定x和y的斜率的可能性，将其乘以“平坦”的先验，然后使用MCMC技术从后验分布中得出样本m。限定 lims = quantile(m,c(0.025,0.975)) 我的问题：(lims[[2]]-lims[[1]])/2大约等于上面定义的增量吗？ 附录下面是一个简单的JAGS模型，这两个模型似乎有所不同。 model { for (i in 1:N) { y[i] ~ dnorm(mu[i], tau) mu[i] <- a + b * x[i] } a ~ dnorm(0, .00001) b ~ dnorm(0, .00001) tau <- pow(sigma, -2) …

15 r  regression  bayesian  confidence-interval  frequentist 

作为一个物理专业的学生，​​我大概经历了六次“为什么我是贝叶斯”的演讲。总是一样的-主持人自鸣得意地解释了贝叶斯解释如何优于大众所称的常客主义解释。他们提到了贝叶斯规则，边缘化，先验和后验。 真实的故事是什么？ 是否有适用于常客统计数据的合法适用范围？（肯定要多次采样或滚动模具吗？） 除了“贝叶斯”和“频率论者”之外，还有没有其他有用的概率论？

15 probability  bayesian  frequentist 

通常情况下，具有95％覆盖率的置信区间与包含95％后验密度的可信区间非常相似。当先验是均匀的或在后者情况下接近均匀时，会发生这种情况。因此，置信区间通常可以用来近似可信区间，反之亦然。重要的是，我们可以由此得出结论，对于许多简单的用例而言，将置信区间作为可信区间的误解很多，几乎没有实际意义。 有许多没有发生这种情况的例子，但是它们似乎都被贝叶斯统计的拥护者挑剔，试图证明这种惯常方法是有问题的。在这些示例中，我们看到置信区间包含不可能的值等，这应该表明它们是无稽之谈。 我不想回顾那些例子，也不想对贝叶斯与频频主义者进行哲学讨论。 我只是在寻找相反的例子。在任何情况下，置信度和可信度间隔都大不相同，并且置信度过程提供的间隔明显更好吗？ 需要说明的是：这是通常期望可信区间与相应的置信区间重合的情况，即使用先验，统一等先验时的情况。我对有人选择事先任意决定的情况不感兴趣。 编辑： 为响应@JaeHyeok Shin的以下回答，我必须不同意他的示例使用正确的可能性。我使用近似贝叶斯计算来估计下面R中theta的正确后验分布： ### Methods ### # Packages require(HDInterval) # Define the likelihood like <- function(k = 1.2, theta = 0, n_print = 1e5){ x = NULL rule = FALSE while(!rule){ x = c(x, rnorm(1, theta, 1)) n = length(x) x_bar = mean(x) rule = …

14 bayesian  confidence-interval  frequentist  credible-interval 

统计推断的经典处理方法基于这样的假设，即使用了正确指定的统计数据。也就是说，生成观测数据的分布是统计模型： 但是，在大多数情况下，我们不能假设这是真的。我想知道，如果我们放弃正确指定的假设，统计推断程序会发生什么。P∗(Y)P∗(Y)\mathbb{P}^*(Y)yyyMM\mathcal{M}P∗(Y)∈M={Pθ(Y):θ∈Θ}P∗(Y)∈M={Pθ(Y):θ∈Θ}\mathbb{P}^*(Y) \in \mathcal{M}=\{\mathbb{P}_\theta(Y) :\theta \in \Theta\} 我发现怀特1982年在误配下对ML估计进行了一些研究。有人认为最大似然估计量是的一致估计量 可使统计模型内所有分布和真实分布\ mathbb {P} ^ *中的KL散度最小。Pθ1=argminPθ∈MKL(P∗,Pθ)Pθ1=arg⁡minPθ∈MKL(P∗,Pθ)\mathbb{P}_{\theta_1}=\arg \min_{\mathbb{P}_\theta \in \mathcal{M}} KL(\mathbb{P}^*,\mathbb{P}_\theta)P∗P∗\mathbb{P}^* 置信度估计量会怎样？让我们概述置信度估计量。令 δ:ΩY→2Θδ:ΩY→2Θ\delta:\Omega_Y \rightarrow 2^\Theta为集合估计量，其中ΩYΩY\Omega_Y是样本空间，2Θ2Θ2^\Theta是在参数空间\ Theta上设置的功效ΘΘ\Theta。我们想知道的是\ delta产生的集合δδ\delta包含真实分布P∗P∗\mathbb{P}^*，即P∗(P∗∈{Pθ:θ∈δ(Y)}):=A.P∗(P∗∈{Pθ:θ∈δ(Y)}):=A.\mathbb{P}^*(\mathbb{P}^* \in \{P_\theta : \theta \in \delta(Y)\}):=A. 但是，我们当然不知道真实的分布P∗P∗\mathbb{P}^*。正确指定的假设告诉我们P∗∈MP∗∈M\mathbb{P}^* \in \mathcal{M}。但是，我们仍然不知道模型是哪种分布。但是，infθ∈ΘPθ(θ∈δ(Y)):=Binfθ∈ΘPθ(θ∈δ(Y)):=B\inf_{\theta \in \Theta} \mathbb{P}_\theta(\theta \in \delta(Y)):=B是概率A的下限AAA。公式BBB是置信度集合估计器的置信度水平的经典定义。 如果我们放弃正确指定的假设，那么不一定是的下界，是我们实际上感兴趣的术语。确实，如果我们假设模型指定不正确（在大多数现实情况下都是如此），则为0，因为统计模型不包含真实分布。A A P * MBBBAAAAAAP∗P∗P^*MM\mathcal{M} 从另一个角度来看，当模型指定不正确时，人们可能会想到与什么相关。这是一个更具体的问题。如果模型指定不正确，是否仍然具有含义。如果没有，为什么我们还要打扰参数统计呢？乙BBBBBB 我猜怀特1982年在这些问题上有一些结果。不幸的是，由于缺乏数学背景，我无法理解那里写的很多东西。

14 hypothesis-testing  confidence-interval  model  frequentist  misspecification 

我经常听到有人声称贝叶斯统计数据可能是高度主观的。主要论点是推论取决于先验的选择（即使可以使用无差异或最大熵的原理来选择先验）。相比之下，常客统计通常更客观。这句话有多少道理？ 另外，这让我感到奇怪： 经常性统计的具体要素（如果有）中哪些是特别主观的，在贝叶斯统计中不存在或不太重要？ 贝叶斯主义的主观性是否比常客主义的统计更为普遍？

14 bayesian  interpretation  frequentist  philosophical 

我正在阅读凯文·墨菲（Kevin Murphy）的著作《机器学习-概率论》中有关频繁统计的章节。引导程序部分内容为： 引导程序是一种简单的蒙特卡洛技术，用于近似采样分布。这在估算器是真实参数的复杂函数的情况下特别有用。 这个想法很简单。如果我们知道真实参数，则对于s = 1，我们可以从真实分布x_i ^ s \ sim p（·|θ^ ∗）生成许多​​（例如）伪数据集，每个伪数据集的大小为N ： S，i = 1：N。然后，我们可以根据每个样本\ hat {\ theta ^ s} = f（x ^ s_ {1：N}）计算估计量，然后 将所得样本的经验分布用作我们对采样分布的估计。由于\ theta是未知的，因此参数引导程序的想法是改为使用\ hat {\ theta}（D）生成样本。小号Ñ X 小号我〜p（· | θ *）小号=1：小号，我=1：Ñ ^ θ 小号 =˚F（ X 小号1 ：Ñ）θθ∗θ∗θ^∗SSSNNNxsi∼p(⋅|θ∗)xis∼p(·|θ∗)x_i^s \sim p (·| θ^∗ )s=1:S,i=1:Ns=1:S,i=1:Ns = 1 …

14 bootstrap  frequentist 

简而言之：探索性数据分析的贝叶斯和频率论方法有什么区别吗？ 我不知道EDA方法中的固有偏差，因为直方图是直方图，散点图是散点图等，我也没有找到关于EDA的讲授或呈现方式差异的示例（忽略了A. Gelman的特别理论论文） 。最后，我看了CRAN，它是所有应用的仲裁者：我没有找到适合贝叶斯方法的软件包。但是，我认为CV可能会有一些人对此有所了解。 为什么要有差异？ 对于初学者： 在确定适当的先验分布时，不应该用肉眼进行调查吗？ 在汇总数据并建议是使用常客模型还是贝叶斯模型时，EDA是否不建议选择哪个方向？ 两种方法在如何处理混合模型方面有非常明显的区别。鉴定样本可能来自人群混合是具有挑战性的，并且与用于估计混合物参数的方法直接相关。 两种方法都包含随机模型，并且通过了解数据来驱动模型的选择。更复杂的数据或更复杂的模型需要在EDA中花费更多时间。鉴于随机模型或生成过程之间的这种区别，EDA活动存在差异，因此，难道不应该因不同的随机方法而产生区别吗？ 注1：我并不关心“阵营”的哲学-我只想解决我的EDA工具包和方法中的任何空白。

14 bayesian  frequentist  eda 

我经常听到这个短语，但从未完全理解它的意思。短语“良好的常客属性”目前在Google上有2750笔点击，在Scholar.google.com 上有 536笔，在stats.stackexchange.com上有4笔。 我发现一个明确的定义最接近来自最终幻灯片在这个斯坦福大学演讲，其状态 报告95％置信区间的意思是，即使在不同的估计问题之间，您也可以将“真实”参数“圈住”在您提出的95％的索赔中。这是具有良好的频繁性的估计程序的定义特征：它们在重复使用时经过仔细检查。 对此进行一点思考，我认为“良好的频率特性”一词意味着对贝叶斯方法，特别是区间构造的贝叶斯方法的某种评估。我知道贝叶斯区间意味着包含概率为的参数的真实值。频率间隔的构造应使得，如果间隔构造的过程被重复了很多次，则大约p * 100 ％pppp * 100 ％p∗100%p*100\%的间隔将包含参数的真实值。贝叶斯间隔通常不会保证间隔的百分比将覆盖参数的真实值。但是，某些贝叶斯方法也碰巧具有这样的性质：如果重复很多次，它们将覆盖大约的真实值。当他们拥有该属性时，我们就说它们具有“良好的常客属性”。p * 100 ％p∗100%p*100\% 是对的吗？我认为这还不止于此，因为该短语是指良好的常客属性，而不是具有良好的常客属性。

12 bayesian  terminology  frequentist 

我正在阅读统计学家威廉·布里格斯（William Briggs）的博客文章，以下说法至少使我感兴趣。 你是怎么做的？ 什么是置信区间？当然，这是一个方程式，它将为您提供数据间隔。旨在提供对参数估计值不确定性的度量。现在，严格按照频率论者的理论（甚至可以假设它是真实的），您可以说的关于现有CI的唯一一件事就是参数的真实值位于其中或不存在。这是重言式，因此始终如此。因此，CI根本无法提供不确定性的度量：实际上，计算不确定性是无用的。 链接：http：//wmbriggs.com/post/3169/

12 confidence-interval  frequentist  philosophical