Questions tagged «inference»

我正在使用一个小的数据集（21个观测值），并且在R中具有以下常规QQ图： 看到该图不支持正态性，我可以推断出基础分布如何？在我看来，更偏向右侧的分布会更合适，对吗？此外，我们还可以从数据中得出哪些其他结论？

172 r  data-visualization  inference  qq-plot 

随着人们对统计数据产生兴趣，二分法“ Frequentist”与“ Bayesian”很快就变得司空见惯了（谁还没有读过Nate Silver的《信号与噪声》？）。在讲座和入门课程中，观点绝大多数是常客（MLE，值），但往往只花很少的时间来欣赏贝叶斯公式并触及先验分布的想法，通常是切向的。ppp 讨论贝叶斯统计的语气在对概念基础的尊重与对崇高目标之间的鸿沟的怀疑以及暗示对先验分布的选择的任意性或最终使用频数数学之间摇摆不定。 诸如“如果您是贝叶斯人的核心...”之类的句子比比皆是。 问题是，今天的贝叶斯是谁？他们是某些精选的学术机构，您知道如果您去那里会成为贝叶斯主义者？如果是这样，他们是否受到特别追捧？我们仅指的是一些受人尊敬的统计学家和数学家，如果是的话，他们是谁？ 它们甚至以纯正的“贝叶斯”形式存在吗？他们会愉快地接受标签吗？它总是一个讨人喜欢的区别吗？他们是在会议上有奇特幻灯片的数学家，没有任何值和置信区间，容易在小册子上发现吗？ppp “贝叶斯”成为一个利基市场？我们是指少数统计学家吗？ 还是当前的贝叶斯主义等于机器学习应用程序？ ...或者甚至更有可能是，贝叶斯统计不是仅仅是统计的一个分支，而是一种超越了概率计算范围而成为科学哲学的认识论运动吗？在这方面，所有科学家都将是贝叶斯的内心……但是就不会有纯粹的贝叶斯统计学家无法渗透到频繁主义者的技术（或矛盾）中。

92 bayesian  mathematical-statistics  inference  bayes  frequentist 

解释某人方差概念的最干净，最简单的方法是什么？直觉上是什么意思？如果要向他们的孩子解释这一点，那该怎么办？ 这是我很难阐明的概念，尤其是在将差异与风险相关时。我在数学上理解它，也可以用这种方式解释它。但是，在解释现实世界现象时，可以这么说，您如何理解方差及其在“现实世界”中的适用性。 假设我们正在使用随机数来模拟对股票的投资（滚动骰子或使用Excel表格都没关系）。通过将随机变量的每个实例与回报中的“某些变化”相关联，我们可以获得“投资回报”。例如。： 滚动1意味着0.8％的变化$ 1的投入，5 1.1％的变化$ 1等。 现在，如果此模拟运行大约50次（或20或100），我们将获得一些价值和最终投资价值。那么，“方差”实际上告诉我们是否要根据上述数据集进行计算？一个“看到”的是什么-如果方差变成1.7654或0.88765或5.2342，这甚至意味着什么？我对这项投资有何看法？我可以得出一些结论-用外行的话来说。 请也随意增加标准偏差的问题！尽管我觉得理解起来“更容易”，但是将有助于使它也“直观地”变得清晰起来，这一点将不胜感激！

81 distributions  variance  standard-deviation  inference  intuition 

标题中的问题是不言而喻的，但我想提供一些背景信息。 ASA在本周早些时候发布了“ 关于p值：上下文，过程和目标 ”的声明，概述了对p值的各种常见误解，并敦促在没有上下文和思想的情况下不要使用它（可以这样说）。任何统计方法，真的）。 为了回应ASA，马特洛夫（Matloff）教授写了一篇博客文章：150年后，ASA对p值表示否。然后，本杰米尼（Benjamini）教授（和我）写了一篇题为“ 这不是p值的过错 –对最近ASA声明的反思”的回复。作为回应，马特洛夫教授在后续帖子中问： 我想看到的是一个很好的，令人信服的示例，其中p值很有用。那确实是底线。 要引用他的两个主要论点反对的用处 -值：ppp 对于大样本，显着性检验是针对原假设的微小，不重要的偏离而发动的。 在现实世界中，几乎没有零假设是真实的，因此对它们进行显着性检验是荒谬而离奇的。 我对其他经过交叉验证的社区成员对这个问题/论点的看法以及对它的良好回应感到非常感兴趣。

64 hypothesis-testing  bayesian  p-value  inference  frequentist 

以下摘录摘自条目：一尾测试和二尾测试之间有何区别？，位于UCLA的统计信息帮助网站上。 ...考虑在另一个方向上失去效果的后果。想象您已经开发了一种新药，您认为这是对现有药物的改进。您希望最大程度地发现改进的能力，因此选择单尾测试。这样，您将无法测试新药是否比现有药物有效的可能性。 在学习了假设测试的绝对基础并了解了关于一个尾巴测试与两个尾巴测试的那一部分之后...我了解了一个尾巴测试的基本数学和增加的检测能力，等等​​。。。但是我只是无法缠住我的头一件事...有什么意义？我真的不明白为什么当样本结果只能是一个或另一个，或者两者都不是时，为什么要在两个极端之间分配alpha值。 以上面引用的文本为例。您怎么可能在相反方向上“无法测试”结果？您有样本均值。你有人口平均数。简单的算术告诉您哪个更高。在相反的方向上有哪些测试或失败测试？如果您清楚地看到样本均值偏离了另一个方向，是什么使您从头开始却有了相反的假设呢？ 同一页上的另一句话： 在运行无法拒绝原假设的二尾检验之后选择一尾检验是不合适的，无论二尾检验与显着性有多“接近”。 我认为这也适用于切换单尾测试的极性。但是，与您只选择了正确的单尾测试一开始相比，这种“医生化”结果的有效性如何呢？ 显然，我在这里错过了大部分图片。这一切似乎太武断了。从某种意义上说，这是什么意思，即“具有统计意义的意义”-95％，99％，99.9％...首先是任意的。

59 hypothesis-testing  statistical-significance  inference 

如果兴趣只是估计模型的参数（逐点和/或区间估计）而先前的信息不可靠，较弱，（我知道这有点含糊，但我正在尝试建立一个选择先验是困难的）...为什么有人会选择使用“非信息”不正确先验的贝叶斯方法，而不是经典方法？

44 bayesian  inference  prior  likelihood  information 

这似乎是一个基本问题，但是我只是意识到我实际上不知道如何从两个不同的回归中检验系数的相等性。谁能对此有所启发？ 更正式地说，假设我运行以下两个回归： 和 其中表示回归的设计矩阵，表示回归的系数向量。请注意，和可能存在很大差异，具有不同的尺寸等。例如，我对是否感兴趣。y1=X1β1+ϵ1y1=X1β1+ϵ1 y_1 = X_1\beta_1 + \epsilon_1 y2=X2β2+ϵ2y2=X2β2+ϵ2 y_2 = X_2\beta_2 + \epsilon_2 XiXiX_iiiiβiβi\beta_iiiiX1X1X_1X2X2X_2β^11≠β^21β^11≠β^21\hat\beta_{11} \neq \hat\beta_{21} 如果这些来自相同的回归，那将是微不足道的。但是由于它们来自不同的人，所以我不确定该怎么做。有没有人有想法或可以给我一些建议？ 我的问题的细节是：我的第一个直觉是看置信区间，如果它们重叠，那么我会说它们本质上是相同的。但是，此过程未附带正确的测试量（例如，每个单独的置信区间的，但是共同查看它们的概率将不同）。我的第二个直觉是进行正常的t检验。也就是说，拿α=0.05α=0.05\alpha=0.05 β11−β21sd(β11)β11−β21sd(β11) \frac{\beta_{11}-\beta_{21}}{sd(\beta_{11})} 其中被用作我的原假设的值。但是，这没有考虑的估计不确定性，答案可能取决于回归的顺序（我将其称为1和2）。β21β21\beta_{21}β21β21\beta_{21} 我的第三个想法是像在标准测试中那样，对来自同一回归的两个系数是否相等进行测试，即 β11−β21sd(β11−β21)β11−β21sd(β11−β21) \frac{\beta_{11}-\beta_{21}}{sd(\beta_{11}-\beta_{21})} 由于两者均来自不同的回归，因此出现了复杂性。注意 Var(β11−β21)=Var(β11)+Var(β21)−2Cov(β11,β21)Var(β11−β21)=Var(β11)+Var(β21)−2Cov(β11,β21) Var(\beta_{11}-\beta_{21}) = Var(\beta_{11}) + Var(\beta_{21}) -2 Cov(\beta_{11},\beta_{21}) 但由于它们来自不同的回归，我如何获得？Cov(β11,β21)Cov(β11,β21)Cov(\beta_{11},\beta_{21}) 这导致我在这里提出这个问题。这必须是标准程序/标准测试，但我发现没有任何与该问题足够相似的东西。因此，如果有人可以指出正确的程序，我将不胜感激！

44 hypothesis-testing  inference 

我想知道是否有人根据数据的特征（观察数等）和/或所包含的变量了解有关应使用的引导程序样本数量的任何一般经验法则？

40 bootstrap  inference  monte-carlo 

RA Fisher的最新贡献之一是基准间隔和基准原则性论证。但是，这种方法远没有像常客主义者或贝叶斯原则论证那样受欢迎。基准论据是什么？为什么未被接受？

33 inference  philosophical  fiducial 

在基本的本科统计课程中，通常会教学生（假设？）针对总体平均值的假设检验。 为什么重点放在均值而不是中位数？我的猜测是，由于中心极限定理，测试均值更容易，但是我很想阅读一些有根据的解释。

32 hypothesis-testing  mean  inference  median 

我将通过一个示例提出这个问题。 假设我有一个数据集，例如波士顿住房价格数据集，其中有连续的和分类的变量。在这里，我们有一个“质量”变量（从1到10）和销售价格。通过（任意）创建质量截止值，我可以将数据分为“低”，“中”和“高”质量房屋。然后，使用这些分组，我可以绘制销售价格的直方图。像这样： 在此，“低”是，和“高”是> 7上的“质量”的分数。现在，我们可以得出三个组中每个组的销售价格分布。显然，中型和高质量房屋的位置中心不同。现在，完成所有这些操作后，我认为“嗯。位置中心似乎有所不同！为什么不对均值进行t检验？”。然后，我得到一个p值，它似乎正确地拒绝了均值没有差异的零假设。≤ 3≤3\leq 3> 7>7>7 现在，假设在绘制数据之前，我没有想到要检验此假设。 这是在挖泥吗？ 如果我想：“我敢打赌，优质房子的价格会更高，因为我以前是住在这所房子里的人。我要对数据进行绘图。啊哈！看起来不一样！时间还在吗？”进行t检验！” 自然地，如果收集数据集是为了一开始就检验这个假设，那不是数据挖掘。但是通常必须处理提供给我们的数据集，并被告知“寻找模式”。考虑到这个模糊的任务，某人如何避免数据挖掘？创建测试数据的保留集？可视化是否“算作”窥探机会来测试数据提出的假设？

31 hypothesis-testing  data-visualization  p-value  dataset  inference 

有时在报告中，我会提供有关p值和我提供的其他推论统计信息的免责声明。我说由于样本不是随机的，因此此类统计数据将不严格适用。我的具体措辞通常在脚注中给出： “虽然严格地说，推理统计仅适用于随机抽样，但我们遵循惯例报告重要程度和/或置信区间，即使对于非随机样本也作为方便的准绳。请参阅迈克尔·奥克斯的 统计推断：关于社会和社会的评论行为科学 （NY：Wiley，1986）。 在某些情况下（一次是同行评审论文，一次是非学术性论文，一次是两次），编辑或审稿人对此免责声明表示反对，称其令人困惑，并认为推论性结论应与书面陈述相符。 （并获得权威的保护）。有没有其他人遇到这个问题并找到了一个好的解决方案？一方面，即使是在随机抽样的情况下，人们对p值的理解通常也是令人沮丧的，因此我们所说的内容无关紧要。另一方面，进一步加剧误解似乎是问题的一部分。我应该补充一点，我经常处理调查研究，在这些研究中，不应用随机分配，并且在其中蒙特卡罗模拟通常不能解决代表性问题。

31 inference  p-value 

在机器学习的背景下，“推理”和“估计”之间有什么区别？ 作为一个新手，我觉得我们可以推断随机变量并估计模型参数。我的理解正确吗？ 如果没有，确切的区别是什么，我应该何时使用？ 另外，“ learn”的同义词是什么？

30 machine-learning  inference  terminology 

我将用一个例子来解释我的问题。假设您要根据以下属性预测个人的收入：{年龄，性别，国家/地区，城市}。你有一个像这样的训练数据集 train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

如果您随机抽取一个样本并且可以看到它显然不具有代表性，那会是怎么回事，就像最近的问题一样。例如，如果假设人口分布在0附近是对称的，而您随机抽取的样本具有不平衡的正负观测值，并且不平衡在统计上是显着的，那又会如何呢？您可以根据有偏见的样本对总体做出哪些合理的表述？在这种情况下，什么是合理的行动方针？在我们的研究中何时注意到这种不平衡情况是否重要？

28 sampling  experiment-design  inference  sample