Questions tagged «confidence-interval»

背景： 我有一个要在尾部分布较大的情况下建模的样本。我有一些极端的值，以至于观察值的分布相对较大。我的想法是使用广义Pareto分布对此建模，所以我做到了。现在，我的经验数据的0.975分位数（约100个数据点）低于我拟合到我的数据的广义帕累托分布的0.975分位数。我想，现在有什么方法可以检查这种差异是否值得担心吗？ 我们知道分位数的渐近分布为： 因此，我认为通过尝试在广义Pareto分布的0.975分位数附近绘制95％的置信带，并使用与我拟合数据时得到的参数相同的参数来激发我的好奇心是个好主意。 如您所见，我们在这里使用一些极限值。而且由于分布是如此之大，因此密度函数的值非常小，使用上面的渐近正态性公式的方差使置信带达到的数量级：± 1012±1012\pm 10^{12} ± 1.96 0.975 * 0.025Ñ （˚Fg ^ Pd（q0.975））2±1.960.975∗0.025ñ（FGPd（q0.975））2\pm 1.96\frac{0.975*0.025}{n({f_{GPD}(q_{0.975})})^2} 因此，这没有任何意义。我的分布只有积极的结果，而置信区间包括负值。所以这里发生了一些事情。如果我计算0.5分位数附近的谱带，则谱带并不是那么大，但仍然很大。 我继续看一下如何与另一个分布，即分布一起使用。从分布模拟观测值，并检查分位数是否在置信带内。我这样做了10000次，以查看置信区间内模拟观察值的0.975 / 0.5分位数的比例。ñ（1 ，1 ）ñ（1个，1个）\mathcal{N}(1,1)n = 100ñ=100n=100ñ（1 ，1 ）ñ（1个，1个）\mathcal{N}(1,1) ################################################ # Test at the 0.975 quantile ################################################ #normal(1,1) #find 0.975 quantile q_norm<-qnorm(0.975, mean=1, sd=1) #find density value at 97.5 quantile: f_norm<-dnorm(q_norm, mean=1, sd=1) …

9 confidence-interval  quantiles  asymptotics  order-statistics 

@gung 在这里发表评论，写道： 我相信它们可以重叠一点（也许〜25％），并且在5％的水平上仍然很重要。请记住，您看到的95％CI是针对单个OR，但是对2个OR的测试是关于它们之间的差异。但是，如果它们根本不重叠，那么它们肯定会明显不同；如果95％CI与其他OR点估计值重叠，则它们肯定不会重叠。 有没有人引用上述声明？审稿人要我计算两个比值比是否显着不同。

9 logistic  confidence-interval  odds-ratio  references 

我将在本学期下半学期向面向CS的本科生教授统计学。大多数参加该课程的学生没有动力去学习该学科，而只是出于主要要求而参加。我想让这个主题有趣且有用，而不仅仅是他们学习让B +通过的课程。 作为一名纯数学博士生，我在实际应用方面一无所知。我想问一些实际应用中的本科统计。我正在寻找的示例（在精神上）例如： 1）显示中心极限定理对于某些大型样本数据很有用。 2）提供一个反例，说明中心极限定理不适用（例如，遵循柯西分布的那些）。 3）使用Z检验，t检验或其他方法，说明假​​设检验在著名的现实生活示例中的工作原理。 4）显示过度拟合或错误的初始假设如何导致错误的结果。 5）展示p值和置信区间如何在（众所周知的）现实生活案例中发挥作用，以及在何处效果不佳。 6）类似地，I型，II型错误，统计功效，拒绝水平等。αα\alpha 我的麻烦是，尽管我在概率方面确实有很多示例（掷硬币，掷骰子，赌徒的废墟，mar，随机行走，三个囚犯悖论，蒙蒂霍尔问题，算法设计中的概率方法等），但我不知道在统计方面有很多规范的例子。我的意思是严肃的，有趣的例子，具有一定的教学价值，并且不是由人为地编造的，似乎与现实生活格格不入。我不想给学生错误的印象，即Z检验和t检验就是一切。但是由于我纯粹的数学背景，我没有足够的例子让课堂变得有趣和有用。因此，我正在寻求一些帮助。 我学生的水平大约是微积分I和微积分II。他们无法甚至显示标准正态分布的方差为1的定义，因为他们不知道如何评价高斯内核。因此，任何稍微理论化或动手的计算（例如超几何分布，一维随机游走中的反正弦定律）都将无法工作。我想展示一些例子，他们不仅可以理解“如何”，而且可以理解“为什么”。否则，我不确定是否会通过恐吓证明我的话。

9 hypothesis-testing  confidence-interval  teaching 

在系统发育学中，通常使用MLE或贝叶斯分析来构建系统发育树。通常，在贝叶斯估计中使用统一的先验。据我了解，贝叶斯估计是结合先验的可能性估计。我的问题是，如果您使用平坦先验，则与仅进行似然分析有什么不同吗？

9 bayesian  confidence-interval  maximum-likelihood  likelihood  phylogeny 

我有一个人口样本（大小为250）。我不知道人口的分布。 主要问题：我想要对人口的第一个百分点进行点估计，然后我希望在我的点估计周围有95％的置信区间。 我的估计值将是样本1st- percentile。我将其表示为。XXx 之后，我尝试围绕点估计值建立置信区间。我不知道在这里使用引导是否有意义。我对Bootstrap缺乏经验，所以请谅解如果我没有使用适当的术语等。 这是我尝试的方法。我从原始样本中抽取了1000个随机样本进行替换。我得到1 日从他们每个人的百分位。因此，我有1000点- “1 日 -percentiles”。我看一下这1000点的经验分布。我表示它的平均值。我将“偏差”表示为：。我走2.5 个百分位和97.5 个百分点的1000点，以获得较低和较高端我所说周围1 95％的置信区间ST百分位原始样品。我表示这些点和。X米Ë 一个ÑX米Ë一个ñx_{mean}偏差=X米Ë 一个Ñ- x偏压=X米Ë一个ñ-X\text{bias}=x_{mean}-xX0.025X0.025x_{0.025}X0.975X0.975x_{0.975} 最后剩下的步骤是适应这个置信区间是围绕1 日百分位的的人口，而不是周围的1 日百分位的的原始样本。因此，我将作为下端，将作为上端人口的第一个百分位数的点估计值附近的95％置信区间的概率。这是我一直在寻找的时间间隔。X - 偏见- （X米Ë 一个Ñ-X0.025）X-偏压-（X米Ë一个ñ-X0.025）x-\text{bias}-(x_{mean}-x_{0.025})X - 偏压+ （X0.975-X米Ë 一个Ñ）X-偏压+（X0.975-X米Ë一个ñ）x-\text{bias}+(x_{0.975}-x_{mean}) 一个关键点，在我看来，是它是否有意义的使用引导1 日百分值是相当接近人口的未知潜在分布的尾部。我怀疑这可能有问题；考虑使用引导程序在最小（或最大）附近建立置信区间。 但是，也许这种方法有缺陷吗？请告诉我。 编辑： 转念一想这个问题有点多，我看到我的解决方案意味着：经验1 日百分原始样品的可能是1的偏估计ST百分点的人口。如果是这样，则应该对点估计值进行偏差调整：。否则，偏差调整后的置信区间将与偏差未经调整的点估计不兼容。我需要调整点估计和置信区间，或者都不调整。X - 偏置X-偏压x-\text{bias} 另一方面，如果我不允许估计有偏差，则不必进行偏差调整。也就是说，我将作为点估计，将作为下限，将作为95％的上限。置信区间。我不确定这个间隔是否合理...XXxx − （X米Ë 一个Ñ-X0.025）X-（X米Ë一个ñ-X0.025）x-(x_{mean}-x_{0.025})x + （X0.975-X米Ë 一个Ñ）X+（X0.975-X米Ë一个ñ）x+(x_{0.975}-x_{mean}) 所以，这有什么意义假设样品1 日百分比是人口1的偏估计ST百分？如果不是，我的替代解决方案是否正确？

9 confidence-interval  bootstrap  quantiles  extreme-value 

假设拒绝拒绝null表示null为真显然是错误的。但是，在一个情况下空未被拒绝和相应的置信区间（CI）是窄和围绕着0，这是否没有提供证据为空？ 我有两种想法：是的，实际上，这将提供证据表明效应几乎为0。但是，在严格的假设检验框架中，似乎无效效应及其对应的CI根本无法推理。那么，当CI的点估计不重要时，它的含义是什么？它是否也不能用于推理，还是可以像前面的示例中那样用于量化无效的证据？ 鼓励提供具有学术参考意义的答案。

9 hypothesis-testing  statistical-significance  confidence-interval 

在统计教科书中迷失了这个概念之后，我试图做出自己的决定，最后得出一个结论，该结论似乎符合我到目前为止所看到的所有解释：非统计学家认为可信的区间是可信的间隔是。 对于像我这样一个小时的人来说，离题 如果我们观察到数据并从中预测出一些参数，则可以说是平均值 μμ\mu，可信区间是区间 [μ分， μ最高][μ分， μ最高][\mu_{\text{min}},\ \mu_{\text{max}}]为此，我们有95％的把握确保mu属于内部（如果使用其他级别，则为95％以外的某个数字）。入门级统计课中讲授的置信区间可以与可信区间重叠，但并不总是重叠良好。如果你要勇敢的解释，尝试阅读这和这对交叉验证的问题; 经过反复的摸爬滚打，我终于明白了的是这个答案。 这是否意味着在结果中使用可信区间而不是置信区间在科学上更可取？如果是，为什么我还没有看到使用它的出版物？ 是因为应该使用该概念，但测量科学家尚未赶上正确的统计方法吗？ 还是说原始置信区间的含义更适合于解释经验研究的结果？ 还是在实践中它们经常重叠以至根本没有关系？ 选择是否取决于我们为数据假设的统计分布？也许具有高斯分布，它们总是在数值上重叠，因此，纯粹的统计数据之外没有人关心这种差异（我读过的许多研究甚至都不费心计算任何间隔，也许大约有1％会给思想留下空间他们的数据可能不会以正态分布）。 这是否取决于我们的科学理论地位？例如，感觉在实证主义工作中应该使用置信区间，而在解释主义工作中应该使用可信区间，但是我不确定这种感觉是否正确。

9 confidence-interval  methodology  credible-interval 

我知道，如果您多次对数据集进行重新采样并每次计算平均值，则这些均值将遵循正态分布（通过CLT）。因此，您可以对数据集的平均值计算置信区间，而无需对数据集的概率分布进行任何假设。 我想知道您是否可以对差异做类似的事情。也就是说，如果我要多次从数据集中重新采样并每次计算方差，那么这些方差会遵循一定的分布吗（不管数据集的原始概率分布是什么）？ 我知道，如果原始数据集是正态的，则方差将遵循卡方分布。但是在不正常的情况下该怎么办？

9 distributions  confidence-interval  bootstrap  resampling 

我在这里有以下数据。我正在尝试计算烃百分比为1.0时平均纯度的95％置信区间。在R中，输入以下内容。 > predict(purity.lm, newdata=list(hydro=1.0), interval="confidence", level=.95) fit lwr upr 1 89.66431 87.51017 91.81845 但是，如何自己得出这个结果？我试图使用以下方程式。 snew=s2(1+1N+(xnew−x¯)2∑(xi−x¯)2)−−−−−−−−−−−−−−−−−−−−−−√snew=s2(1+1N+(xnew−x¯)2∑(xi−x¯)2)s_{new}=\sqrt{s^2\left(1+\frac{1}{N}+\frac{(x_{new}-\bar x)^2}{\sum(x_i-\bar x)^2}\right)} 我在R中输入以下内容 > SSE_line = sum((purity - (77.863 + 11.801*hydro))^2) > MSE = SSE_line/18 > t.quantiles <- qt(c(.025, .975), 18) > prediction = B0 + B1*1 > SE_predict = sqrt(MSE)*sqrt(1+1/20+(mean(hydro)-1)^2/sum((hydro - mean(hydro))^2)) > prediction …

9 r  regression  confidence-interval  prediction-interval 

我是统计和置信区间领域的新手。因此，这可能非常琐碎，甚至听起来很愚蠢。如果您能帮助我理解或指出一些可以更好地说明这一点的文献/文字/博客，我将不胜感激。 我在美国有线电视新闻网（CNN），福克斯新闻（Fox news），政治新闻（Poliitico）等各种新闻网站上看到了有关2012年美国总统大选的民意调查。每个机构都进行一些民意调查，并以以下形式报告一些统计数据： CNN：奥巴马的人气为X％，误差幅度为+/- x1％。样本数量600。FOX：奥巴马的受欢迎程度为Y％，误差幅度为+/- y1％。样本数量800。XYZ：Obama的受欢迎程度为Z％，误差范围为+/- z1％。样本数量300。 这是我的疑问： 我该如何决定信任哪一个？应该基于置信区间，还是应该假设由于Fox样本量较大，因此估计更为可靠吗？置信度迭代次数和样本数量之间是否存在隐式关系，以至于指定一个样本就不必指定另一个样本了？ 我可以确定置信区间的标准偏差吗？如果是这样，它始终有效还是仅对某些分布有效（如高斯分布）？ 有什么方法可以“合并”或“合并”以上三个估计，并获得我自己的估计以及置信区间？在这种情况下，我应主张多少样本数量？ 我提到CNN / Fox只是为了更好地说明我的示例。我无意在这里开始民主党与共和党的辩论。 请帮助我理解我提出的问题。

9 confidence-interval  sample-size 

假设我有一个频率为4个可能的事件的样本： Event1 - 5 E2 - 1 E3 - 0 E4 - 12 并且我具有发生事件的预期概率： p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 利用我四个事件的观测频率之和（18），我可以计算事件的预期频率，对吗？ expectedE1 - 18 * 0.2 = 3.6 expectedE2 - 18 * 0.1 = 1.8 expectedE1 - 18 * 0.1 = 1.8 expectedE1 - …

9 r  statistical-significance  chi-squared  multivariate-analysis  exponential  joint-distribution  statistical-significance  self-study  standard-deviation  probability  normal-distribution  spss  interpretation  assumptions  cox-model  reporting  cox-model  statistical-significance  reliability  method-comparison  classification  boosting  ensemble  adaboost  confidence-interval  cross-validation  prediction  prediction-interval  regression  machine-learning  svm  regularization  regression  sampling  survey  probit  matlab  feature-selection  information-theory  mutual-information  time-series  forecasting  simulation  classification  boosting  ensemble  adaboost  normal-distribution  multivariate-analysis  covariance  gini  clustering  text-mining  distance-functions  information-retrieval  similarities  regression  logistic  stata  group-differences  r  anova  confidence-interval  repeated-measures  r  logistic  lme4-nlme  inference  fiducial  kalman-filter  classification  discriminant-analysis  linear-algebra  computing  statistical-significance  time-series  panel-data  missing-data  uncertainty  probability  multivariate-analysis  r  classification  spss  k-means  discriminant-analysis  poisson-distribution  average  r  random-forest  importance  probability  conditional-probability  distributions  standard-deviation  time-series  machine-learning  online  forecasting  r  pca  dataset  data-visualization  bayes  distributions  mathematical-statistics  degrees-of-freedom 

我正在尝试编写R脚本来模拟95％置信区间的重复实验解释。我发现它高估了样本的95％CI中包含某个比例的真实总体值的时间比例。差异不大-大约是96％和95％，但这仍然令我感兴趣。 我的函数samp_n从伯努利分布中随机抽取了一个样本pop_p，然后prop.test()使用连续性校正或更精确地使用来计算95％的置信区间binom.test()。如果真实人口比例pop_p包含在95％CI中，则返回1 。我编写了两个函数，一个使用prop.test()，一个使用binom.test()并具有相似的结果： in_conf_int_normal <- function(pop_p = 0.3, samp_n = 1000, correct = T){ ## uses normal approximation to calculate confidence interval ## returns 1 if the CI contain the pop proportion ## returns 0 otherwise samp <- rbinom(samp_n, 1, pop_p) pt_result <- prop.test(length(which(samp == 1)), samp_n) lb <- pt_result$conf.int[1] …

9 r  confidence-interval  binomial  theory 

如何通过对R中使用optim最大化对数似然函数所估计的参数进行分析，从而估计出95％的置信区间？ 我知道我可以通过反转hessian渐近估计协方差矩阵，但我担心我的数据不符合该方法有效所需的假设。我希望使用其他方法来估计置信区间。 如Stryhn和Christensen以及Venables和Ripley的MASS书第8.4节，第220-221页中所述，轮廓似然方法是否合适？ 如果是这样，是否有任何软件包可以帮助我在R中做到这一点？如果没有，这种方法的伪代码将是什么样？

9 r  confidence-interval  maximum-likelihood  optimization  profile-likelihood 

接下来的嫁接摘自本文。我是新手，要引导并尝试为带有R boot包的线性混合模型实现参数，半参数和非参数自举。 R代码 这是我的R代码： library(SASmixed) library(lme4) library(boot) fm1Cult <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn <- function(data, indices){ data <- data[indices, ] mod <- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out <- boot(data=Cultivation, statistic=boot.fn, R=99) Out 问题 …

9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 

我不是统计学专家，但是我认为对于概率的“常客”或“贝叶斯”解释是否是“正确”的说法存在分歧。来自Wagenmakers等。al p。183： 考虑均值和width的均匀分布。从该分布中随机抽取两个值，分别标记最小的和最大的，并检查均值是否位于和之间。如果此过程重复很多次，则在一半情况下，平均将位于和之间。因此，给出的50％频繁置信区间。但假设对于特定抽签，且μμ\mu1个11sss升llμμ\musss升llμμ\musss升ll（小号，升）(s,l)(s, l)μμ\mus =9.8s=9.8s = 9.8l =10.7l=10.7l = 10.7。这些值之间的差为，这覆盖了分布范围的9/10。因此，对于和这些特定值，我们可以对 100％的置信度，即使常客的置信区间会让您相信您应该仅拥有50％的置信度。0.90.90.9sss升lls &lt; μ &lt;ls&lt;μ&lt;ls < \mu < l 真的有人相信在这种情况下只有50％的信心吗？ 我想更一般地说，这本书似乎是在说常客不能表达一个有条件的主张，例如“给定且 ， 的概率为1”。条件是否暗含贝叶斯推理是真的吗？s = 9.8s=9.8s = 9.8l = 10.7l=10.7l = 10.7s &lt; μ &lt; ls&lt;μ&lt;ls<\mu<l

9 bayesian  confidence-interval  frequentist  philosophical