Questions tagged «multiple-comparisons»

我们知道，为了控制错误发现率，我们必须对基于单个数据集的实验应用类似于Benjamini Hochberg的校正来进行多个假设检验，否则所有给出阳性结果的实验​​都可能是错误的。 但是，为什么自开始以来我们不对所有实验都应用相同的原理，而不管数据来自何处？ 毕竟，现在已知超过一半的被发表为“重要”的科学成果是虚假且不可复制的，没有理由不能如此轻易地做到100％。由于科学家只倾向于发表阳性结果，因此我们不知道阴性结果的数量，因此我们也不知道我们发表的内容是否只是假阳性-在零假设下纯正的随机机会产生的阳性结果。同时，没什么可说的是，多个假设检验校正的数学运算仅应适用于同一数据集的结果，而不适用于随时间推移获得的所有实验数据的结果。 似乎整个科学已经成为基于错误或虚假假设的一项大型捕鱼活动，那么我们如何才能对此进行控制？ 如果我们曾经发布的所有结果都是独立的结果而没有对迄今为止进行的所有实验的多个假设检验进行任何校正，那么我们如何控制错误发现率呢？ 是否可以在不进行此类纠正的情况下控制错误发现率？

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate 

我从很多测试中获得了p值，并且想知道在对多个测试进行校正后是否确实存在一些重要的东西。并发症：我的测试不是独立的。我正在考虑的方法（Fisher's Product Method的一个变体，Zaykin等，Genet Epidemiol，2002）需要p值之间的相关性。 为了估计这种相关性，我目前正在考虑引导情况，运行分析并使p值的结果向量相关联。有谁有更好的主意吗？甚至对我的原始问题有一个更好的主意（更正相关测试中的多个测试）？ 背景：我正在逻辑上回归我的受试者是否因其基因型（AA，Aa或aa）与协变量之间的相互作用而患有某种疾病。但是，该基因型实际上是很多（30-250）单核苷酸多态性（SNP），它们肯定不是独立的，而是连锁不平衡。

24 correlation  multiple-comparisons  statistical-significance  genetics 

我阅读了以下论文：Perneger（1998）Bonferroni调整有什么问题。 作者总结说，Bonferroni调整充其量仅在生物医学研究中有有限的应用，并且在评估有关特定假设的证据时不应使用： 总结要点： 根据研究数据进行的检验数量的统计显着性调整（Bonferroni方法）会产生比其解决的问题更多的问题 Bonferroni方法与一般的零假设（所有零假设同时为真）有关，这对于研究人员来说很少有兴趣或使用。 主要缺点是对结果的解释取决于执行的其他测试的数量 II型错误的可能性也增加了，因此真正重要的差异被认为是不重要的 简单描述已执行过哪些重要检验以及为什么进行检验，通常是处理多重比较的最佳方法 我有以下数据集，但我想进行多次测试校正，但在这种情况下我无法决定最佳方法。 我想知道是否必须对所有包含均值列表的数据集进行这种校正，在这种情况下，最佳的校正方法是什么？

23 hypothesis-testing  multiple-comparisons  bonferroni 

我正在使用JMP来检查在用对照进行的三种处理之前和之后，生长形式组（树木，灌木，Forb等）的植被覆盖率差异。我的样本量很小（n = 5），并且我的大多数分布都不是正态分布。 对于正态分布，我使用方差分析来分析治疗结果之间的差异（变化百分比），然后使用Tukey HSD来检验结果对之间差异的显着性。 对于非正态分布的数据，我使用了Wilcoxon / Kruskal-Wallis检验。是否可以使用Tukey HSD的非参数等效项来检查这些结果对之间的差异？

23 multiple-comparisons  nonparametric  tukey-hsd 

安德鲁·盖尔曼（Andrew Gelman）写了一篇广泛的文章，论述为什么贝叶斯AB测试不需要多个假设校正：为什么我们（通常）不必担心多重比较，2012年。 我不太了解：为什么贝叶斯方法不需要多次测试更正？ A ~ Distribution1 + Common Distribution B ~ Distribution2 + Common Distribution C ~ Distribution3 + Common Distribution Common Distribution ~ Normal 我的理解是，以上显示的贝叶斯方法解释了所有假设的共同基础分布（与常客Bonferroni修正不同）。我的推理正确吗？

22 hypothesis-testing  bayesian  multiple-comparisons 

我正在使用相同的原假设进行独立的统计检验，并希望将结果合并为一个NNN值。似乎有两种“可接受的”方法：Fisher方法和Stouffer方法。ppp 我的问题是关于斯托弗的方法。对于每个单独的测试，我都获得z得分。在零假设下，它们中的每一个都具有标准正态分布，因此和∑ z i遵循方差N的正态分布。因此斯托夫的方法表明计算Σ ž 我/ √ziziz_iΣziΣzi\Sigma z_iNNN，应该以单位方差正态分布，然后将其用作联合z得分。Σzi/N−−√Σzi/N\Sigma z_i / \sqrt{N} 这是合理的，但是这是我想出的另一种方法，对我来说也很合理。由于每个的来自一个标准正态分布，平方和小号= Σ ž 2 我应来自与卡方分布Ñ自由度。因此，可以使用具有N个自由度的累积卡方分布函数来计算S并将其转换为p值（p = 1 - X N（S ），其中X N是CDF）。ziziz_iS=Σz2iS=Σzi2S=\Sigma z^2_iNNNSSSpppNNNp=1−XN(S)p=1−XN(S)p=1−X_N(S)XNXNX_N 但是，我什至找不到这种方法。有没有用过？它有名字吗？与斯托弗的方法相比，优点/缺点是什么？还是我的推理有缺陷？

22 hypothesis-testing  chi-squared  p-value  multiple-comparisons  combining-p-values 

当我们在两组上进行实验（小样本量（通常每个治疗组的样本量约为7〜8））时，我们使用t检验来检验差异。但是，当我们执行方差分析（显然用于两个以上的小组）时，我们使用类似Bonferroni（成对比较的LSD /＃）或Tukey的方法，并且作为一名学生，我已经被警告远离使用费舍尔最小有效差（LSD）。 现在的问题是，LSD类似于成对t检验（是吗？），因此它唯一不能解释的是我们正在进行多次比较。如果说ANOVA本身很重要，那么当与6个小组打交道时，这有多重要？ 换句话说，使用Fisher的LSD是否有科学/统计上的理由？

22 anova  multiple-comparisons  post-hoc  bonferroni  fishers-lsd 

关于何时使用Bonferroni调整，我有两个问题： 在多次测试的所有情况下都使用Bonferroni调整是否合适？ 如果对数据集执行测试，则将数据集划分为更细的级别（例如，按性别划分数据）并执行相同的测试，这将如何影响感知到的单个测试的数量？也就是说，如果在包含来自男性和女性的数据的数据集上测试了X个假设，然后将数据集拆分为分别提供男性和女性数据并测试了相同的假设，那么各个假设的数量将保持为X还是由于额外的测试？ 谢谢您的意见。

21 multiple-comparisons  bonferroni  type-i-and-ii-errors 

执行主成分分析（PCA）之后，我想将一个新向量投影到PCA空间上（即在PCA坐标系中找到其坐标）。 我已经使用R计算了R语言的PCA prcomp。现在，我应该可以将向量乘以PCA旋转矩阵。该矩阵中的主要成分应该按行还是按列排列？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

我正在审查已执行> 15次单独的2x2卡方测试的论文。我建议他们需要对多个比较进行更正，但是他们回答说所有比较都是已计划的，因此这不是必需的。 我觉得这一定是不正确的，但找不到任何明确说明是否存在这种情况的资源。 有人可以帮助吗？ 更新： 感谢您的所有非常有帮助的回复。为了响应@gung要求提供有关研究和分析的更多信息的要求，他们正在三种情况下，在两种情况下比较两种类型参与者（学生，非学生）的计数数据。多个2x2卡方检验正在针对每种类型的参与者在每种条件下比较每个时间段（如果有意义；例如，学生，条件1，时间段1与时间段2），因此所有分析都在测试相同的假设。

20 hypothesis-testing  multiple-comparisons 

我听说，当许多回归模型规范（例如，在OLS中）被认为是数据集的可能性时，会引起多个比较问题，并且p值和置信区间不再可靠。一个极端的例子是逐步回归。 什么时候可以使用数据本身来帮助指定模型，什么时候这不是有效的方法？您是否始终需要基于主题的理论来形成模型？

20 regression  frequentist  multiple-comparisons 

在主题测试中进行事后调查的首选方法是什么？我已经看过使用Tukey的HSD的已发表工作，但是对Keppel和Maxwell＆Delaney的评论表明，这些设计中可能会违反球形性，因此误差项不正确，并且这种方法存在问题。Maxwell＆Delaney在他们的书中提供了解决该问题的方法，但我从未在任何统计数据包中看到过这样做的方法。他们提供的方法合适吗？对多个配对样本t检验进行Bonferroni或Sidak校正是否合理？可接受的答案将提供通用的R代码，该代码可以对包装中的ezANOVA功能所产生的简单，多路和混合设计进行事后分析ez，并提供适当的引文，可能会引起审阅者的注意。

20 r  repeated-measures  multiple-comparisons  post-hoc  sphericity 

我读过David Colquhoun的这篇出色论文：对错误发现率和对p值的误解的调查（2014年）。从本质上讲，他解释了为什么即使我们将I型错误控制在，错误发现率（FDR）仍可以高达。30%30%30\%α=0.05α=0.05\alpha=0.05 但是，对于在多次测试中应用FDR控制会发生什么，我仍然感到困惑。 说，我已经对许多变量中的每一个进行了测试，并使用Benjamini-Hochberg过程计算了。我得到一个对有意义的变量。我问这个发现是什么FDR？qqqq=0.049q=0.049q=0.049 我可以安全地假设，从长远来看，如果我定期进行此类分析，则FDR不是，而是低于，因为我使用了Benjamini-Hochberg？这感觉是错误的，我想说值对应于Colquhoun论文中的值，并且他的推理也适用于此，因此使用阈值可能会“ 冒充自己”（如在的案件中，Colquhoun表示。但是，我试图更正式地解释它，但失败了。30%30%30\%5%5%5\%qqqpppqqq0.050.050.0530%30%30\%

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

Benjamini-Hochberg多重测试校正相对于比较总数的保守程度如何？例如，如果我有两个组的18,000个特征的列表，然后执行Wilcoxon测试以获取p值。我使用Benjamini-Hochberg调整了该p值，几乎没有结果显示出来。 我知道随着比较次数的增加，Bonferroni校正可以相当保守，Benjamini-Hochberg是否具有相同的性质？

19 multiple-comparisons  p-value 

埃德温·杰恩斯（Edwin Jaynes）于2003年在《概率论：科学的逻辑》中给出了该练习。此处有部分解决方案。我已经制定了一个更通用的局部解决方案，并且想知道是否有人解决了它。在发布答案之前，我将稍等片刻，让其他人受益。 好的，假设我们有互斥且详尽的假设，表示为。进一步假设我们有m个数据集，用D_j \; \;（j = 1，\ dots，m）表示。第i个假设的似然比由下式给出：Ñ ħ 我nn（i = 1 ，… ，n ）Hi(i=1,…,n)H_i \;\;(i=1,\dots,n)m mmD j（j = 1 ，… ，m ）Dj(j=1,…,m)D_j \;\;(j=1,\dots,m) L R （H i）= P （D 1 D 2 … ，D m | H i）P （d 1 d 2 ... ，d 米 | ＆OverBar; ħ我）LR(Hi)=P(D1D2…,Dm|Hi)P(D1D2…,Dm|H¯¯¯¯¯i)LR(H_{i})=\frac{P(D_{1}D_{2}\dots,D_{m}|H_{i})}{P(D_{1}D_{2}\dots,D_{m}|\overline{H}_{i})} 请注意，这些是条件概率。现在假设给定第i个假设^ …

19 independence  likelihood-ratio  hypothesis-testing  multiple-comparisons