Questions tagged «false-discovery-rate»

Benjamini和Hochberg开发了第一种（我认为仍是使用最广泛的方法）来控制错误发现率（FDR）。 我想从一堆P值开始，每个P值用于不同的比较，并确定哪些值足够低以至于被称为“发现”，从而将FDR控制为指定值（例如10％）。常用方法的一个假设是，这组比较是独立的或具有“正相关性”，但在分析一组P值的上下文中，我无法确切弄清楚该短语的含义。

36 multiple-comparisons  non-independent  false-discovery-rate 

我的统计程序同时执行了Benjamini＆Hochberg（1995）和Benjamini＆Yekutieli（2001）的错误发现率（FDR）程序。我已经尽力阅读了以后的文章，但是它在数学上相当密集，并且我不确定我是否理解这些过程之间的区别。从统计程序的基础代码中，我可以看到它们确实有所不同，并且后者包括我所看到的有关FDR的数量q，但还不太了解。 有没有理由更喜欢Benjamini＆Hochberg（1995）程序而不是Benjamini＆Yekutieli（2001）程序？他们有不同的假设吗？这些方法之间的实际区别是什么？ 本杰米尼（Y.）和霍奇伯格（Y.）（1995）。控制错误发现率：一种实用且功能强大的多重测试方法。皇家统计协会杂志系列B，57，289-300。 Benjamini，Y.和Yekutieli，D.（2001）。依赖项下多重测试中错误发现率的控制。统计年鉴29，1165年至1188年。 以下评论中引用了1999年的论文：Yekuteli，D.和＆Benjamini，Y.（1999）。基于重采样的错误发现率可控制多个测试过程以实现相关的测试统计信息。统计计划与推断杂志，82（1），171-196。

34 post-hoc  false-discovery-rate 

我一直在努力探索错误发现率（FDR）应该如何告知个别研究人员的结论。例如，如果您的研究动力不足，即使在结果显着，您是否应该打折呢？注意：我在谈论FDR时是在综合检查多项研究结果的背景下，而不是将其作为多项测试校正的方法。α=.05α=.05\alpha = .05 使（也许大方）假设测试的假设实际上是真，FDR是两种类型的函数I和II型错误率如下：∼.5∼.5\sim.5 FDR=αα+1−β.FDR=αα+1−β.\text{FDR} = \frac{\alpha}{\alpha+1-\beta}. 有理由认为，如果一项研究的能力不足，那么即使结果显着，我们也不应像进行充分研究的结果那样相信结果。因此，正如某些统计学家所说，在某些情况下，“长远来看”，如果遵循传统准则，我们可能会发布许多错误的重要结果。如果一项研究的特点是始终缺乏足够的研究能力（例如，前十年的候选基因环境相互作用文献），那么甚至有重复的重大发现也可能是可疑的。××\times 应用R包extrafont，ggplot2和xkcd，我认为这可能会有用地概念化为一个透视问题： 有了这些信息，研究人员下一步应该做什么？如果我猜测我正在研究的效应的大小（因此，鉴于我的样本量，则估计为），我是否应该调整我的α水平直到FDR = .05？即使我的研究能力不足，我是否应该以α = .05的水平发布结果，并将FDR的考虑留给文献消费者？1−β1−β1 - \betaαα\alphaα=.05α=.05\alpha = .05 我知道这是一个在本网站和统计文献中都经常讨论的话题，但是我似乎无法就此问题达成共识。 编辑：响应@amoeba的评论，FDR可以从标准的I型/ II型错误率偶发表中得出（请避免其丑陋）： | |Finding is significant |Finding is insignificant | |:---------------------------|:----------------------|:------------------------| |Finding is false in reality |alpha |1 - alpha | |Finding is true in reality |1 - beta |beta | …

30 statistical-significance  p-value  publication-bias  false-discovery-rate 

我们知道，为了控制错误发现率，我们必须对基于单个数据集的实验应用类似于Benjamini Hochberg的校正来进行多个假设检验，否则所有给出阳性结果的实验​​都可能是错误的。 但是，为什么自开始以来我们不对所有实验都应用相同的原理，而不管数据来自何处？ 毕竟，现在已知超过一半的被发表为“重要”的科学成果是虚假且不可复制的，没有理由不能如此轻易地做到100％。由于科学家只倾向于发表阳性结果，因此我们不知道阴性结果的数量，因此我们也不知道我们发表的内容是否只是假阳性-在零假设下纯正的随机机会产生的阳性结果。同时，没什么可说的是，多个假设检验校正的数学运算仅应适用于同一数据集的结果，而不适用于随时间推移获得的所有实验数据的结果。 似乎整个科学已经成为基于错误或虚假假设的一项大型捕鱼活动，那么我们如何才能对此进行控制？ 如果我们曾经发布的所有结果都是独立的结果而没有对迄今为止进行的所有实验的多个假设检验进行任何校正，那么我们如何控制错误发现率呢？ 是否可以在不进行此类纠正的情况下控制错误发现率？

24 hypothesis-testing  multiple-comparisons  bonferroni  false-discovery-rate 

在这里和这里之前都曾问过这个问题，但我认为答案不能直接解决这个问题。 动力不足的研究是否会增加假阳性的可能性？一些新闻文章对此作出了断言。对于例如： 统计能力低是个坏消息。动力不足的研究更有可能错过真正的效果，并且作为一个整体，它们更有可能包含更高比例的误报-也就是说，即使这些效果不是真实的，它们也具有统计学意义。 据我了解，测试的力量可以通过以下方式提高： 增加样本量 效果更大 提高重要性水平 假设我们不想更改显着性水平，我相信上面的引用是指更改样本大小。但是，我看不出减少样本应该如何增加误报的数量。简而言之，降低研究的功效会增加假阴性的可能性，这会回答以下问题： P（未能拒绝 H0| H0 是错误的）P（拒绝拒绝 H0|H0 是假的）P(\text{failure to reject }H_{0}|H_{0}\text{ is false}) 相反，误报回答了以下问题： P（拒绝 H0| H0 是真的）P（拒绝 H0|H0 是真的）P(\text{reject }H_{0}|H_{0}\text{ is true}) 两者都是不同的问题，因为条件不同。权力与否定否定（相反）相关，但与否定肯定无关。我想念什么吗？

23 hypothesis-testing  power  false-discovery-rate 

以下引文来自Storey＆Tibshirani（2003）的著名研究论文《统计意义对于全基因组研究》： 例如，假阳性率为5％意味着研究中平均5％的真正无效特征将被称为显着。FDR（错误发现率）为5％意味着在所有被称为重要功能的特征中，其中平均5％确实是无效的。 有人可以使用简单的数字或视觉示例来解释这意味着什么吗？我很难理解它的含义。我仅在FDR或FPR上找到了各种帖子，但没有找到进行具体比较的地方。 如果这方面的专家可以举例说明一个人比另一个人好，或者两者都好或坏的情况，那将特别好。

20 hypothesis-testing  false-discovery-rate  type-i-and-ii-errors  confusion-matrix  false-positive-rate 

我读过David Colquhoun的这篇出色论文：对错误发现率和对p值的误解的调查（2014年）。从本质上讲，他解释了为什么即使我们将I型错误控制在，错误发现率（FDR）仍可以高达。30%30%30\%α=0.05α=0.05\alpha=0.05 但是，对于在多次测试中应用FDR控制会发生什么，我仍然感到困惑。 说，我已经对许多变量中的每一个进行了测试，并使用Benjamini-Hochberg过程计算了。我得到一个对有意义的变量。我问这个发现是什么FDR？qqqq=0.049q=0.049q=0.049 我可以安全地假设，从长远来看，如果我定期进行此类分析，则FDR不是，而是低于，因为我使用了Benjamini-Hochberg？这感觉是错误的，我想说值对应于Colquhoun论文中的值，并且他的推理也适用于此，因此使用阈值可能会“ 冒充自己”（如在的案件中，Colquhoun表示。但是，我试图更正式地解释它，但失败了。30%30%30\%5%5%5\%qqqpppqqq0.050.050.0530%30%30\%

19 hypothesis-testing  statistical-significance  p-value  multiple-comparisons  false-discovery-rate 

在家庭错误率（FWER）和错误发现率（FDR）文献中，控制FWER或FDR的特定方法都被认为适用于相关或独立测试。例如，在1979年的论文“一个简单的顺序拒绝多重测试程序”中，霍尔姆写道，将他的递增Šidák方法与他的递增Bonferroni控制方法进行了对比： 当测试统计量是独立的时，可以获得相同的计算简便性。 在Benjamini和Hochberg的“控制错误发现率”（1995）中，作者写道： 定理1.对于独立的检验统计数据和任何虚假假设的配置，上述过程将FDR控制在。q∗q∗q^{*} 后来，在2001年，Benjamini和Yekutieli写道： 1.3。问题。在实践中尝试使用FDR方法时，与独立测试统计数据相比，独立测试统计数据的出现频率更高，上述的多个端点示例就是一个很好的例子。 这些作者使用的独立人有哪些特殊含义？如果能伴随一种简单的语言解释，使测试相互依赖或独立的正式定义，我将很高兴。 我可以想到几种可能的含义，但是我不太理解，这可能是： “因变量”是指多元检验（即许多具有相同或相似预测变量的因变量）；自变量是指单变量检验（即，许多自变量，一个因变量）。 “从属”是指基于配对/匹配的受试者的测试（例如配对的t检验，重复测量方差分析等）；“独立”是指未配对/独立的样本研究设计。 “从属”是指一项测试被拒绝的概率与另一项测试被拒绝的概率相关，而“正相关性”是指该相关为正。“独立”是指拒绝概率是不相关的。 参考文献 Benjamini，Y。和Hochberg，Y。（1995）。控制错误发现率：一种实用且强大的多重测试方法。皇家统计学会杂志。系列B（方法论），57（1）：289–300。 Benjamini，Y.和Yekutieli，D.（2001）。依赖下多重测试中错误发现率的控制。统计年鉴，29（4）：1165-1188。 Holm，S.（1979年）。一个简单的顺序拒绝多重测试程序。斯堪的纳维亚统计杂志，6（65-70）：1979。

18 multiple-comparisons  independence  non-independent  familywise-error  false-discovery-rate 

我已经读到，控制FDR比控制FWER宽松，例如在Wikipedia中： 与家庭错误率（FWER）过程（例如Bonferroni校正）相比，FDR控制过程对错误发现的控制不太严格。这以增加I型错误率的代价为代价来增加功率，即拒绝应该接受的无效无效假设。 但是我想知道它在数学上如何被证明是正确的？ FDR和FWER之间是否存在某些关系？

16 hypothesis-testing  multiple-comparisons  false-discovery-rate 

排列检验（也称为随机检验，重新随机检验或精确检验）非常有用，并且在t-test未满足例如要求的正态分布的假设以及通过按等级对值进行转换时派上用场非参数测试之类的测试Mann-Whitney-U-test会导致丢失更多信息。但是，在使用这种检验时，一个假设且唯一一个假设应该是原假设下样本的可交换性假设。还值得注意的是，当有两个以上的示例（如在coinR包中实现的示例）时，也可以应用这种方法。 您能用简单的英语用一些比喻语言或概念直觉来说明这一假设吗？这对于在像我这样的非统计学家中阐明这个被忽视的问题非常有用。 注意： 提及在相同假设下应用置换测试不成立或无效的情况将非常有帮助。 更新： 假设我随机从我所在地区的当地诊所收集了50个受试者。他们被随机分配为接受药物或安慰剂的比例为1：1。分别Par1在V1（基准），V2（3个月后）和V3（1年后）时测量了参数1 。根据特征A，所有50个主题都可以分为2组；正值= 20，负值=30。它们也可以基于特征B细分为另外2组；B阳性= 15，B阴性=35。 现在，我具有Par1所有访问中所有受试者的值。在可交换性的假设下，如果可以，我是否可以在Par1使用置换测试的水平之间进行比较： -将接受药物治疗的受试者与接受V2安慰剂治疗的受试者进行比较？ -将具有特征A的对象与具有V2的特征B的对象进行比较？ -比较在V2具有特征A的对象与在V3具有特征A的对象？ -在哪种情况下，这种比较是无效的，并且违反了可交换性的假设？

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

有没有一种简单的方法可以解释为什么Benjamini和Hochberg（1995）的程序实际上控制着错误发现率（FDR）？这个过程是如此的优雅和紧凑，但是为什么它在独立的条件下工作的证据（出现在他们1995年论文的附录中）并不是很容易获得。

14 intuition  false-discovery-rate  teaching 

我了解该程序及其控制的内容。那么在BH程序中用于多次比较的调整后的p值的公式是什么？ 刚才我意识到原始的BH不会产生调整后的p值，只是调整了（非）拒绝条件：https : //www.jstor.org/stable/2346101。无论如何，戈登·史密斯（Gordon Smyth）还是在2002年引入了调整后的BH p值，因此该问题仍然适用。p.adjust与method 一样在R中实现BH。

14 hypothesis-testing  p-value  multiple-comparisons  false-discovery-rate 

有人可以解释FDR程序如何在没有模型/真实正基准率的假设的情况下估算FDR吗？

9 false-discovery-rate 

我有一个数据集，用于测试三个总体之间在大约50个不同变量方面的显着差异。一方面，我使用Kruskal-Wallis检验，另一方面，通过嵌套GLM模型拟合的似然比检验（具有和不具有总体作为自变量）进行此操作。 结果，一方面，我列出了Kruskal-Wallis，另一方面，我认为是LRT比较中的卡方p值。pppppp 我需要做某种形式的多重测试校正，因为有50多种不同的测试，Benjamini-Hochberg FDR似乎是最明智的选择。 但是，变量可能不是独立的，它们中的几个“氏族”是相关的。然后的问题是：我如何确定我的p值的基础统计信息集是否ppp满足Benjamini-Hochberg过程仍然要绑定到FDR所需的正相关性要求？ 2001年的Benjamini-Hochberg-Yekutieli论文指出，PRDS条件适用于多元正态分布和学生分布。对于模型比较，我的似然比检验卡方值怎么样？对于Kruskal-Wallis检验，我的ppp如何？ 我可以使用Benjamini-Hochberg-Yekutieli最坏情况的FDR校正，该校正在假设依赖项时不做任何假设，但我认为在这种情况下，它可能过于保守，并且会丢失一些相关信号。

9 chi-squared  multiple-comparisons  likelihood-ratio  kruskal-wallis  false-discovery-rate 

我有一个尺寸为三维表。表格中的每个单元格都是假设检验。在第三维上对表进行切片会产生组假设检验，这些检验在各组之间独立但在组内相关。最初，我以为可以同时使用Benjamini-Hochberg过程控​​制所有假设检验的错误发现率。这是解决这个问题的合理方法吗？我的第二个想法是控制表格第三个维度中每个切片内的错误发现率，然后在此之后进行其他某种校正。有人有关于这种程序的更多信息吗？6 × 6 × 816×6×816\times6\times81818181

9 multiple-comparisons  false-discovery-rate