Questions tagged «p-value»

Benjamini-Hochberg多重测试校正相对于比较总数的保守程度如何？例如，如果我有两个组的18,000个特征的列表，然后执行Wilcoxon测试以获取p值。我使用Benjamini-Hochberg调整了该p值，几乎没有结果显示出来。 我知道随着比较次数的增加，Bonferroni校正可以相当保守，Benjamini-Hochberg是否具有相同的性质？

19 multiple-comparisons  p-value 

我的情况如下：我想通过蒙特卡洛研究比较两个不同测试的值，以评估参数的统计显着性（null为“无影响-参数为零”，而隐含的替代方案为“参数不为零”）。检验A是标准的“均值均等的独立两次样本t检验”，在零值下方差相等。 ppp 测试B我已经建立了自己。在此，使用的零分布是不对称的一般离散分布。但是我在Rohatgi＆Saleh（2001，2nd ed，p.462）中发现以下评论 “如果分布不对称，则在两面情况下无法很好地定义值，尽管许多作者建议将一面值加倍ppppppp。” 作者没有对此进行进一步讨论，也没有评论将单侧值加倍的“许多作者的建议” 。（这产生了一个问题：“将哪一侧的值加倍？为什么是这一侧而不是另一侧？）ppppppp 在整个问题上，我找不到其他任何评论，意见或结果。我了解到，对于非对称分布，尽管我们可以针对参数值考虑零假设周围的区间对称性，但我们不会再遇到第二种常见的对称性，即概率质量分配。但是我不明白为什么这会使 值“定义不正确”。就个人而言，通过使用围绕零假设的对称间隔作为估计量的值，我看不到任何定义ppp说“零分布将产生等于或超出此间隔的边界的值的概率为XX”时出现问题。至少在我看来，一侧的概率质量将与另一侧的概率质量不同的事实似乎并不会引起麻烦。但是，比Rohatgi和Saleh知道我不了解的东西更有可能。 所以这是我的问题：在零分布不对称的情况下进行双向测试时，在什么意义上值“（或可以）定义得不好”？ppp 一个可能重要的说明：我本着渔业的精神来处理这个问题，我并不是想在Neyman-Pearson的意义上获得严格的决策规则。我让测试的用户将值信息与其他任何信息一起使用来进行推断。ppp

18 hypothesis-testing  p-value 

当p值远低于传统的α水平0.05时，为什么统计学家不鼓励我们将结果称为“ 高度显着” ？pppαα\alpha0.050.050.05 相信有99.9％的机会不会成为I型错误（）而不是仅给您99％的机会（p = 0.01）的结果，真的是错误的吗？p=0.001p=0.001p=0.001p=0.01p=0.01p=0.01

18 hypothesis-testing  statistical-significance  p-value  terminology 

我似乎对尝试理解平方值是否也具有p值感到困惑。prrrppp 据我了解，与一组数据点线性相关，的取值范围是-1到1，无论该值是多少，它的p值都可以显示r是否与0显着不同（即，如果两个变量之间存在线性关系）。− 1rrr−1−1-1111ppprrr000 继续进行线性回归，可以将函数拟合到数据，由等式Y=a+bXY=a+bXY = a + bX。aaa和bbb （截距和斜率）也具有ppp以显示它们是否明显不同于000。 假设我至今都明白了一切正确的，是ppp的-值rrr和ppp为-值bbb一样的东西吗？那么说不是p值不是rrr平方而是ppp值是rrr或bbb是否正确呢？

18 statistical-significance  p-value  r-squared 

我的意思不是接近零的值（某些统计软件将其舍入为零），而是真正的零值。如果是这样，这是否意味着假设零假设为真的情况下获得所获得数据的概率也为零？什么是统计测试（一些示例）可以返回此类结果？ 编辑第二句话，删除短语“原假设的概率”。

17 hypothesis-testing  statistical-significance  p-value 

我听说在零假设下，p值分布应该是均匀的。但是，在MATLAB中进行二项式检验的仿真返回的均值分布与均值大于0.5（在这种情况下为0.518）的差异非常大： coin = [0 1]; success_vec = nan(20000,1); for i = 1:20000 success = 0; for j = 1:200 success = success + coin(randperm(2,1)); end success_vec(i) = success; end p_vec = binocdf(success_vec,200,0.5); hist(p_vec); 尝试更改生成随机数的方式无济于事。我真的很感谢在这里的任何解释。

17 matlab  p-value  binomial  simulation  uniform 

tl; dr-对于OLS回归，较高的R平方是否还意味着较高的P值？专门针对单个解释变量（Y = a + bX + e），但也有兴趣了解n个多个解释变量（Y = a + b1X + ... bnX + e）。 上下文-我正在对一系列变量执行OLS回归，并试图通过生成一个表格来开发最佳的解释函数形式，该表格包含线性，对数等之间的R平方值，每个解释（独立）变量的变换以及响应（因变量）。看起来有点像： 变量名-线性形式---ln（变量）--exp（变量）-...等 变量1 ------- R平方---- R平方---- R平方 -...等等... 我想知道R平方是否合适，或者P值是否更好。大概存在某种关系，因为更重要的关系意味着更高的解释力，但不确定是否严格地做到这一点。

17 regression  modeling  p-value  r-squared 

我正在尝试了解Taleb在2016年提出的总体观点，即标准P值的元分布。 在其中，Taleb针对p值的不可靠性提出了以下论点（据我所知）： 对来自某个分布X的nnn数据点进行操作的估计过程将输出ap值。如果我们从该分布中获得n个点并输出另一个p值，则可以对这些p值求平均值，以在极限范围内获得所谓的“真实p值”。XXX 该“真实p值”显示出令人不安的高方差，因此具有“真实p值” 的分布+程序.12.12.12将有60％的时间报告p值<.05。 问题：这如何与赞成值的传统论点相吻合。据我了解，p值应该告诉您过程将为您提供正确间隔（或其他时间）的时间百分比。但是，本文似乎认为这种解释具有误导性，因为如果再次运行该过程，p值将不会相同。ppp 我错过了重点吗？

16 hypothesis-testing  statistical-significance  p-value 

因此，我已经阅读了很多有关如何正确解释P值的知识，从我读到的内容来看，P值对空假设为真还是假的可能性一无所知。但是，在阅读以下语句时： p –值表示发生I型错误或在原假设为真时拒绝原假设的概率。p值越小，您错误地拒绝原假设的可能性就越小。 编辑：然后5分钟后，我读到： 对P值的错误解释非常普遍。最常见的错误是将P值解释为通过拒绝真实的零假设（I类错误）而犯错的可能性。 这让我感到困惑。哪一个是正确的？谁能解释如何正确解释p值，以及它如何正确地与产生I型错误的可能性相关联？

16 hypothesis-testing  p-value 

我正在寻找各种方式（在基础统计学课程中）向学生解释什么是双尾检验，以及如何计算其P值。 您如何向学生解释两尾测试与单尾测试？

16 hypothesis-testing  p-value  teaching 

我正在通过caretR中的程序包尝试使用梯度增强机算法。 使用一个小的大学录取数据集，我运行了以下代码： library(caret) ### Load admissions dataset. ### mydata <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") ### Create yes/no levels for admission. ### mydata$admit_factor[mydata$admit==0] <- "no" mydata$admit_factor[mydata$admit==1] <- "yes" ### Gradient boosting machine algorithm. ### set.seed(123) fitControl <- trainControl(method = 'cv', number = 5, summaryFunction=defaultSummary) grid <- expand.grid(n.trees = seq(5000,1000000,5000), interaction.depth = 2, shrinkage = …

15 machine-learning  caret  boosting  gbm  hypothesis-testing  t-test  panel-data  psychometrics  intraclass-correlation  generalized-linear-model  categorical-data  binomial  model  intercept  causality  cross-correlation  distributions  ranks  p-value  z-test  sign-test  time-series  references  terminology  cross-correlation  definition  probability  distributions  beta-distribution  inverse-gamma  missing-data  paired-comparisons  paired-data  clustered-standard-errors  cluster-sample  time-series  arima  logistic  binary-data  odds-ratio  medicine  hypothesis-testing  wilcoxon-mann-whitney  unsupervised-learning  hierarchical-clustering  neural-networks  train  clustering  k-means  regression  ordinal-data  change-scores  machine-learning  experiment-design  roc  precision-recall  auc  stata  multilevel-analysis  regression  fitting  nonlinear  jmp  r  data-visualization  gam  gamm4  r  lme4-nlme  many-categories  regression  causality  instrumental-variables  endogeneity  controlling-for-a-variable 

审阅者要求我们提供p值，以便更好地了解我们的贝叶斯多级模型中的模型估计。该模型是实验中每个参与者的多个观察值的典型模型。我们使用Stan估计了模型，因此我们可以轻松地计算其他后验统计量。目前，我们正在报告（通过视觉和表格形式）平均估算值以及0.025和0.975分位数。 到目前为止，我的回应包括： P值与贝叶斯模型不一致，即P（X| θ）≠P（θ | X）。P（X|θ）≠P（θ|X）。P(X|\theta) \neq P(\theta|X). 基于后验，我们可以计算出参数大于（小于）0的概率。这看起来有点像传统的p值。 我的问题是，这是否可以使评论者满意，还是只会引起更多的混乱？ 10月10日更新：考虑到答案，我们使用建议将论文重写了。该论文已被接受，因此我将重申先前的评论，这确实是有用的建议！

15 bayesian  p-value  multilevel-analysis 

我有两个数据集，我想知道它们是否存在显着差异（这来自“ 两组显着不同？请测试使用 ”）。 我决定使用置换测试，在R中执行以下操作： permutation.test <- function(coding, lncrna) { coding <- coding[,1] # dataset1 lncrna <- lncrna[,1] # dataset2 ### Under null hyphotesis, both datasets would be the same. So: d <- c(coding, lncrna) # Observed difference diff.observed = mean(coding) - mean(lncrna) number_of_permutations = 5000 diff.random = NULL for (i …

15 p-value  permutation-test 

排列检验（也称为随机检验，重新随机检验或精确检验）非常有用，并且在t-test未满足例如要求的正态分布的假设以及通过按等级对值进行转换时派上用场非参数测试之类的测试Mann-Whitney-U-test会导致丢失更多信息。但是，在使用这种检验时，一个假设且唯一一个假设应该是原假设下样本的可交换性假设。还值得注意的是，当有两个以上的示例（如在coinR包中实现的示例）时，也可以应用这种方法。 您能用简单的英语用一些比喻语言或概念直觉来说明这一假设吗？这对于在像我这样的非统计学家中阐明这个被忽视的问题非常有用。 注意： 提及在相同假设下应用置换测试不成立或无效的情况将非常有帮助。 更新： 假设我随机从我所在地区的当地诊所收集了50个受试者。他们被随机分配为接受药物或安慰剂的比例为1：1。分别Par1在V1（基准），V2（3个月后）和V3（1年后）时测量了参数1 。根据特征A，所有50个主题都可以分为2组；正值= 20，负值=30。它们也可以基于特征B细分为另外2组；B阳性= 15，B阴性=35。 现在，我具有Par1所有访问中所有受试者的值。在可交换性的假设下，如果可以，我是否可以在Par1使用置换测试的水平之间进行比较： -将接受药物治疗的受试者与接受V2安慰剂治疗的受试者进行比较？ -将具有特征A的对象与具有V2的特征B的对象进行比较？ -比较在V2具有特征A的对象与在V3具有特征A的对象？ -在哪种情况下，这种比较是无效的，并且违反了可交换性的假设？

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

在应用研究中，很多重点放在依赖和报告效应大小上，而不是p值上（例如，下面进一步引用）。 但是，不是像p值一样，效应大小是随机变量，并且在重复相同实验时，样本之间的影响大小可能会有所不同吗？换句话说，我在问什么统计特征（例如，效应大小在样本之间的可变性小于p值）使效应大小比p值更好的证据衡量指标？ 但是，我应该提到一个重要的事实，它将p值与效果大小区分开。也就是说，效果大小之所以可以估算，是因为它具有总体参数，而p值却没有任何估算，因为它没有任何总体参数。 对我而言，效应大小只是在某些研究领域（例如，人类研究）有助于将来自各种研究人员开发的测量工具的经验发现转化为通用度量的度量（可以说，使用人类研究可以更好地适应这种度量）量化研究俱乐部）。 也许如果我们将一个简单的比例作为效应大小，那么以下（R中的）是什么表明效应大小超过p值的优势？（p值会发生变化，但效果大小不会改变） binom.test(55, 100, .5) ## p-value = 0.3682 ## proportion of success 55% binom.test(550, 1000, .5) ## p-value = 0.001731 ## proportion of success 55% 请注意，大多数效果大小与测试统计量线性相关。因此，使用效应量进行零假设检验很容易。 例如，事前设计产生的统计量可以很容易地转换为相应的科恩效应大小。这样，Cohen d的分布只是at分布的比例定位版本。 引号： 由于p值是混杂指标，因此理论上100个样本大小不同且影响大小不同100项的研究可能具有相同的单个p值，而100个具有相同单一影响值的研究可能各自具有100个不同的p值。 要么 p值是随样本不同而变化的随机变量。。。。因此，比较两个不同实验的p值，或对同一实验中测量的两个变量的测试的p值进行比较，并声明一个比另一个重要，是不合适的。 引文： 汤普森（2006）。行为统计的基础：一种基于洞察力的方法。纽约，纽约：吉尔福德出版社。 Good，PI和Hardin，JW（2003）。统计中的常见错误（以及如何避免）。纽约：威利。

14 hypothesis-testing  confidence-interval  p-value  effect-size