Questions tagged «goodness-of-fit»

如何检查我的数据（例如薪水）是否来自R中的连续指数分布？ 这是我的样本的直方图： 。任何帮助将不胜感激！

22 r  distributions  goodness-of-fit  exponential 

到目前为止，我一直在使用Shapiro-Wilk统计量来检验小样本中的正态性假设。 您能推荐另一种方法吗？

22 hypothesis-testing  goodness-of-fit  normality-assumption  small-sample 

我的理解是，即使遵循正确的交叉验证和模型选择程序，如果人们对模型的搜索足够困难，就会出现过度拟合的情况，除非对模型的复杂性，期限施加了限制。此外，很多时候人们尝试从数据中学习对模型复杂性的惩罚，这会破坏他们可以提供的保护。 我的问题是：以上陈述有多少真相？ 我经常听到ML的实践者说：“ 在我的公司/实验室，我们总是尝试使用每种可用的模型（例如，从caret或scikit-learn之类的库中获得），看看哪种模型最合适。” 我经常争论说，即使他们认真对待交叉验证并以他们想要的任何方式保留保留集，这种方法也很容易过拟合。此外，他们搜索的难度越大，就越容易适应。换句话说，过度优化是一个真正的问题，没有启发式方法可以帮助您系统地与之抗衡。我这样想是不是错了？

21 machine-learning  cross-validation  goodness-of-fit  scikit-learn  caret 

在统计建模中：两种文化 Leo Breiman写道 当前应用的实践是使用拟合优度测试和残差分析来检查数据模型的拟合度。几年前的某个时候，我在七个维度上建立了模拟回归问题，并控制了一定数量的非线性。拟合优度的标准测试直到非线性极端时才拒绝线性。 Breiman没有提供他的模拟的细节。他引用了一篇论文，他说该论文为他的观察提供了理论依据，但该论文尚未发表。 有没有人看到发表的模拟结果或理论论文来支持布里曼的主张？

21 regression  goodness-of-fit 

我有一些我要拟合趋势线的数据。我相信数据遵循幂定律，因此已在对数-对数轴上绘制数据以寻找直线。这导致了一条（几乎）直线，因此在Excel中我为幂定律添加了一条趋势线。作为一名统计新手，我的问题是，从“ 看起来线条很合适”到“数值属性证明该图适合幂定律” ，现在对我来说最好的方法是什么？ XXx 在Excel中，我可以得到一个r平方值，尽管由于我对统计信息的了解有限，我什至不知道在我的特定情况下这是否真的合适。我在下面提供了一张图片，显示了我在Excel中使用的数据的图。我对R有一点经验，因此，如果我的分析受到我的工具的限制，我愿意就如何使用R进行改进提出建议。

21 goodness-of-fit  power-law 

精度定义为： p = true positives / (true positives + false positives) 对不对，作为true positives和false positives做法0，精度接近1？ 召回相同的问题： r = true positives / (true positives + false negatives) 我目前正在实施统计测试，需要计算这些值，有时分母为0，我想知道在这种情况下应返回哪个值。 PS：请原谅，不恰当的标签，我想用recall，precision和limit，但我不能创造新的标签呢。

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

我R使用rlm()MASS软件包中的MM权重估计了一个鲁棒的线性模型。“ ”没有为模型提供值，但是如果它是有意义的数量，我希望有一个。我也很想知道是否有一个值以稳健回归中的观测值加权的方式加权总和剩余方差是否有意义。我的一般想法是，如果出于回归的目的，我们实际上是在权重上给予某些估计值较少的影响，因为它们在某种程度上是离群值，那么也许出于计算的目的，我们也应该给出那些相同的估计影响较小？[R2[R2R^2[R2[R2R^2[R2[R2r^2 我为和加权编写了两个简单的函数，它们在下面。我还包括了为模型HI9运行这些功能的结果。编辑：我找到了UNSW的Adelle Coster的网页，该网页提供了一个公式，其中包括权重向量，这与我计算时一样，并要求她提供更正式的参考：http：//web.maths。 unsw.edu.au/~adelle/Garvan/Assays/GoodnessOfFit.html（仍在向Cross Valided寻求有关如何解释此加权。[R2[R2R^2[R2[R2R^2R2SSeSSt[R2[R2r^2 #I used this function to calculate a basic r-squared from the robust linear model r2 <- function(x){ + SSe <- sum((x$resid)^2); + observed <- x$resid+x$fitted; + SSt <- sum((observed-mean(observed))^2); + value <- 1-SSe/SSt; + return(value); + } r2(HI9) [1] 0.2061147 #I used this function …

19 r  goodness-of-fit  r-squared  robust  rlm 

我需要针对我的研究中的两个主要难题提出一些建议，这是对三大制药和创新案例的研究。每年的专利数量是因变量。 我的问题是 好的模型最重要的标准是什么？什么更重要或更重要？是大多数还是所有变量都是有意义的？是“ F统计”的概率吗？它是“调整后的R平方”的值吗？ 第二，如何确定最合适的研究模型？除了专利是​​计数变量（可能是泊松计数）之外，我还有一些解释性变量，例如资产回报率，研发预算，重复合伙人（不是二进制变量的百分比），公司规模（员工）等等。我应该做线性回归还是泊松？

19 regression  generalized-linear-model  linear-model  goodness-of-fit  poisson-regression 

我有两组代表恒星参数的数据：一个观测数据和一个模拟数据。通过这些设置，我创建了所谓的双色图（TCD）。可以在此处查看示例： A是观察到的数据，B是从模型中提取的数据（不要在意黑线，点代表数据），我只有一个A图，但可以根据需要生成任意多的B图，而我需要的是保持最适合A的那个。 因此，我需要一种可靠的方法来检查图B（模型）与图A（已观察）的拟合度。 现在，我要做的是通过对两个轴进行装箱（每个箱装100个箱）为每个图创建一个2D直方图或网格（这就是我所说的，也许它有一个更合适的名称），然后遍历栅格的每个单元格我发现该特定单元格的A和B之间计数的绝对差异。在遍历所有单元格之后，我对每个单元格的值求和，因此最终得到一个单个正参数，表示A和B之间的拟合优度（g f）。越接近零，拟合越好。基本上，这就是该参数的样子：GFGFgf ; 其中 a i j是图A中该特定像元的恒星数目（由 i j确定），而 b i j是B的数目。GF= ∑我Ĵ| 一种我Ĵ− b我Ĵ|GF=∑一世Ĵ|一种一世Ĵ-b一世Ĵ|gf = \sum_{ij} |a_{ij}-b_{ij}|一种我Ĵ一种一世Ĵa_{ij}我Ĵ一世Ĵijb我Ĵb一世Ĵb_{ij} 这就是我创建的网格中每个单元格中的那些计数差异（请注意，在此图像中我没有使用（a i j − b i j）的绝对值，但是我在计算g f参数时确实使用了它们）：（一个我Ĵ− b i j）（一种一世Ĵ-b一世Ĵ）(a_{ij}-b{ij})（一个我Ĵ− b i j）（一种一世Ĵ-b一世Ĵ）(a_{ij}-b{ij})GFGFgf 问题是，有人告诉我这可能不是一个很好的估计器，主要是因为除了因为参数较低之外，说此拟合比另一个拟合更好之外，我真的不能多说。 重要事项： （感谢@PeterEllis提出来） 在1-积分乙是不相关的一对一与点甲。这是要记住的最合适的搜索时，一个重要的事情：在点数一个和乙是不是一定相同和拟合优度测试还应该考虑这种差异，并尽量减少它。 2-点的每一个的数目乙数据集（模型输出）我尝试适合阿是不固定的。 我看过在某些情况下使用的Chi-Squared测试： ∑一世（O一世− E一世）2/ E一世∑一世（Ø一世-Ë一世）2/Ë一世\sum_i (O_i-E_i)^2/E_iØ一世Ø一世O_iË一世Ë一世E_i Ë一世Ë一世E_iË一世Ë一世E_i 另外，我已经阅读一些人推荐的对数似然泊松检验，适用于涉及直方图的此类情况。如果这是正确的我真的很感激，如果有人可以教我如何使用测试，以这种特殊情况下（请记住，我统计的知识是非常不好的，所以请保持它的简单，你可以:)

19 goodness-of-fit  histogram 

撇开这种情况下卡方功率低的明显问题，想象通过对数据进行装箱，对未指定参数的某些密度进行卡方检验。 具体来说，假设平均值未知的指数分布和样本量为100。 为了获得每个bin合理数量的预期观察值，需要考虑一些数据（例如，如果我们选择将6个bin置于均值以下，将4个bin置于均值之下，则仍将使用基于数据的bin边界） 。 但是，这种基于查看数据的垃圾箱的使用可能会影响零值下测试统计量的分布。 我已经看到了很多关于以下事实的讨论：- 如果通过合并数据以最大似然来估计参数-每个估计参数会损失1 df（这个问题可以追溯到Fisher与Karl Pearson的问题）-但是我不记得了阅读有关根据数据本身查找bin边界的任何信息。（如果估计它们从未像素合并数据，然后用kkk仓检验统计量介于之间的分布χ2kχk2\chi^2_{k}和χ2k−pχk−p2\chi^2_{k-p}）。 这种基于数据的垃圾箱选择是否会严重影响重要程度或效力？有一些方法比其他方法更重要吗？如果有很大的影响，在大样本中会消失吗？ 如果确实有实质性影响，那么在许多情况下，未知参数几乎毫无用处（尽管在很多文本中仍然提倡使用），这似乎将使用卡方检验，除非您有很好的经验。 -参数的先验估计。 讨论问题或引用参考（最好提及其结论）将很有用。 编辑，除了主要问题： 在我看来，对于指数*的特定情况（并可以考虑使用）有可能的解决方案，但是我仍然对影响选择箱边界的更普遍的问题感兴趣。 *例如，对于指数，可以使用最小的观测值（例如等于mmm）来粗略地了解将垃圾箱放置在哪里（因为最小的观测值的平均值为μ/nμ/n\mu/n）。测试剩余的n−1n−1n-1差异（xi−mxi−mx_i - m）的指数性。当然，这可能会得出非常差的μ估计值μμ\mu，因此选择了不正确的箱，尽管我想人们可能会递归地使用该参数，以便从最低的两个或三个观测值中选择合理的箱，然后测试其余观测值的差异，以求取最小的最小顺序统计量中的最大值指数）

18 chi-squared  goodness-of-fit  binning 

我想知道R2R2R^2和F检验之间是否存在关系。 一般R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R2=∑(Y^t−Y¯)2/T−1∑(Yt−Y¯)2/T−1R^2=\frac {\sum (\hat Y_t - \bar Y)^2 / T-1} {\sum( Y_t - \bar Y)^2 / T-1}和它测量在回归的线性关系的强度。 F检验只是证明了一个假设。 R2R2R^2和F检验之间有关系吗？

17 regression  hypothesis-testing  least-squares  goodness-of-fit 

假设我有一些数据，然后将数据与模型拟合（非线性回归）。然后，我计算R平方（）。R2[R2R^2 如果R平方为负，那是什么意思？这是否意味着我的模型不好？我知道的范围可以是[-1,1]。当为0时，这还意味着什么？R2[R2R^2R2[R2R^2

17 regression  goodness-of-fit  r-squared  curve-fitting 

在卡方检验拟合优度的背景下，有关皮尔逊残差的初学者问题： 除测试统计量外，R chisq.test函数还报告皮尔逊残差： (obs - exp) / sqrt(exp) 我理解为什么查看观察值与期望值之间的原始差异并不能提供足够的信息，因为较小的样本将导致较小的差异。但是，我想更多地了解分母的作用：为什么要除以期望值的根？这是“标准化”残差吗？

16 chi-squared  goodness-of-fit  residuals 

几个月前，我在SO上的R中发布了一个有关均方差测试的问题，Ian Fellows回答说（我将他的回答解释得很宽松）： 在测试模型拟合优度时，同方差测试不是一个好的工具。对于小样本，您没有足够的能力来检测偏离同方差，而对于大样本，您具有“足够的权力”，因此，您更有可能筛选甚至是琐碎的均等偏离。 他的好回答是我的耳光。每次运行ANOVA时，我都会检查正态性和均方差性假设。 您认为检查ANOVA假设时的最佳做法是什么？

16 hypothesis-testing  anova  nonparametric  goodness-of-fit  heteroscedasticity 

我正在对三个类别进行卡方拟合优度（GOF）测试，并且特别想测试每个类别中的人口比例是否相等（即每个组中的比例为1/3）的零值： 观察到的数据 组1 组2 组3 总计 686 928 1012 2626 因此，对于此GOF测试，预期计数为2626（1/3）= 875.333，该测试得出的p值非常显着<0.0001。 现在，很明显，第1组与第2组和第3组明显不同，第2组和第3组也不大可能明显不同。但是，如果我确实想对所有这些进行正式测试并能够为每种情况提供p值，那么什么是合适的方法？ 我在网上搜索了所有内容，似乎有不同的意见，但没有正式的文档。我想知道是否有文本或经过同行评审的论文可以解决这个问题。 对于我来说，似乎很合理的方法是，根据显着的总体检验，对每对比例的差异进行z检验，并可能对值进行校正（例如，可能是Bonferroni）。αα\alpha

16 hypothesis-testing  chi-squared  goodness-of-fit  post-hoc