Questions tagged «error»

我想知道是否有人可以简要介绍p值的定义和使用，显着性水平和I类错误。 我了解p值的定义是“获得至少与我们实际观察到的数据一样极端的测试统计信息的概率”，而显着性水平只是用来衡量p值是否有意义的任意临界值。 。I类错误是拒绝原假设为零的错误。但是，我不确定重要性级别和I类错误之间的区别，这是不是一个相同的概念？ 例如，假设有一个非常简单的实验，我将硬币掷1000次并计算它落在“头”上的次数。我的零假设H0是正面= 500（无偏硬币）。然后，将我的显着性水平设置为alpha = 0.05。 我将硬币翻转1000次，然后计算p值，如果p值> 0.05，则我无法拒绝原假设，如果p值<0.05，则我拒绝原假设。 现在，如果我重复进行此实验，每次计算p值，或者拒绝或未能拒绝原假设，并保持对我拒绝/失败拒绝的计数，那么我最终将拒绝5％的原假设实际上是正确的，对吗？这是类型I错误的定义。因此，如果执行重复实验，Fisher重要性检验中的重要性水平实质上就是Neyman-Pearson假设检验中的I型错误。 现在关于p值，如果我从上一个实验中获得了0.06的p值，并且我进行了多次实验并计算了所有从0到0.06得到p值的值，那么我也将没有拒绝真实零假设的可能性为6％？

21 hypothesis-testing  probability  statistical-significance  p-value  error 

执行主成分分析（PCA）之后，我想将一个新向量投影到PCA空间上（即在PCA坐标系中找到其坐标）。 我已经使用R计算了R语言的PCA prcomp。现在，我应该可以将向量乘以PCA旋转矩阵。该矩阵中的主要成分应该按行还是按列排列？

21 r  pca  r  variance  heteroscedasticity  misspecification  distributions  time-series  data-visualization  modeling  histogram  kolmogorov-smirnov  negative-binomial  likelihood-ratio  econometrics  panel-data  categorical-data  scales  survey  distributions  pdf  histogram  correlation  algorithms  r  gpu  parallel-computing  approximation  mean  median  references  sample-size  normality-assumption  central-limit-theorem  rule-of-thumb  confidence-interval  estimation  mixed-model  psychometrics  random-effects-model  hypothesis-testing  sample-size  dataset  large-data  regression  standard-deviation  variance  approximation  hypothesis-testing  variance  central-limit-theorem  kernel-trick  kernel-smoothing  error  sampling  hypothesis-testing  normality-assumption  philosophical  confidence-interval  modeling  model-selection  experiment-design  hypothesis-testing  statistical-significance  power  asymptotics  information-retrieval  anova  multiple-comparisons  ancova  classification  clustering  factor-analysis  psychometrics  r  sampling  expectation-maximization  markov-process  r  data-visualization  correlation  regression  statistical-significance  degrees-of-freedom  experiment-design  r  regression  curve-fitting  change-point  loess  machine-learning  classification  self-study  monte-carlo  markov-process  references  mathematical-statistics  data-visualization  python  cart  boosting  regression  classification  robust  cart  survey  binomial  psychometrics  likert  psychology  asymptotics  multinomial 

我正在评估一个物理模型，并想知道我应该在此处使用哪种方法（介于RMSE和测定系数R2之间） 问题是如下：我有一个功能，输出预测为输入值x，。对于这个值，我也有实际的观察，即y x。yx¯¯¯¯¯=f(x)yx¯=f(x)\overline{y_x}= f(x)yxyxy_x 我的问题是RMSE或的优缺点是什么。我已经看到他们都在论文中用于解决我正在研究的问题。R2R2R^2

21 error 

让由R函数lm获得的线性回归模型想知道是否可以通过均方误差命令获得。 我有一个示例的以下输出 > lm <- lm(MuscleMAss~Age,data) > sm<-summary(lm) > sm Call: lm(formula = MuscleMAss ~ Age, data = data) Residuals: Min 1Q Median 3Q Max -16.1368 -6.1968 -0.5969 6.7607 23.4731 Coefficients: Estimate Std. Error t value Pr(>|t|) (Intercept) 156.3466 5.5123 28.36 <2e-16 *** Age -1.1900 0.0902 -13.19 <2e-16 *** --- …

20 r  regression  error 

精度定义为： p = true positives / (true positives + false positives) 对不对，作为true positives和false positives做法0，精度接近1？ 召回相同的问题： r = true positives / (true positives + false negatives) 我目前正在实施统计测试，需要计算这些值，有时分母为0，我想知道在这种情况下应返回哪个值。 PS：请原谅，不恰当的标签，我想用recall，precision和limit，但我不能创造新的标签呢。

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

尽管这两个普遍存在的术语经常被同义词使用，但有时似乎有所区别。确实有区别吗，或者它们到底是同义词吗？

20 residuals  error  terminology 

我正在努力理解低于预期（ESL）的预期预测误差的推导，尤其是在2.11和2.12的推导上（条件，即逐步达到最小点）。任何指针或链接，不胜感激。 我在下面报告ESL pg的摘录。18.前两个公式按顺序是公式2.11和2.12。 让X∈RpX∈RpX \in \mathbb{R}^p分别表示实值随机输入向量，并Y∈RY∈RY \in \mathbb{R}实值随机输出变量，与联合分布Pr(X,Y)Pr(X,Y)\text{Pr}(X,Y)。我们追求的是功能f(X)f(X)f(X)预测YYY输入的给定值XXX。该理论要求损失函数 L(Y,f(X))L(Y,f(X))L(Y,f(X))用于惩罚预测误差，到目前为止，最常见和最方便的方法是平方误差损失：L(Y,f(X))=(Y−f(X))2L(Y,f(X))=(Y−f(X))2L(Y,f(X))=(Y-f(X))^2。这使我们得出选择fff的标准， EPE(f)=E(Y−f(X))2=∫[y−f(x)]2Pr(dx,dy)EPE(f)=E(Y−f(X))2=∫[y−f(x)]2Pr(dx,dy) \begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split} 预期（平方）的预测误差。通过以XXX条件，我们可以将EPE编写为 EPE(f)=EXEY|X([Y−f(X)]2|X)EPE(f)=EXEY|X([Y−f(X)]2|X) \text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X) 并且我们看到足以将EPE逐点最小化： f(x)=argmincEY|X([Y−c]2|X)f(x)=argmincEY|X([Y−c]2|X) f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X) 解决方法是 f(x)=E(Y|X=x)f(x)=E(Y|X=x) f(x) = \text{E}(Y|X=x) 条件期望，也称为回归函数。

20 regression  prediction  error 

MAD =平均绝对偏差MSE =均方误差 我已经从各个地方看到了建议，尽管使用了MSE，但仍存在一些不良质量（例如http://www.stat.nus.edu.sg/~staxyc/T12.pdf，其在第8页上指出：“人们普遍认为MAD是比MSE更好的标准。但是，从数学上讲，MSE比MAD更方便。“） 除此之外，还有什么呢？是否有一篇论文彻底分析了各种测量预测误差的方法是否合适的情况？我的Google搜索未显示任何内容。 在/programming/13391376/how-to-decide-the-forecasting-method-from-the-me-mad-mse-sde中询问了与此类似的问题，并要求用户张贴在stats.stackexchange.com上，但我认为他们从未这样做过。

15 forecasting  error  mse  mae 

我被詹姆斯·斯坦因收缩的思想所吸引（即，对可能独立的法线向量的一次观测的非线性函数可能是对随机变量均值的更好估计，其中“更好”是通过平方误差来衡量的） ）。但是，我从未在应用程序工作中看到它。显然，我没有足够的阅读能力。是否有经典的例子说明James-Stein在实际应用中改进了估计？如果不是，这种缩水仅仅是出于好奇吗？

15 estimation  error  shrinkage  application  steins-phenomenon 

据我了解，英国学校教导说使用以下方法可以找到标准偏差： 而美国学校则教： （无论如何都是基本水平）。 过去，这曾导致我的许多学生在Internet上进行搜索时遇到问题，但发现了错误的解释。 为什么会有所不同？ 如果使用简单的数据集（例如10个值），那么如果采用错误的方法（例如，在检查中），将会出现什么程度的错误？

15 standard-deviation  error  teaching  unbiased-estimator 

我的问题很简单：在线性回归假设中，为什么我们选择正态作为误差项遵循的分布？为什么我们不选择其他制服，例如t或其他？

15 regression  mathematical-statistics  normal-distribution  error  linear 

我已经在Kaggle竞赛中看到了不同的误差指标：RMS，均方根，AUC等。选择错误度量标准的一般经验法则是什么，即您如何知道针对给定问题使用哪个错误度量标准？有指导原则吗？

15 machine-learning  classification  error 

我正在寻找合适的理论框架或专业知识，以帮助我理解如何处理GPS系统存在的错误-特别是在处理路线时。 从根本上讲，我正在寻找对数据的要求以及可以用来确定路径长度的任何算法。答案必须是值得信赖的。 我的一个朋友曾经是一场比赛的赛事总监，当时比赛被定为160公里，但Garmin看着每个人都将其变成了190公里以上。在终点线引起了相当多的悲伤，让我告诉你！ 因此，我的朋友使用各种GPS设备返回该课程，以便对其进行重新映射，结果很有趣。 使用手持式Garmin Oregon 300，她的一条腿达到了33.7公里。对于Garmin Forerunner 310xt手表上的同一条腿，跑出38.3公里。 当我从俄勒冈州获得数据时，很明显它仅每90秒左右记录一次数据。先行者每隔几秒钟就会执行一次。 当我绘制来自俄勒冈州的数据时，我可以看到它被一些折弯弄糊涂了，并在它们之间划了一条直线，使曲线变少了一点。 但是，我认为记录频率的差异是造成这种情况的主要原因。即通过每隔几秒钟记录一次，先行者就更接近真实路线。但是，由于GPS的工作方式，会出现一些错误。如果记录的点随机散布在真实路线上（由于错误），则总距离将大于真实路线。（沿着直线的任意一侧的摆动线比直线长）。 因此，我的问题是：1.我可以在单个数据集上使用任何技术来有效地减少错误吗？2.关于录音频率差异的理论是否成立？3.如果我有多条相同路线的录音，是否有任何有效的技术将它们组合起来以更接近真实路线？ 就像我说的，我真的不知道该寻找什么，以找到关于此的任何有用的科学。我正在寻找一种方法来确定一条给定路径的长度，这对人们来说非常重要。在比赛中多出30公里，比我们预期的多了5个小时以上。 根据要求，这里是一些示例数据： 详细的高频样本数据 低频样本数据 感谢您提供的任何建议。

14 error  sampling 

我知道均方误差公式以及如何计算。当我们谈论回归时，我们可以计算均方误差。但是，我们能否谈谈针对分类问题的MSE，以及如何计算它？

14 classification  error 

我正在寻找证明谐波均值的参考 x¯h=n∑ni=11xix¯h=n∑i=1n1xi\bar{x}^h = \frac{n}{\sum_{i=1}^n \frac{1}{x_i}} 最小化（以）相对误差平方和zzz ∑i=1n((xi−z)2xi).∑i=1n((xi−z)2xi).\sum_{i=1}^n \left( \frac{(x_i - z)^2}{x_i}\right).

13 references  mean  error  weighted-regression  harmonic-mean