Questions tagged «outliers»

我在阅读sciencemag.org上的文章时遇到了这句话。 最后，仅包括来自12个国家/地区的7600名研究人员的答复，因为其余数据没有统计学意义。 这是进行研究的正确方法吗？是否要忽略结果，因为它们没有统计学意义？

9 statistical-significance  sampling  outliers  theory 

我正在研究两个变量（和）之间的相互作用。这些变量之间存在很大的线性相关，其中。从问题的本质上，我无法说出因果关系（是否导致或相反）。我想研究与回归线的偏差，以发现异常值。为了做到这一点，我可以建立作为的函数的线性回归，或者。我选择的可变顺序会影响我的结果吗？X1个X1个x_1X2X2x_2r > 0.9[R>0.9r>0.9X1个X1个x_1X2X2x_2X1个X1个x_1X2X2x_2

9 regression  outliers  linear-model 

我正在处理时间序列的异常分数（背景是计算机网络中的异常检测）。每分钟，我都会得到一个异常分数，它告诉我网络的当前状态有多么“意外”或异常。分数越高，当前状态越异常。理论上接近5分是可能的，但几乎不会发生。XŤ∈ [ 0 ，5 ]xt∈[0,5]x_t \in [0, 5] 现在，我想提出一种算法或公式，该算法或公式可以自动确定此异常时间序列的阈值。一旦异常分数超过此阈值，就会触发警报。 下面的频率分布是一个超过1天的异常时间序列的示例。然而，这是不是安全的假设，每一个异常的时间序列是要像她那样。在此特殊示例中，异常阈值（例如.99分位数）将是有意义的，因为最右边的分数可被视为异常。 并且具有与时间序列相同的频率分布（由于时间序列中没有更高的异常分数，因此它的范围从0到1）： 不幸的是，频率分布可能具有一定的形状，其中.99分位数无效。下面是一个示例。右尾非常低，因此，如果将.99分位数用作阈值，则可能会导致许多误报。该频率分布似乎不包含异常，因此阈值应位于0.25左右的分布范围之外。 总结起来，这两个示例之间的区别在于第一个示例似乎表现出异常，而第二个则没有。 从我幼稚的角度来看，该算法应考虑以下两种情况： 如果频率分布具有较大的右尾（即几个异常分数），则.99分位数可能是一个很好的阈值。 如果频率分布的右尾非常短（即没有异常分数），则阈值应位于分布之外。 / edit：也没有基本事实，即可以使用带标签的数据集。因此，该算法针对异常得分的性质是“盲目的”。 现在，我不确定如何用算法或公式来表达这些观察结果。有人建议如何解决这个问题吗？我希望我的解释足够充分，因为我的统计背景非常有限。 谢谢你的帮助！

9 time-series  outliers  threshold 

因此，我进行了16次试验，试图使用汉明距离从生物特征中鉴定一个人。我的阈值设置为3.5。我的数据如下，只有试验1为“真阳性”： Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 我的困惑是，我真的不确定如何根据此数据制作ROC曲线（FPR与TPR或FAR与FRR）。哪一个都不重要，但是我只是对如何进行计算感到困惑。任何帮助，将不胜感激。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction