Questions tagged «correlation»

我的数据集包括近海，中海道和近海三种地点类型的生物的总死亡率或生存率。下表中的数字表示站点数。 100% Mortality 100% Survival Inshore 30 31 Midchannel 10 20 Offshore 1 10 我想知道根据地点​​类型，发生100％死亡率的地点数量是否显着。如果我运行2 x 3卡方，则会得到显着的结果。我是否可以进行事后成对比较，或者实际上应该使用对数方差分析或二项分布的回归？谢谢！

9 logistic  multiple-comparisons  chi-squared  r  text-mining  clustering  classification  feature-selection  unsupervised-learning  time-series  references  mode  hypothesis-testing  confidence-interval  bootstrap  normal-distribution  order-statistics  correlation  statistical-significance  spss  bayesian  beta-binomial 

我正在查看ARMA / ARIMA模型无法很好运行的极非线性数据。虽然，我看到了一些自相关，但我怀疑非线性自相关会有更好的结果。 1 /是否有与PACF相等的等级相关性？（在R中？） 2 /是否存在等效的ARMA模型用于非线性/秩相关（在R？中）

9 r  correlation  nonparametric  garch  arma 

我想在使用李克特量表的许多测量结果上进行相关性分析。从散点图来看，似乎已经违反了线性和均方差性的假设。 鉴于似乎有一些关于序数级别分级近似间隔级别缩放的争论，我应该安全地使用Spearman的Rho而不是Pearson的r？ 如果我与Spearman的Rho一起使用，是否有可以引用的参考文献？

9 correlation  scales  heteroscedasticity  likert 

我有同一时间段内发生的事件的数据集。每个事件都有一个类型（很少有不同类型，少于十个）和一个位置，以2D点表示。 我想检查事件类型之间或类型与位置之间是否存在任何关联。例如，也许类型A的事件通常不会发生，而类型B的事件却不会发生。也许在某些地区，大多数是C型事件。 我可以使用哪种工具来执行此操作？作为统计分析的新手，我的第一个想法是在此数据集上使用某种PCA（主成分分析），以查看每种类型的事件是否具有自己的成分，或者某些事件是否共享相同的成分（即相关的成分）？ 我不得不提到，我的数据集约为500'000点，因此使处理起来有些困难。（x ，y，吨ÿp ë ）(x,y,type)(x, y, type) 编辑：如下面的答案和评论中所述，方法是将此模型建模为标记点过程，然后使用R来完成所有繁重的工作，如本研讨会报告中的详细说明：http：// /www.csiro.edu.au/resources/Spatial-Point-Patterns-in-R.html

9 correlation  pca  multivariate-analysis  point-process 

我正在使用非正态分布数据训练人工神经网络（反向传播，前馈）。除了均方根误差外，文献还经常提出用于评估训练网络质量的皮尔逊相关系数。但是，如果训练数据不是正态分布的，Pearson相关系数是否合理？使用基于等级的相关度量（例如Spearman rho）是否更合理？

9 correlation  neural-networks  spearman-rho 

我有两个变量，可以计算它们之间的皮尔逊相关性，但是我想知道一些类似于t检验会给我的东西（即有关相关性有多重要的一些概念）。 这样的事情存在吗？

9 correlation  statistical-significance 

我正在尝试解决最小角度回归（LAR）问题。这是一个问题3.23页面上97的黑斯蒂等，统计学习的要素，第2位。ed。（第5次打印）。 考虑所有变量和响应均值为零，标准差为1的回归问题。还假设每个变量与响应具有相同的绝对相关性： 1N|⟨xj,y⟩|=λ,j=1,...,p1N|⟨xj,y⟩|=λ,j=1,...,p \frac{1}{N} | \left \langle \bf{x}_j, \bf{y} \right \rangle | = \lambda, j = 1, ..., p 令为上最小二乘系数，并令为。β^β^\hat{\beta}yy\mathbf{y}XX\mathbf{X}u(α)=αXβ^u(α)=αXβ^\mathbf{u}(\alpha)=\alpha \bf{X} \hat{\beta}α∈[0,1]α∈[0,1]\alpha\in[0,1] 要求我显示 ，我对此有疑问。请注意，这基本上可以说，随着我们向前进，每个与残差的相关性在大小上保持相等。1N|⟨xj,y−u(α)⟩|=(1−α)λ,j=1,...,p1N|⟨xj,y−u(α)⟩|=(1−α)λ,j=1,...,p \frac{1}{N} | \left \langle \bf{x}_j, \bf{y}-u(\alpha) \right \rangle | = (1 - \alpha) \lambda, j = 1, ..., p xjxjx_juuu 我也不知道如何显示相关性等于： λ(α)=(1−α)(1−α)2+α(2−α)N⋅RSS√⋅λλ(α)=(1−α)(1−α)2+α(2−α)N⋅RSS⋅λ\lambda(\alpha) = \frac{(1-\alpha)}{\sqrt{(1-\alpha)^2 + \frac{\alpha …

9 regression  machine-learning  correlation  self-study 

因此，我进行了16次试验，试图使用汉明距离从生物特征中鉴定一个人。我的阈值设置为3.5。我的数据如下，只有试验1为“真阳性”： Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 0.32 9 0.39 10 0.45 11 0.42 12 0.37 13 0.66 14 0.39 15 0.44 16 0.39 我的困惑是，我真的不确定如何根据此数据制作ROC曲线（FPR与TPR或FAR与FRR）。哪一个都不重要，但是我只是对如何进行计算感到困惑。任何帮助，将不胜感激。

9 mathematical-statistics  roc  classification  cross-validation  pac-learning  r  anova  survival  hazard  machine-learning  data-mining  hypothesis-testing  regression  random-variable  non-independent  normal-distribution  approximation  central-limit-theorem  interpolation  splines  distributions  kernel-smoothing  r  data-visualization  ggplot2  distributions  binomial  random-variable  poisson-distribution  simulation  kalman-filter  regression  lasso  regularization  lme4-nlme  model-selection  aic  r  mcmc  dlm  particle-filter  r  panel-data  multilevel-analysis  model-selection  entropy  graphical-model  r  distributions  quantiles  qq-plot  svm  matlab  regression  lasso  regularization  entropy  inference  r  distributions  dataset  algorithms  matrix-decomposition  regression  modeling  interaction  regularization  expected-value  exponential  gamma-distribution  mcmc  gibbs  probability  self-study  normality-assumption  naive-bayes  bayes-optimal-classifier  standard-deviation  classification  optimization  control-chart  engineering-statistics  regression  lasso  regularization  regression  references  lasso  regularization  elastic-net  r  distributions  aggregation  clustering  algorithms  regression  correlation  modeling  distributions  time-series  standard-deviation  goodness-of-fit  hypothesis-testing  statistical-significance  sample  binary-data  estimation  random-variable  interpolation  distributions  probability  chi-squared  predictor  outliers  regression  modeling  interaction 

在我正在处理的问题中，我有两个随机变量X和Y。我需要弄清楚这两个变量之间的相关性如何，但是它们的维数不同。X的行空间的等级为4350，Y的行空间的等级实质上较大，为数万。X和Y的列数相同。 我需要测量两个变量之间的相关性，而Pearson的r要求X和Y具有相等的维数（至少R要求两个rv是）。 我是否有希望在这两者之间建立关联，还是应该找到一些方法来删减Y的观测值？ EDIT 从评论中添加信息，应该在问题中。 我想我忘了提这个了。X和Y是股票价格。X公司的上市时间比Y公司短得多。我想说一下X和Y的价格之间的相关性。在X和Y都存在的一段时间内，我肯定可以得到一个相关性。我想知道是否知道X并不存在的Y的额外几年的股价为我提供了任何其他信息。

9 time-series  correlation  missing-data  finance 

我的数据等于： shopper_1 = ['beer', 'eggs', 'water',...] shopper_2 = ['diapers', 'beer',...] ... 我想对此数据集进行一些分析，以获得一个具有相似含义的相关矩阵：如果您购买了x，则很可能会购买y。 使用python（或者除MATLAB以外的其他任何东西），我该如何处理？一些基本准则或指向我应该去哪里的指针将有所帮助。 谢谢， 编辑-我学到的东西： 这些类型的问题称为关联规则发现。维基百科上有一篇很好的文章，介绍了一些常用的算法。这样做的经典算法似乎是Apriori，原因是Agrawal等。等 这使我想到了Orange，这是一个python接口的数据挖掘程序包。对于Linux，最好的安装方式似乎是使用提供的setup.py从源代码安装 默认情况下，橙色读取来自文件的输入，格式为几种受支持的方式之一。 最后，一个简单的先验关联规则的学习是简单的橙色。

8 correlation  econometrics  python  cross-correlation