Spearman相关系数差异的显着性检验

（非常感谢您的快速回复！我在提出问题方面做得很差，所以让我重试。）

我不知道如何找出两个Spearman相关系数之间的差异是否在统计上显着。我想知道如何找到它。

我想发现的原因是在以下论文中：Gabrilovich和Markovitch 撰写的基于Wikipedia的自然语言处理语义解释（《人工智能研究杂志》 34（2009）443-498）。

在表2（p。457）中，作者表明他们的方法（ESA-Wikipedia）比其他方法具有更高的统计学上显着的Spearman相关性，并且我想这样做也是为了证明我的方法比以前的方法更好一些问题的方法。

我不知道他们如何计算统计显着性，我想知道。该论文的作者确实指出，Spearman的等级相关被视为Pearson的相关。我不确定这是否是正确的方法。我有两个Spearman的相关性，我想知道它们之间的差异是否在统计上显着。

我知道网站（例如http://faculty.vassar.edu/lowry/rdiff.html）提供了在线计算器，用于获取两个Pearson相关性之间的差异。对于两个Spearman相关系数之间的差异，我找不到类似的在线计算器。

Peter Flom提供的链接中的解决方案

注意：这些过程仅支持Spearman的相关性低于0.6。

令 =观察到的集合相关性的Fisher变换， =观察到的集合相关性的Fisher变换。 $z_A$ $A$ $z_B$ $B$
对于，让，其中是费希尔转换集的所述的一左通过删除，重新排序并重新计算相关性获得的相关性。（每个基于对；每个删除都是临时的，仅对于i而言，不是永久的。）对集合重复。 $i = 1,\dots,n$ $y_{A_i} = nz_A- (n - 1)z_{A'i}$ $z_{A'i}$ $A$ $(x_i,y_i)$ $z_{A'i}$ $n-1$ $B$
$\bar y_A = \sum y_{A_i}/n$ 是已知的Fisher变换。重复集。 $B$
$v_{\bar y_A} = \sum (y_{A_i}-\bar y_A)^2 /(n(n-1))$ 是的方差。重复集。 $\bar y_A$ $B$
使用异方差（Welch-Satterthwaite）检验比较两个粗略估计： $t$

t = \frac{{\bar{y}}_{A} - {\bar{y}}_{B}}{\sqrt{v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}}}}, df = \frac{(v_{{\bar{y}}_{A}} + v_{{\bar{y}}_{B}})^{2}}{\frac{v_{{\bar{y}}_{A}}^{2}}{n_{A} - 1} + \frac{v_{{\bar{y}}_{B}}^{2}}{n_{B} - 1}}

$t = \frac{\bar y_A - \bar y_B}{\sqrt{v_{\bar y_A} + v_{\bar y_B}}},\quad \text{df}=\frac{(v_{\bar y_A} + v_{\bar y_B})^2}{\frac{v_{\bar y_A}^2}{n_A-1}+\frac{v_{\bar y_B}^2}{n_B-1}}$ 其中和分别是集合和的样本数。

n_{A}

$n_A$

n_{B}

$n_B$

A

$A$

B

$B$

第一次编辑之前

我得到了一个以人为评分的排名集（HUMAN-RANKING），一个由当前使用的流行方法生成的排名集（PRESENT-RANKING），最后是一个由我的有目的方法生成的排名集（MY-RANKING）。

我计算了人类排名和当前排名之间的Spearman相关性。我称呼它为：HUMAN-PRESENT-SPEARMAN。

然后，我发现了人类和我的排名之间Spearman的相关性。我称呼它为：HUMAN-MY-SPEARMAN。

如何确定HUMAN-MY-SPEARMAN和HUMAN-PRESENT-SPEARMAN之间的差异在统计上是否显着？

hypothesis-testing statistical-significance spearman-rho

— 帕特里克·陈
source

欢迎Patrick。我在同一个问题上挣扎，但在Pearson r。如果您查看我的条目，您会感觉自己可以做什么。

— Adhesh Josh 2011年

尽管您可能难以用统计的术语来表述这个问题，但如果我们确切地知道您对什么感兴趣，这将非常有用。您是否对相关性的紧密程度（分数相互预测的密切程度）或存在关系感兴趣？更多的机会。假设您似乎已经对数据进行了排名，那么请及时重复阅读有关类内相关系数的信息可能会很有用。我希望我有这个权利，问题尚不完全清楚。

— rosser 2011年

感谢Adhesh和rosser。很抱歉，我对我的问题的描述不清。我已经改写了。希望这已经成为一个可以理解的问题。

— Patrick Chan

嗨！我目前正面临着同样的问题。您是否有准备好的代码来实现您的建议？另外，为什么它仅适用于低于0.6的相关值？

— fsociety 2013年

您引用的论文用以下术语解释了该方法：

通过使用费舍尔z变换（Press，Teukolsky，Vetterling和Flannery，数值），我们展示了ESA-Wikipedia（2006年3月26日）版本的性能与其他算法之间的差异的统计显着性《 C：科学计算的艺术》，剑桥大学出版社，1997年，第14.5节）。

我建议您遵循该参考，或查看Spearman系数上的Wikipedia页面以获取详细信息。

— 吉列尔莫G.
source

谢谢吉列尔莫。我确实怀疑他们将Spearman的秩相关视为Pearson的相关，并计算了两个Pearson的相关之差。但是，在我看来，这不是正确的方法，因此我在这里发布帖子。

— Patrick Chan

您是否知道某个可行的实现方式（最好是在线方式），因为这就是OP的要求？

— chl 2012年