如果线性回归与Pearson的相关性相关，那么是否有与Kendall和Spearman的相关性相关的回归技术？

27

也许这个问题很幼稚，但是：

如果线性回归与Pearson相关系数密切相关，那么是否有任何与Kendall和Spearman相关系数紧密相关的回归技术？

regression correlation pearson-r spearman-rho kendall-tau

— 米罗斯拉夫·萨博（Miroslav Sabo）
source

3

作为一个简单的示例，其中有一个解释变量和一个因变量：

和

等级的线性回归将得出Spearman相关系数作为回归系数。在这种情况下，

和

在回归中可以互换。

x

$x$

y

$y$

x

$x$

y

$y$

— COOLSerdash

2

只是一些想法。肯德尔的

和斯皮尔曼的

都是基于等级的相关系数。因此，

和

之间寻求的关系将需要涉及它们的等级。但是，计算等级会引入观测值之间的依赖关系，从而在误差项之间施加依赖关系，从而消除了线性回归。然而，在不同的设置，造型之间的依赖性结构

和

与连接函数将使与Kendall的一个链路

和/或斯皮尔曼

可能的，取决于连接函数的选择。

τ

$\tau$

ρ

$\rho$

x

$x$

y

$y$

x

$x$

y

$y$

τ

$\tau$

ρ

$\rho$

— QuantIbex

1

@QuantIbex这是否依赖必然意味着

？

E [ε_{i} ε_{j}] \neq 0

$E[\varepsilon_i\varepsilon_j]\neq 0$

— Shadowtalker

Answers:

21

有一种非常简单的方法，可以使用几乎所有相关度量来拟合线性回归，并且在使用Pearson相关时可以再现最小二乘。

考虑，如果关系的斜率是之间的相关性和应当预期为。 $\beta$ $y-\beta x$ $x$ $0$

事实上，如果它是任何其他比，有会是一些未捕获的线性关系-这是什么相关措施将有所回升。 $0$

因此，我们可以估算的斜率通过找到斜率，使样本之间的相关性和是。在许多情况下（例如，使用基于等级的度量时），相关性将是斜率估计值的阶跃函数，因此可能存在一个零间隔。在那种情况下，我们通常将样本估计值定义为间隔的中心。通常，阶跃函数会在某个点从零以上跳到零以下，在这种情况下，估算值就在该跳变点处。 $\tilde{\beta}$ $y-\tilde{\beta} x$ $x$ $0$

例如，此定义适用于所有基于等级和稳健相关的方式。它也可以用来获得斜率的间隔（通常的方式-通过找到标记正相关和正相关之间边界的斜率）。

当然，这仅定义了斜率；一旦斜率估计，截距可以基于合适的位置估计计算上的残差。对于基于排名的相关性，中位数是一个常见选择，但还有许多其他合适的选择。 $y-\tilde{\beta}x$

这是针对carR中数据的斜率绘制的相关性：

在此处输入图片说明

Pearson相关在最小平方斜率3.932
处与0交叉。Kendall 相关在Theil-Sen斜率3.667处
与0交叉。

这些是我们示例的三个斜率估计。现在我们需要拦截。为简单起见，我将仅对第一个截距使用均值残差，对其他两个截距使用中值（在这种情况下无关紧要）：

           intercept
 Pearson:  -17.573 *     
 Kendall:  -15.667
 Spearman: -16.285

*（与最小二乘方的微小差异是由于斜率估计中的舍入误差；其他估计中无疑也存在类似的舍入误差）

相应的拟合线（使用与上述相同的配色方案）是：

在此处输入图片说明

编辑：通过比较，象限相关斜率是3.333

与最小二乘法相比，Kendall相关斜率和Spearman相关斜率对有影响的异常值的鲁棒性都强得多。参见此处，了解有关Kendall的一个生动示例。

— Glen_b-恢复莫妮卡
source

（+1）很好的解释！在这种情况下，是否有任何理由使Kendall似乎比Spearman更受青睐（至少从Kendall相关性对应于名称为Theil-Sen的斜率估计量这一事实来看，而Spearman却没有）？

— 变形虫说恢复莫妮卡2014年

4

造成这种情况的原因有很多。首先，Theil-Sen线具有一个简单描述的估算器（成对斜率的中位数），而Spearman则缺乏。在小样本中，它非常适合手动计算。肯德尔（Kendall）相关更快地接近正态性，并且在数学上更易于处理。另请参阅此处和此处。

— Glen_b-恢复莫妮卡2014年

20

$X$ $Y$ $Y$

$\chi^2$

PO模型是更广泛的累积概率（某些称为累积链接）模型族的特例，包括概率，比例风险和互补对数-对数模型。有关案例研究，请参阅我的讲义第15章。

— 弗兰克·哈雷尔
source

4

Aaron Han（1987年，计量经济学）提出了最大秩相关估计器，该模型通过使tau最大化来拟合回归模型。Dougherty和Thomas（2012年在心理学文献中）最近提出了一种非常相似的算法。在MRC上有大量工作可以说明其特性。

Aaron K. Han，广义回归模型的非参数分析：最大秩相关估计器，《计量经济学杂志》，第35卷，第2-3期，1987年7月，第303-316页，ISSN 0304-4076，http：// dx.doi.org/10.1016/0304-4076(87)90030-3。（http://www.sciencedirect.com/science/article/pii/0304407687900303）

Dougherty，MR和Thomas，RP（2012）。非线性世界中的稳健决策。心理评论，119（2），321。取自http://damlab.umd.edu/pdf%20articles/DoughertyThomas2012Rev.pdf。

— 军人
source

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.

Licensed under cc by-sa 3.0 with attribution required.