是有用的或危险的？

我浏览了 Cosma Shalizi的一些讲义（特别是第二堂课的 2.1.1节），并被提醒您，即使具有完全线性的模型，您也可以获得非常低的。$R^2$

用Shalizi的示例来解释：假设您有一个模型，其中是已知的。然后\ newcommand {\ Var} {\ mathrm {Var}} \ Var [Y] = a ^ 2 \ Var [x] + \ Var [\ epsilon]，解释的方差量为a ^ 2 \ Var [X]，因此R ^ 2 = \ frac {a ^ 2 \ Var [x]} {a ^ 2 \ Var [X] + \ Var [\ epsilon}}。它以\ Var [X] \ rightarrow 0的值变为0，并以\ Var [X] \ rightarrow \ infty的值变为1 。$Y = aX + \epsilon$$a$$\newcommand{\Var}{\mathrm{Var}}\Var[Y] = a^2 \Var[x] + \Var[\epsilon]$$a^2 \Var[X]$$R^2 = \frac{a^2 \Var[x]}{a^2 \Var[X] + \Var[\epsilon]}$$\Var[X] \rightarrow 0$$\Var[X] \rightarrow \infty$

相反，即使模型明显是非线性的，也可以得到较高的$R^2$。（有人有很好的榜样吗？）

那么R ^ 2什么时候是$R^2$有用的统计数据，什么时候应该忽略它？

要解决第一个问题，请考虑模型

$$Y = X + \sin(X) + \varepsilon$$

iid的均值为零和有限方差。随着的范围（被认为是固定的或随机的），变为1。但是，如果的方差很小（大约1或更小），则数据“明显是非线性的”。在图中，。$\varepsilon$$X$$R^2$$\varepsilon$$var(\varepsilon)=1$

顺便说一句，获得小的简单方法是将自变量切成狭窄的范围。回归（使用完全相同的模型）的每个范围内将具有低的即使当基于所有数据全回归具有高的。考虑这种情况是一个有益的练习，并且为第二个问题做好了充分的准备。$R^2$$R^2$$R^2$

以下两个图使用相同的数据。完全回归的为0.86。切片的（从-5/2到5/2的1/2宽度）为.16，.18，.07，.14，.08，.17，.20，.12，.01 ，.00，从左到右阅读。如果有的话，在分割的情况下拟合会更好，因为10条单独的线可以在狭窄范围内更紧密地符合数据。虽然为所有切片都远远低于满，既没有关系的强度，所述线性度，也没有确实任何数据的方面（除的范围用于回归）已经改变。$R^2$$R^2$$R^2$$R^2$$X$

（可能有人反对这种切分程序会改变的分布。的确如此，但它仍然与固定效果建模中的最常用用法相对应，并揭示了告诉我们有关分布的程度在随机效应情况下的方差。特别是，当受约束在其自然范围的较小间隔内变化时，通常会下降。）$X$$R^2$$R^2$$X$$X$$R^2$

的基本问题在于它取决于太多的东西（即使在多元回归中进行调整），但最主要的是取决于自变量的方差和残差的方差。通常，它告诉我们什么关于“线性”或“的关系的力量”，甚至“拟合优度”比较的车型序列。$R^2$

大多数时候，您会发现比更好的统计量。对于模型选择，您可以查看AIC和BIC。为了表达模型的充分性，请看一下残差的方差。 $R^2$

这终于使我们想到了第二个问题。可能会有用的一种情况是将自变量设置为标准值，从而基本控制其方差的影响。那么实际上是残差方差的代理，可以适当地进行标准化。$R^2$$1 - R^2$

您的示例仅在模型中应包含变量。当人们使用通常的最小二乘估计时，它当然不适用。看到这一点，请注意，如果我们估算在你的榜样最小二乘法，我们得到：$\newcommand{\Var}{\mathrm{Var}}X$ $a$

$$\hat{a}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{\frac{1}{N}\sum_{i=1}^{N}X_{i}^{2}}=\frac{\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}}{s_{X}^{2}+\overline{X}^{2}}$$ 其中是的（样品）方差和是的（样本）平均值$s_{X}^2=\frac{1}{N}\sum_{i=1}^{N}(X_{i}-\overline{X})^{2}$$X$$\overline{X}=\frac{1}{N}\sum_{i=1}^{N}X_{i}$$X$

$$\hat{a}^{2}\Var[X]=\hat{a}^{2}s_{X}^{2}=\frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}\left(\frac{s_{X}^{2}}{s_{X}^{2}+\overline{X}^{2}}\right)^2$$

现在，第二项始终小于（极限等于），因此我们从变量获得对的贡献的上限：$1$$1$$R^2$$X$

$$\hat{a}^{2}\Var[X]\leq \frac{\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2}{s_{X}^2}$$

因此，除非，否则我们实际上会看到就像（因为分子变为零，但分母变为））。另外，取决于两个项的发散速度，我们可能使收敛到到之间的某个。现在上述术语通常发散的速度比如果应在模型中，并且如果速度较慢不应是在模型中。在两种情况下，都朝着正确的方向发展。$\left(\frac{1}{N}\sum_{i=1}^{N}X_{i}Y_{i}\right)^2\to\infty$$R^2\to 0$$s_{X}^{2}\to\infty$$\Var[\epsilon]>0$$R^2$$0$$1$$s_{X}^2$$X$$X$$R^2$

还要注意，对于任何有限数据集（即实数集），除非所有误差都完全为零，否则我们永远不可能有。这基本上表明是相对的度量，而不是绝对的度量。因为除非实际上等于，否则我们总能找到一个更好的拟合模型。这可能是的“危险”方面，因为它被缩放为介于和之间，看来我们可以在绝对意义上进行交织。$R^2=1$$R^2$$R^2$$1$$R^2$$0$$1$

查看将变量添加到模型中时下降的速度可能更有用。最后，但并非最不重要的一点是，在变量选择中绝对不能忽略它，因为实际上是变量选择的足够统计量-它包含数据中有关变量选择的所有信息。唯一需要做的就是选择的下降量，该下降量与“拟合误差”相对应-通常取决于样本大小和变量数量。$R^2$$R^2$$R^2$

如果我可以添加一个示例，说明何时是危险的。许多年前，我从事一些生物识别数据的研究，那时又年轻又愚蠢，当我发现我使用逐步函数构建的花式回归的一些具有统计意义的值时，我感到非常高兴。直到后来我向广大国际观众发表演讲后，我才意识到，鉴于数据的巨大差异，再加上样本相对于人群的代表性较差，为0.02完全没有意义。即使它“具有统计意义” ...$R^2$$R^2$$R^2$

那些从事统计工作的人需要了解数据！

当您只有一个预测变量时，精确地解释为的变化比例，可以通过与的线性关系来解释。在查看的值时，必须牢记这种解释。$R^{2}$$Y$$X$$R^2$

仅当非线性关系接近线性时，您才能从该关系中获得较大的。例如，假设其中和。如果您进行计算$R^2$$Y = e^{X} + \varepsilon$$X \sim {\rm Uniform}(2,3)$$\varepsilon \sim N(0,1)$

$$R^{2} = {\rm cor}(X, e^{X} + \varepsilon)^{2}$$

尽管关系显然不是线性的，但您会发现它大约为（我仅通过模拟来近似）。原因是在区间看起来非常像线性函数。$.914$$e^{X}$$(2,3)$

您想避免一种情况是多元回归，其中在模型中添加无关的预测变量可能会增加。这可以通过使用调整后的值来解决，计算方法如下$R^2$$R^2$$R^2$

$\bar{R}^2 = 1 - (1-R^2)\frac{n-1}{n-p-1}$其中是数据样本数，是不计算常数项的回归数。$n$$p$

1. 具有非线性函数的高一个很好的例子是二次函数限制为。如果噪点为0，则如果您拥有3个或更多点，则平方将不会为1，因为它们不能完美地位于一条直线上。但是，如果设计点均匀地分散在的那么您可能会感到很高。如果您在0附近有很多点，而在1附近有很多点，而中间几乎没有或根本没有，则可能不是这种情况。$R^2$$y=x^2$$[0,1]$$R^2$$[0, 1]$$R^2$

2. $R^2$如果噪声项具有较大的方差，则在理想线性情况下将很差。因此，您可以采用模型，从技术上讲，它是一个理想的线性模型，但是让e的方差趋于无穷大，并且会变为0。数据解释了方差，因此它确实可以衡量拟合优度。高表示很适合，但对于拥有的数据集大小，参数过多可能导致我们仍然需要谨慎对待。$Y= x + \epsilon$$R^2$$R^2$

3. 在多元回归的情况下，存在过度拟合的问题。添加变量，将始终增加。调整后的对此有所补救，因为它考虑了参数的数量。$R^2$$R^2$