为什么我们不能使用

假设我们有一个线性回归模型，其因变量。我们发现它的。现在，我们进行另一个回归，但是这次是在，类似地找到它的。有人告诉我，我无法将两个进行比较，以查看哪种模型更合适。这是为什么？给我的原因是，我们将比较不同数量（不同因变量）的可变性。我不确定这是否是充分的理由。 $y$ $R^2_y$ $\log(y)$ $R^2_{\log(y)}$ $R^2$

还有办法使它正式化吗？

任何帮助，将不胜感激。

regression data-transformation r-squared

— 一个老人在海中。
source

我怀疑这可能在交叉验证之前已经讨论过。您是否彻底经历了类似的话题？另外，您是否关心不同的因变量（例如GDP与石油价格）或同一变量的转换（GDP与GDP增长），或两者兼而有之？

— 理查德·哈迪

@RichardHardy我找到了一些，但我认为它们与我的问题相切。就像这样一个：stats.stackexchange.com/questions/235117/… 答案只是说是，没有真正解释原因。

— 一位老人在海里。

@RichardHardy我对因变量的转换感兴趣。

— 一位老人在海里。

比较仅在嵌套模型之间有意义。

R^{2}

$R^2$

— LVRao

@LVRao感谢您的评论。为什么会这样呢？

— 一位老人在海里。

这是一个很好的问题，因为“不同数量”似乎并不能解释太多。

有两个重要的原因要谨慎使用来比较这些模型：它太粗糙了（它并没有真正评估拟合优度），并且至少对于其中一个模型是不合适的。此答复解决了第二个问题。 $R^2$

理论处理

将模型残差的方差与响应的方差进行比较。方差是拟合的均方差。这样，我们可以将理解为比较响应两个模型。 $R^2$ $R^2$ $y$

“基本”模型是

\begin{matrix} (1) & y_{i} = μ + δ_{i} \end{matrix}

$y_i = \mu + \delta_i\tag{1}$

其中是一个参数（理论平均响应）和是独立随机的“错误”，每个具有零均值和一个共同的方差。 $\mu$ $\delta_i$ $\tau^2$

线性回归模型引入向量作为解释变量： $x_i$

\begin{matrix} (2) & y_{i} = β_{0} + x_{i} β + ε_{i} . \end{matrix}

$y_i = \beta_0 + x_i \beta + \varepsilon_i.\tag{2}$

数和矢量是参数（截距和“斜率”）。的再次是独立的随机误差，每个具有零均值和方差共同。 $\beta_0$ $\beta$ $\varepsilon_i$ $\sigma^2$

在方差的减小的估计，，相比于原始方差。 $R^2$ $\tau^2-\sigma^2$ $\tau^2$

当采用对数并使用最小二乘法拟合模型时，隐式地在比较形式的关系

\begin{matrix} (1a) & \log (y_{i}) = ν + ζ_{i} \end{matrix}

$\log(y_i) = \nu + \zeta_i\tag{1a}$

到形式之一

\begin{matrix} (2a) & \log (y_{i}) = γ_{0} + x_{i} γ + η_{i} . \end{matrix}

$\log(y_i) = \gamma_0 + x_i\gamma + \eta_i.\tag{2a}$

这些就像模型和但是具有日志响应。但是，它们不等同于前两个模型。例如，对两边求幂将得到 $(1)$ $(2)$ $(2\text{a})$

y_{i} = \exp (\log (y_{i})) = \exp (γ_{0} + x_{i} γ) \exp (η_{i}) .

$y_i = \exp(\log(y_i)) = \exp(\gamma_0 + x_i\gamma)\exp(\eta_i).$

误差项现在乘法底层关系。因此，响应的方差为 $\exp(\eta_i)$ $y_i = \exp(\gamma_0 + x_i\gamma)$

Var (y_{i}) = \exp (γ_{0} + x_{i} γ)^{2} Var (e^{η_{i}}) .

$\operatorname{Var}(y_i) = \exp(\gamma_0 + x_i\gamma)^2\operatorname{Var}(e^{\eta_i}).$

方差取决于。 $x_i$ 这不是模型，其设方差都等于一个常数。 $(2)$ $\sigma^2$

通常，这些模型集中只有一个可以合理地描述数据。 施加所述第二组和当所述第一组和是一个很好的模式，或第一时第二个是良好的，相当于具有非线性，异方差数据集，因此工作应该与线性回归拟合得很差。当出现上述两种情况中的任何一种时，我们都可以期望更好的模型表现出更大的。但是，如果都不是怎么办？我们还能期待更大吗 $(1\text{a})$ $(2\text{a})$ $(1)$ $(2)$ $R^2$ 帮助我们确定更好的模型吗？ $R^2$

分析

从某种意义上说，这不是一个好问题，因为如果两种模型都不适合，我们应该找到第三个模型。但是，摆在我们面前的问题涉及在帮助我们做出这一决定方面的效用。此外，许多人首先想到的形状之间的关系的和 --is它是线性的，是对数的，是别的东西-而不必担心回归错误的特性或。因此，让我们考虑一种情况，在这种情况下，我们的模型可以建立正确的关系，但是错误结构的错误，反之亦然。 $R^2$ $x$ $y$ $\varepsilon_i$ $\eta_i$

这样的模型（通常会出现）是拟合指数关系的最小二乘法，

\begin{matrix} (3) & y_{i} = \exp (α_{0} + x_{i} α) + θ_{i} . \end{matrix}

$y_i = \exp\left(\alpha_0 + x_i\alpha\right) + \theta_i.\tag{3}$

现在的对数是一个线性的函数，如在， $y$ $x$ $(2\text{a})$ 但误差项是添加剂 $\theta_i$ ，如在。 在这种情况下，可能会误导我们选择和之间关系错误的模型。 $(2)$ $R^2$ $x$ $y$

这是模型。有观察为（1-矢量之间同样分布 $(3)$ $300$ $x_i$ $1.0$ 和。左面板显示原始数据，而右面板显示转换后的数据。红色虚线表示真实的基础关系，而蓝色实线表示最小二乘拟合。两个面板中的数据和真实关系相同：只有模型及其拟合不同。 $1.6$ $(x,y)$ $(x,\log(y))$

右侧对数响应的拟合显然很好：它与真实关系几乎重合，并且都是线性的。左侧原始响应的拟合度显然更差：它是线性的，而真正的关系是指数的。不幸的是，与相比，它的：值明显更大。这就是为什么我们不应该信任来将我们引向更好的模型的原因。因此，即使为“高”，我们也不会对拟合感到满意（在许多应用中，确实将的值视为高）。 $R^2$ $0.70$ $0.56$ $R^2$ $R^2$ $0.70$

顺便说一句，评估这些模型的更好方法包括拟合优度检验（这将在右侧指示对数模型的优越性）和残差平稳性的诊断图（这将突出显示这两个模型的问题）。这样的评估自然会导致对的加权最小二乘拟合或直接对模型本身进行加权，这必须使用最大似然法或非线性最小二乘法进行拟合。 $\log(y)$ $(3)$

— ub
source

对R ^ 2的批评是不公平的。作为每个工具，它的用法都应该被很好地理解。在上面的示例中，R ^ 2提供了正确的消息。R ^ 2在某种程度上选择了更好的信噪比。当然，当您并排放置两个完全不同比例的图形时，这并不明显。实际上，与噪声偏差相比，左侧的信号非常强。

— Cagdas Ozgenc

@Cagdas您似乎提供了一个内在矛盾的信息。由于这两个情节是不可避免地在两个不同的尺度上-一个图绘制了原始响应，另一个图绘制了它们的对数-然后由于这种不可避免的事实而辩称某些事情“不明显”似乎并不支持您的情况。鉴于我对所提供的模型进行了明确的分析，因此抱怨这个答案“不公平”并不能成立。

— ub

我所说的没有矛盾。R ^ 2选择较高的信噪比。那就是它在做什么。试图将其转换为其他东西并声称它不起作用完全是错误的。当将R ^ 2应用于不同的响应变量时，所有对R ^ 2的批评也适用于拟合优度指标的其他优缺点，但由于某些原因，R ^ 2被选为替罪羊。

— Cagdas Ozgenc

我真的很想知道@Cagdas，您认为此分析的哪一部分是“替罪羊”

。据我所知，这是对

是什么以及不能完成的

的公正而技术上正确的评估。我不认为提到“信噪比”有什么意义，实际上该示例明确显示了更好的模型（按照我的描述，与大多数人所说的“拟合优度”相符）如何产生

越差

R^{2}

$R^2$

R^{2}

$R^2$

。

R^{2}

$R^2$

— ub

感谢您的帮助。对不起，我迟到了，最近我没有很多空闲时间。;）

— 一位老人在海中。