11

我没有尺度等方差的正式定义，但是这是《统计学习入门》在p上对此的描述。217：

标准最小二乘系数...是等比例的：将乘以常数只会导致将最小二乘系数估计值按比例缩放。 $X_j$ $c$ $1/c$

为简单起见，我们假设通用线性模型，其中，是矩阵（其中），其中，和是具有的实值随机变量的维向量。 $\mathbf{y} = \mathbf{X}\boldsymbol\beta + \boldsymbol\epsilon$ $\mathbf{y} \in \mathbb{R}^N$ $\mathbf{X}$ $N \times (p+1)$ $p+1 < N$ $\mathbb{R}$ $\boldsymbol\beta \in \mathbb{R}^{p+1}$ $\boldsymbol\epsilon$ $N$ $\mathbb{E}[\boldsymbol\epsilon] = \mathbf{0}_{N \times 1}$

根据OLS估算，我们知道如果具有完整（列）排名，则假设我们相乘的一个列，说一些，通过常数。这相当于矩阵 $\mathbf{X}$

{\hat{β}}_{X} = （ X^{Ť} X ）^{- 1个} X^{Ť} ÿ 。

$\hat{\boldsymbol\beta}_{\mathbf{X}} = (\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}\text{.}$

X

$\mathbf{X}$

x_{k}

$\mathbf{x}_k$

k \in {1, 2, \dots, p + 1}

$k \in \{1, 2, \dots, p+1\}$

c \neq 0

$c \neq 0$

X \underset{S}{\underset{⏟}{[\begin{matrix} 1 \\ 1 \\ ⋱ \\ 1 \\ c \\ 1 \\ ⋱ \\ 1 \end{matrix}]}} = [\begin{matrix} x_{1} & x_{2} & \dots & c x_{k} & \dots & x_{p + 1} \end{matrix}] \equiv \tilde{X}

$\begin{equation} \mathbf{X}\underbrace{\begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & c\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}}_{\mathbf{S}} = \begin{bmatrix} \mathbf{x}_1 & \mathbf{x}_2 & \cdots & c\mathbf{x}_{k} & \cdots & \mathbf{x}_{p+1}\end{bmatrix} \equiv \tilde{\mathbf{X}} \end{equation}$ ，其中矩阵所有其他条目均为，并且在对角线的第个条目中。然后，

S

$\mathbf{S}$

0

$0$

c

$c$

k

$k$

S

$\mathbf{S}$

\tilde{X}

$\tilde{\mathbf X}$

\tilde{X}

$\tilde{\mathbf X}$ 因为新的设计矩阵是经过一番努力，人们可以证明

{\hat{β}}_{\tilde{X}} = {({\tilde{X}}^{T} \tilde{X})}^{- 1} {\tilde{X}}^{T} y .

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \left(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}\right)^{-1}\tilde{\mathbf{X}}^{T}\mathbf{y}\text{.}$

{\overset{〜}{X}}^{Ť} \overset{〜}{X} = [\begin{matrix} X_{1个}^{Ť} X_{1个} & X_{1个}^{Ť} X_{2} & \dots & C X_{1个}^{Ť} X_{ķ} & \dots & X_{1个}^{Ť} X_{p + 1个} \\ X_{2}^{Ť} X_{1个} & X_{2}^{Ť} X_{2} & \dots & C X_{2}^{Ť} X_{ķ} & \dots & X_{2}^{Ť} X_{p + 1个} \\ ⋮ & ⋮ & ⋱ & ⋮ & \dots & ⋮ \\ C X_{ķ}^{Ť} X_{1个} & C X_{ķ}^{Ť} X_{2} & \dots & C^{2} X_{ķ}^{Ť} X_{ķ} & \dots & C X_{ķ}^{Ť} X_{p + 1个} \\ ⋮ & ⋮ & ⋮ & ⋮ & \dots & ⋮ \\ X_{p + 1个}^{Ť} X_{1个} & X_{p + 1个}^{Ť} X_{2} & \dots & C X_{p + 1个}^{Ť} X_{p + 1个} & \dots & X_{p + 1个}^{Ť} X_{p + 1个} \end{matrix}]

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{x}_1 & \mathbf{x}_1^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_1^{T}\mathbf{x}_k & \cdots & \mathbf{x}_1^{T}\mathbf{x}_{p+1} \\ \mathbf{x}_2^{T}\mathbf{x}_1 & \mathbf{x}_2^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_2^{T}\mathbf{x}_k & \cdots & \mathbf{x}_2^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \ddots & \vdots & \cdots & \vdots \\ c\mathbf{x}_k^{T}\mathbf{x}_1 & c\mathbf{x}_k^{T}\mathbf{x}_2 & \cdots & c^2\mathbf{x}_k^{T}\mathbf{x}_k & \cdots & c\mathbf{x}_k^{T}\mathbf{x}_{p+1} \\ \vdots & \vdots & \vdots & \vdots & \cdots & \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{x}_1 & \mathbf{x}_{p+1}^{T}\mathbf{x}_2 & \cdots & c\mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} & \cdots & \mathbf{x}_{p+1}^{T}\mathbf{x}_{p+1} \\ \end{bmatrix}$ \ cdots和\ mathbf {x} _ {p + 1} ^ {T} \ mathbf {x} _ {p + 1} \\ \ end {bmatrix} 和

{\overset{〜}{X}}^{Ť} ÿ = [\begin{matrix} X_{1个}^{Ť} ÿ \\ X_{2}^{Ť} ÿ \\ ⋮ \\ C X_{ķ}^{Ť} ÿ \\ ⋮ \\ X_{p + 1个}^{Ť} ÿ \end{matrix}]

$\tilde{\mathbf{X}}^{T}\mathbf{y} = \begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix}$ 我如何从此处显示上面引用的声明（即）？我不清楚如何计算。

{\hat{β}}_{\tilde{X}} = \frac{1}{c} {\hat{β}}_{X}

$\hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}} = \dfrac{1}{c}\hat{\boldsymbol\beta}_{\mathbf{X}}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

least-squares linear-model

— 单簧管
source

我认为您的是不正确的，它在整行中都缺少乘法器。

{\tilde{X}}^{T} \tilde{X}

$\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}}$

c

$c$

— Firebug

1

另外，请记住声明是，而不是每个。

{\hat{β}}_{k, new} = \frac{1}{c} {\hat{β}}_{k, old}

$\hat{\beta}_{k, \text{new}}={1\over c}\hat{\beta}_{k, \text{old}}$

β

$\beta$

— Firebug

@Firebug是的，我只是想通了。我正在发布答案。

— 单簧管手

2

可以更换所有通过简单得多的单位分析该代数，因为乘以由仅仅改变其测量的单元，因此，在与它的系数相关联的单元的相应变化是通过将其分摊。不幸的是，这并不能证明必须除以。但是，这种思路可能会提醒我们，可以通过一次对一个回归变量进行一系列回归来执行多重回归，很明显，除以，因此证明是完整的。

X_{j}

$X_j$

c

$c$

β_{j}

$\beta_j$

c

$c$

{\hat{β}}_{j}

$\hat \beta_j$

c

$c$

{\hat{β}}_{j}

$\hat\beta_j$

c

$c$

— ub

@whuber，虽然对结果的直觉很清楚，但在提供证明时似乎必须有一点代数。毕竟，比例因子需要反转。

c

$c$

— user795305 2017年

11

由于引号中的断言是有关重新缩放列的语句的集合，因此您不妨一次证明它们。确实，无需做更多工作即可证明该断言的一般性： $X$

当与可逆矩阵右乘时，则新系数估计等于左乘以。 $X$ $A$ $\hat\beta_A$ $\hat \beta$ $A^{-1}$

对于唯一的矩阵和，您唯一需要的代数事实是的（容易证明的，众所周知的事实为可逆矩阵和。（使用广义逆时，需要后者的更微妙的形式：对于可逆和以及任何，。） $(AB)^\prime=B^\prime A^\prime$ $AB$ $(AB)^{-1}=B^{-1}A^{-1}$ $A$ $B$ $A$ $B$ $X$ $(AXB)^{-} = B^{-1}X^{-}A^{-1}$

代数证明：

{\hat{β}}_{一种} = （ （ X 一种 ）^{'} （ （ X 一种 ） ）^{-} （ X 一种 ）^{'} ÿ = {一种}^{- 1个} （ X^{'} X ）^{-} （ {一种}^{'} ）^{- 1个} {一种}^{'} ÿ = {一种}^{- 1个} \hat{β} ，

$\hat\beta_A = ((XA)^\prime ((XA))^{-}(XA)^\prime y = A^{-1}(X^\prime X)^{-} (A^\prime)^{-1}A^\prime y = A^{-1}\hat \beta,$

QED。 （为了使该证明完全通用，上标指的是广义逆。） $^-$

几何证明：

给定碱基和的和，分别表示从线性变换到。与右乘可被视为使此变换固定不变，但将更改为（即更改为的列）。在这种基础变化下，任何矢量必须通过与左乘法来改变， $E_p$ $E_n$ $\mathbb{R}^n$ $\mathbb{R}^p$ $X$ $\mathbb{R}^p$ $\mathbb{R}^n$ $X$ $A$ $E_p$ $AE_p$ $A$ $\hat\beta\in\mathbb{R}^p$ $A^{-1}$ QED。

（即使是不可逆的，该证明也可以有效地使用，但不会修改。） $X^\prime X$

引用具体指的是对且的对角矩阵为的情况。 $A$ $A_{ii}=1$ $i\ne j$ $A_{jj}=c$

最小二乘连接

这里的目的是使用第一原理来获得结果，该原理是最小二乘法：估计使残差的平方和最小的系数。

再次证明，证明（巨大的）概括不再困难，而只是揭示而已。 假设是实向量空间的任何映射（线性或非线性），并且是上的任何实值函数。让是点的（可能为空）为其中被最小化。

ϕ : V^{p} \to W^{n}

$\phi:V^p\to W^n$

Q

$Q$

W^{n}

$W^n$

U \subset V^{p}

$U\subset V^p$

v

$v$

Q (ϕ (v))

$Q(\phi(v))$

结果： 仅由和确定的不依赖于用于表示向量的基础任何选择。 $U$ $Q$ $\phi$ $E_p$ $V^p$

证明： QED。

没有什么可证明的！

结果的应用：令为上的正半定二次型，令，并假定是当为时由表示的线性映射和。定义。选择一个的基础，并假设是该基础上某些的表示。 这是最小二乘：最小化平方距离。因为 $F$ $\mathbb{R}^n$ $y\in\mathbb{R}^n$ $\phi$ $X$ $V^p=\mathbb{R}^p$ $W^n=\mathbb{R}^n$ $Q(x)=F(y,x)$ $\mathbb{R}^p$ $\hat\beta$ $v\in U$ $x=X\hat\beta$ $F(y,x)$ $X$ 是线性图，改变的基础对应于右乘以由一些可逆矩阵。将左乘由，QED。 $\mathbb{R}^p$ $X$ $A$ $\hat\beta$ $A^{-1}$

— ub
source

6

定义最小二乘估计器，其中设计矩阵是满分。假设缩放矩阵是可逆的。 $\hat\beta = \arg\min_{\beta\in\mathbb{R}^p} \|y - X \beta\|_2^2$ $X \in \mathbb{R}^{n \times p}$ $S \in \mathbb{R}^{p \times p}$

定义此新的缩放估算器。这意味着对于所有。限定，我们可以重写该显示上述不等式为为所有。因此，得出最小二乘估计量由于缩放矩阵的可逆性 $\tilde\alpha = \arg\min_{\alpha\in\mathbb{R}^p} \|y - X S \alpha\|_2^2$

‖ ÿ - X 小号 \overset{〜}{α} ‖_{2}^{2} < ‖ ÿ - X 小号 α ‖_{2}^{2}

$\|y - X S \tilde\alpha\|_2^2 < \|y - X S \alpha\|_2^2$

α \neq \tilde{α}

$\alpha\ne \tilde\alpha$

\tilde{β} = S \tilde{α}

$\tilde\beta = S \tilde\alpha$

‖ ÿ - X \overset{〜}{β} ‖_{2}^{2} < ‖ ÿ - X β ‖_{2}^{2}

$\|y - X \tilde\beta \|_2^2 < \|y - X \beta \|_2^2$

β \neq \tilde{β}

$\beta \ne \tilde\beta$

\tilde{β} = \arg min_{β \in R^{p}} ‖ y - X β ‖_{2}^{2}

$\tilde\beta = \arg\min_{\beta \in \mathbb{R}^p} \|y - X \beta\|_2^2$

\begin{aligned} \hat{β} = \tilde{β} = S \tilde{α} . \end{aligned}

$\begin{align*} \hat\beta = \tilde\beta = S \tilde\alpha. \end{align*}$

S

$S$ ，则。在我们的情况下，这与的唯一不同之处在于项由缩放。

\tilde{α} = S^{- 1} \hat{β}

$\tilde\alpha = S^{-1} \hat\beta$

\hat{β}

$\hat\beta$

k^{t h}

$k^\mathrm{th}$

\frac{1}{c}

$\frac{1}{c}$

— 用户名
source

1

我不熟悉使用和类似函数的方法-您能解释一下从第二行到第三行的转换吗？

arg min

$\text{arg min}$

— 单簧管

我写的有点不同，这应该使步骤更清晰。

— user795305 '17

这真的很聪明。（+1）

— 单簧管手

4

发布问题后，我想出了这一点。但是，如果我的工作是正确的，我会误解该索赔。所述仅缩放发生的一个部件上对应的列乘以。 $\dfrac{1}{c}$ $\boldsymbol\beta$ $\mathbf{X}$ $c$

请注意，上面的符号是对角对称矩阵，并且具有逆矩阵（因为它是对角线）请注意是矩阵。假设 $\mathbf{S}$ $(p+1) \times (p+1)$

{小号}^{- 1个} = [\begin{matrix} 1个 \\ 1个 \\ ⋱ \\ 1个 \\ \frac{1个}{C} \\ 1个 \\ ⋱ \\ 1个 \end{matrix}] 。

$\mathbf{S}^{-1} = \begin{bmatrix} 1 & \\ & 1 \\ & & \ddots \\ & & & 1 \\ & & & & \frac{1}{c}\\ & & & & & 1 \\ & & & & & &\ddots \\ & & & & & & & 1 \end{bmatrix}\text{.}$

({\tilde{X}}^{T} \tilde{X})^{- 1}

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1}$

(p + 1) \times (p + 1)

$(p+1)\times(p+1)$

（ X^{Ť} X ）^{- 1个} = [\begin{matrix} ž_{1个} & ž_{2} & \dots & ž_{ķ} & \dots & ž_{p + 1个} \end{matrix}] 。

$(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 & \mathbf{z}_2 & \cdots & \mathbf{z}_k & \cdots & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

（ {\overset{〜}{X}}^{Ť} \overset{〜}{X} ）^{- 1个} = [（ X 小号 ）^{Ť} X 小号]^{- 1个} = （ {小号}^{Ť} X^{Ť} X 小号 ）^{- 1个} = （ 小号 X^{Ť} X 小号 ）^{- 1个} = {小号}^{- 1个} （ X^{Ť} X ）^{- 1个} {小号}^{- 1个} 。

$(\tilde{\mathbf{X}}^{T}\tilde{\mathbf{X}})^{-1} = [(\mathbf{X}\mathbf{S})^{T}\mathbf{X}\mathbf{S}]^{-1} = (\mathbf{S}^{T}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1} = (\mathbf{S}\mathbf{X}^{T}\mathbf{X}\mathbf{S})^{-1}=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}\text{.}$ 因此，并将其乘以与将乘以效果相似-保持不变，乘以

{小号}^{- 1个} （ X^{Ť} X ）^{- 1个} = [\begin{matrix} ž_{1个} \\ ž_{2} \\ ⋱ \\ \frac{1个}{C} ž_{ķ} \\ ⋱ \\ ž_{p + 1个} \end{matrix}]

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}$

S^{- 1}

$\mathbf{S}^{-1}$

X

$\mathbf{X}$

S

$\mathbf{S}$

\frac{1}{c} z_{k}

$\frac{1}{c}\mathbf{z}_k$

\frac{1}{c}

$\frac{1}{c}$ ：因此，

{小号}^{- 1个} （ X^{Ť} X ）^{- 1个} {小号}^{- 1个} = [\begin{matrix} ž_{1个} \\ ž_{2} \\ ⋱ \\ \frac{1个}{C^{2}} ž_{ķ} \\ ⋱ \\ ž_{p + 1个} \end{matrix}] 。

$\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1} = \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\text{.}$

\begin{aligned} {\hat{β}}_{\overset{〜}{X}} & = {小号}^{- 1个} （ X^{Ť} X ）^{- 1个} {小号}^{- 1个} （ X 小号 ）^{Ť} ÿ \\ = [\begin{matrix} ž_{1个} \\ ž_{2} \\ ⋱ \\ \frac{1个}{C^{2}} ž_{ķ} \\ ⋱ \\ ž_{p + 1个} \end{matrix}] [\begin{matrix} X_{1个}^{Ť} ÿ \\ X_{2}^{Ť} ÿ \\ ⋮ \\ C X_{ķ}^{Ť} ÿ \\ ⋮ \\ X_{p + 1个}^{Ť} ÿ \end{matrix}] \\ = [\begin{matrix} ž_{1个} X_{1个}^{Ť} ÿ \\ ž_{2} X_{2}^{Ť} ÿ \\ ⋮ \\ \frac{1个}{C} ž_{ķ} X_{ķ}^{Ť} ÿ \\ ⋮ \\ ž_{p + 1个} X_{p + 1个}^{Ť} ÿ \end{matrix}] \end{aligned}

$\begin{align} \hat{\boldsymbol\beta}_{\tilde{\mathbf{X}}}&=\mathbf{S}^{-1}(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{S}^{-1}(\mathbf{X}\mathbf{S})^{T}\mathbf{y} \\ &= \begin{bmatrix} \mathbf{z}_1 \\ & \mathbf{z}_2 \\ & & \ddots \\ & & & \frac{1}{c^2}\mathbf{z}_k \\ & & & & \ddots \\ & & & & & \mathbf{z}_{p+1} \end{bmatrix}\begin{bmatrix} \mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ c\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \\ &= \begin{bmatrix} \mathbf{z}_1\mathbf{x}_1^{T}\mathbf{y} \\ \mathbf{z}_2\mathbf{x}_2^{T}\mathbf{y} \\ \vdots \\ \frac{1}{c}\mathbf{z}_k\mathbf{x}_k^{T}\mathbf{y} \\ \vdots \\ \mathbf{z}_{p+1}\mathbf{x}_{p+1}^{T}\mathbf{y} \end{bmatrix} \end{align}$ 。

— 单簧管
source

有一个错字在。您需要转置。

S^{- 1} (X^{T} X)^{- 1} S^{- 1} (X S) y

$\mathbf{S}^{-1}( \mathbf{X}^{T}\mathbf{X})^{-1} \mathbf{S}^{-1}(\mathbf{X} \mathbf{S}) \mathbf{y}$

(X S)

$(\mathbf{X}\mathbf{S})$

— JohnK

3

有史以来最琐碎的证明

您从线性方程式开始：现在，您想更改回归器的比例，也许从公制转换为英制，您知道千克到磅，米到码等。所以，您来转换矩阵为，其中每个是设计矩阵变量（列）的转换系数。

ÿ = X β + ε

$Y=X\beta+\varepsilon$

S = d i a g (s_{1}, s_{1}, \dots, s_{n})

$S=diag(s_1,s_1,\dots,s_n)$

s_{i}

$s_i$

i

$i$

X

$X$

让我们重新编写方程：

ÿ = （ X 小号 ） （ {小号}^{- 1个} β ） + ε

$Y=(XS)(S^{-1}\beta)+\varepsilon$

现在已经很清楚，比例缩放是方程式线性的属性，而不是系数估计的OLS方法。无论采用线性方程式的估算方法如何，您都可以将回归系数缩放为新系数应该缩放为 $XS$ $S^{-1}\beta$

代数证明仅适用于OLS

缩放比例是这样的：其中每个变量（列）的比例因子，是的缩放版本。我们称对角线比例矩阵。您的OLS估计器是让我们插入缩放的矩阵而不是并使用一些矩阵代数：因此，您将看到新系数只是简单地按预期比例缩小了旧系数。

ž = X * d 一世 一种 G （ s_{1个} ， s_{2} ， 。 。 。 ， s_{ñ} ）

$Z=X*diag(s_1,s_2,...,s_n)$

s_{i}

$s_i$

Z

$Z$

X

$X$

S \equiv d i a g (s_{1}, s_{2}, . . ., s_{n})

$S\equiv diag(s_1,s_2,...,s_n)$

\hat{β} = （ X^{Ť} X ）^{- 1个} X^{Ť} ÿ

$\hat\beta=(X^TX)^{-1}X^TY$

Z

$Z$

X

$X$

（ ž^{Ť} ž ）^{- 1个} ž^{Ť} ÿ = （ {小号}^{Ť} X^{Ť} X 小号 ）^{- 1个} {小号}^{Ť} X^{Ť} ÿ = {小号}^{- 1个} （ X^{Ť} X ）^{- 1个} {小号}^{- 1个} 小号 X^{Ť} ÿ = {小号}^{- 1个} （ X^{Ť} X ）^{- 1个} X^{Ť} ÿ = {小号}^{- 1个} \hat{β}

$(Z^TZ)^{-1}Z^TY=(S^TX^TXS)^{-1}S^TX^TY=S^{-1}(X^TX)^{-1}S^{-1}SX^TY\\ =S^{-1}(X^TX)^{-1}X^TY=S^{-1}\hat\beta$

— 阿克萨卡尔族
source

2

我喜欢您的方法，但是对“有史以来最琐碎的证据”感到不服。您已经隐含地假设，并且仍然需要证明，重写的模型必须与原始模型具有相同的拟合度。更严格地说：如果我们将拟合过程视为函数，其中是所有可能数据的集合（我们可以将其写为有序对），是所有可能系数估计的集合，那么您需要证明为所有可逆，所有，以及所有。（这并不总是正确的！）

δ : M \to R^{p}

$\delta:M\to\mathbb{R}^p$

M

$M$

(X, Y)

$(X,Y)$

R^{p}

$\mathbb{R}^p$

δ (X, Y) = S^{- 1} δ (X S, Y)

$\delta(X,Y)=S^{-1}\delta(XS,Y)$

S

$S$

X

$X$

Y

$Y$

— whuber

@whuber，实际上是另一种方式：合理的拟合过程应满足此条件，否则，简单地更改度量单位将产生不同的预测/估计。我会更新我的答案，会去想它一点点

— Aksakal

我同意-但是我可以想象在以下情况下的例外情况

X

$X$ 排名不完整。这就是给我的提示，这种情况并不像看起来那样琐碎。

— 豪伯

3

皇室成员，不是皇家 ...：D（很好的回答，+ 1）

— usεr11852

@usεr11852，我今天学到了一些东西:)

— Aksakal

2

$\hat{y}$ $y$ $X.$ $\hat{\beta}$ 是表示为线性时系数的向量列的组合。如果某列按因子缩放，则很明显，线性组合中的相应系数必须按缩放。 $\hat{y}$ $X$ $c$ $1/c$

假设是的值，而是用缩放一列时的OLS解决方案的值 $b_i$ $\hat{\beta}$ $a_i$ $c.$

b_{1个} X_{1个} + 。 。 。 + b_{一世} X_{一世} + 。 。 。 + b_{米} X_{米} = {一种}_{1个} X_{1个} + 。 。 。 {一种}_{一世} （ C X_{一世} ） + 。 。 。 + {一种}_{ñ} X_{ñ}

$b_1x_1 + ... + b_ix_i + ...+ b_mx_m = a_1x_1 + ... a_i(cx_i) + ... +a_nx_n$

表示 $b_j = a_j$ ，假设的列是线性独立的其中和。 $j \neq i$ $b_i = a_ic$ $X$

— 乔尼·洛蒙德
source

证明OLS估计量是尺度相等的吗？

最小二乘连接

有史以来最琐碎的证明

代数证明仅适用于OLS