考虑简单的线性模型：

y y = X^{'} β β + ϵ

$\pmb{y}=X'\pmb{\beta}+\epsilon$

其中 $\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$ 和 $X\in\mathbb{R}^{n\times p}$ ，和包含常数的列。 $p\geq2$ $X$

我的问题是，给定，和，是否存在 * 上非平凡上界的公式？（假设模型是由OLS估算的）。 $\mathrm{E}(X'X)$ $\beta$ $\sigma$ $\mathrm{E}(R^2)$

*我以书面形式假设，不可能获得本身。 $E(R^2)$

编辑1

使用StéphaneLaurent派生的解决方案（见下文），我们可以得出的非平凡上界。一些数值模拟（如下）表明，这个界限实际上是很严格的。 $E(R^2)$

斯特凡·洛朗（StéphaneLaurent）得到了以下：其中是具有以下项的非中心Beta分布非中心参数与 $R^2\sim\mathrm{B}(p-1,n-p,\lambda)$ $\mathrm{B}(p-1,n-p,\lambda)$ $\lambda$

λ = \frac{| | X^{'} β - E (X)^{'} β 1_{n} | |^{2}}{σ^{2}}

$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$

所以

E (R^{2}) = E (\frac{χ_{p - 1}^{2} (λ)}{χ_{p - 1}^{2} (λ) + χ_{n - p}^{2}}) \geq \frac{E (χ_{p - 1}^{2} (λ))}{E (χ_{p - 1}^{2} (λ)) + E (χ_{n - p}^{2})}

$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$

其中是具有参数和自由度的非中心。因此的非平凡上限是 $\chi^2_{k}(\lambda)$ $\chi^2$ $\lambda$ $k$ $\mathrm{E}(R^2)$

\frac{λ + p - 1}{λ + n - 1}

$\frac{\lambda+p-1}{\lambda+n-1}$

它非常紧（比我预期的要紧得多）：

例如，使用：

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

在1000次仿真中的平均值为。上面的理论上限给出。在许多值上，边界似乎同样精确。真令人震惊！ $R^2$ 0.9608190.9609081 $R^2$

编辑2：

经过进一步研究，似乎随着增加（与其他所有相等的情况，随增加），对的上限近似的质量会更好。 $E(R^2)$ $\lambda+p$ $\lambda$ $n$

linear-model expected-value

— 用户603
source

R^{2}

$R^2$ 具有Beta分布，其参数仅取决于和。不是吗

n

$n$

p

$p$

— 斯特凡·洛朗

抱歉，我先前的主张仅在“空模型”（仅拦截）的假设下才是正确的。否则，的分布应类似于非中心Beta分布，其非中心参数涉及未知参数。

R^{2}

$R^2$

— 斯特凡·洛朗

@StéphaneLaurent：谢谢。您是否会进一步了解未知参数和Beta参数之间的关系？我被卡住了，所以任何指针都将受到欢迎……

— user603 2013年

您是否绝对需要处理

？也许对于

有一个简单的精确公式。

E [R^{2}]

$E[R^2]$

E [R^{2} / (1 - R^{2})]

$E[R^2/(1-R^2)]$

— 斯特凡·洛朗

用我的答案符号，对于某些标量

，

，并且非中心

的第一矩很简单。

R^{2} / (1 - R^{2}) = k F

$R^2/(1-R^2) = k F$

k

$k$

F

$F$

— 斯特凡·洛朗

任何线性模型可以写成其中对标准正态分布和被假定为属于一个线性子空间的。在您的情况下，。 $\boxed{Y=\mu+\sigma G}$ $G$ $\mathbb{R}^n$ $\mu$ $W$ $\mathbb{R}^n$ $W=\text{Im}(X)$

让是由载体产生的一维线性子空间。服用下面，对是高度相关的经典费歇尔统计 $[1] \subset W$ $(1,1,\ldots,1)$ $U=[1]$ $R^2$ 为的假设检验其中是线性子空间，并且由表示的正交补在，分别表示和

F = \frac{{‖ P_{Z} Y ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} Y ‖}^{2} / (n - m)},

$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$

H_{0} : {μ \in U}

$H_0\colon\{\mu \in U\}$

U \subset W

$U\subset W$

Z = U^{⊥} \cap W

$Z=U^\perp \cap W$

U

$U$

W

$W$

m = \dim (W)

$m=\dim(W)$

ℓ = \dim (U)

$\ell=\dim(U)$ （则

，

）。

m = p

$m=p$

ℓ = 1

$\ell=1$

确实，，因为的定义是

\frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{W}^{⊥} Y ‖}^{2}} = \frac{R^{2}}{1 - R^{2}}

$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$

R^{2}

$R^2$

R^{2} = \frac{{‖ P_{Z} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} = 1 - \frac{{‖ P_{W}^{⊥} Y ‖}^{2}}{{‖ P_{U}^{⊥} Y ‖}^{2}} .

$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$

显然和。 $\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$ $\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

当为真 $H_0\colon\{\mu \in U\}$ 则，因此 $P_Z \mu = 0$ 具有费希尔分布。因此，来自费希尔分布和Beta分布之间的经典关系。

F = \frac{{‖ P_{Z} G ‖}^{2} / (m - ℓ)}{{‖ P_{W}^{⊥} G ‖}^{2} / (n - m)} \sim F_{m - ℓ, n - m}

$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$

F_{m - ℓ, n - m}

$F_{m-\ell,n-m}$

R^{2} \sim B (m - ℓ, n - m)

$R^2 \sim {\cal B}(m-\ell, n-m)$

在一般的情况，我们必须处理当。在这种一般的情况下一个具有时，非中心与分布自由度和noncentrality参数 $P_Z Y = P_Z \mu + \sigma P_Z G$ $P_Z\mu \neq 0$ ${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$ $\chi^2$ $m-\ell$ ，然后（非中心费舍尔分布）。这是用于计算检验功效的经典结果。 $\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$ $\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$ $F$

Fisher分布和Beta分布之间的经典关系在非中心情况下也成立。最后，具有非中心贝塔分布，其“形状参数”为和，非中心参数为。我认为这些时刻可以从文献中找到，但它们可能非常复杂。 $R^2$ $m-\ell$ $n-m$ $\lambda$

最后，让我们写下。需要注意的是。一个具有时，和。因此，其中这里为未知参数向量。 $P_Z\mu$ $P_Z = P_W - P_U$ $P_U \mu = \bar\mu 1$ $U=[1]$ $P_W \mu = \mu$ $P_Z \mu =\mu - \bar\mu 1$ $\mu=X\beta$ $\beta$

— 斯特凡·洛朗（StéphaneLaurent）
source

是

在线性子空间

上的正交投影。和

表示上的正交投影。

P_{Z} x

$P_Z x$

x

$x$

Z

$Z$

P^{⊥}

$P^\perp$

— 斯特凡·洛朗

当心

。我将编辑帖子以编写公式。

P x \neq ‖ P x ‖^{2}

$Px \neq \Vert P x \Vert^2$

— 斯特凡·洛朗

完成-您看到任何简化了吗？

— 斯特凡·洛朗

\bar{μ} = \frac{1}{n} \sum μ_{i}

$\bar \mu = \frac{1}{n} \sum \mu_i$

— 斯特凡劳伦

类型I很明显：类型II分布在

。实际上，

具有II型分布。我已经做了今天的最后更正。

(0, \infty)

$(0, \infty)$

R^{2} / (1 - R^{2})

$R^2/(1-R^2)$

— 斯特凡·洛朗

R平方的条件期望

编辑1

编辑2：