零假设下线性回归中的分布是什么？为什么当时其模式不为零？

在原假设下，线性单变量多元回归中的确定系数或R平方的分布是什么？$R^2$$H_0:\beta=0$

它如何取决于预测变量数量和样本数量？此分布方式是否有封闭形式的表达式？$k$$n>k$

特别是，我有一种感觉，对于简单回归（具有一个预测变量），此分布的众数为零，但对于多重回归，其众数为非零正值。如果确实是这样，是否对这种“相变”有直观的解释？$x$

---

更新资料

如下@Alecos所示，当和时，分布确实在零处达到峰值，而当时，分布则不在零处。我觉得应该对这种相变有一个几何的看法。考虑OLS的几何视图：是的向量，在此处定义一个维子空间。OLS等于将投影到该子空间上，并且是和其投影之间的角度的平方余弦。$k=2$$k=3$$k>3$$\mathbf y$$\mathbb R^n$$\mathbf X$$k$$\mathbf y$$R^2$$\mathbf y$$\hat{\mathbf y}$

现在，从@Alecos的答案可以得出结论，如果所有向量都是随机的，则对于和，该角度的概率分布将在处达到峰值，但在对于。为什么？！$90^\circ$$k=2$$k=3$$<90^\circ$$k>3$

---

更新2：我接受@Alecos的回答，但仍然感觉我在这里缺少一些重要的见解。如果有人对这种现象提出任何其他（无论是几何还是非几何）观点，使它变得“显而易见”，我将很乐意提供悬赏。

对于特定的假设（所有回归系数均为零，不包括常数项（在此检验中未进行检验））并且在正态下，我们知道（例如见Maddala 2001，第155页，但请注意，计入了没有常数项的回归变量，因此表达式看起来有点不同）$k$

F（k−1，n−k

$$F = \frac {n-k}{k-1}\frac {R^2}{1-R^2}$$ 作为中心随机变量分布。$F(k-1, n-k)$

请注意，尽管我们不测试常数项，但也会对其进行计数。$k$

四处移动，

$$(k-1)F - (k-1)FR^2 = (n-k)R^2 \Rightarrow (k-1)F = R^2\big[(n-k) + (k-1)F\big]$$

$$\Rightarrow R^2 = \frac {(k-1)F}{(n-k) + (k-1)F}$$

但是右侧是Beta分布，特别是

$$R^2 \sim Beta\left (\frac {k-1}{2}, \frac {n-k}{2}\right)$$

在这种分布模式

$$\text{mode}R^2 = \frac {\frac {k-1}{2}-1}{\frac {k-1}{2}+ \frac {n-k}{2}-2} =\frac {k-3}{n-5}$$

有限和唯一模式
根据以上关系，我们可以推断出要使分布具有唯一和有限模式，我们必须具有

$$k\geq 3, n >5$$

这与Beta分发的一般要求是一致的，即

$$\{\alpha >1 , \beta \geq 1\},\;\; \text {OR}\;\; \{\alpha \geq1 , \beta > 1\}$$

因为可以从这个CV线程推断出来或在这里阅读。
请注意，如果，我们将获得均匀分布，因此所有密度点均为众数（有限但非唯一）。这就产生了一个问题：为什么，如果，分布为？ķ = 3 ，Ñ = 5 - [R 2 ù （0 ，1 ）$\{\alpha =1 , \beta = 1\}$$k=3, n=5$$R^2$$U(0,1)$

含义
假设您有回归变量（包括常数），并且观测值。相当不错的回归，没有过度拟合。然后n = $k=5$$n=99$

$$R^2\Big|_{\beta=0} \sim Beta\left (2, 47\right), \text{mode}R^2 = \frac 1{47} \approx 0.021$$

和密度图

请直觉：这是在没有回归变量实际上属于回归的假设下的分布。因此，a）分布独立于回归变量，b）随着样本量的增加，其分布集中于零，因为增加的信息淹没了可能产生某种“拟合”的小样本变异性，而且c）随着无关回归变量的数量在给定样本量的情况下，如果增加，则分布集中于，我们有“虚假拟合”现象。 $R^2$$1$

但也要注意，否定原假设是多么“容易”：在特定示例中，对于累积概率已经达到，因此获得的将拒绝“无意义回归”的原假设。显着性水平为％。0.99 R 2 > 0.13 $R^2=0.13$$0.99$$R^2>0.13$$1$

附录
为了响应有关分布模式的新问题，我可以提供以下思路（非几何方法），将其与“虚假拟合”现象联系起来：在数据上执行最小二乘法时集合，我们本质上解决了一个由具有未知数的线性方程组组成的系统（与高中数学的唯一区别是，那时我们称为“已知系数”，在线性回归中称为“变量/回归”，“未知x”是什么）我们现在称为“未知系数”和“常数项”，我们称为“因变量”）。只要 n k k < n 1 − R 2 k = $R^2$$n$$k$$k<n$系统是过度识别的，没有精确的解决方案，只有近似值-差异显示为“因变量的无法解释的方差”，由捕获。如果则系统具有一个精确解（假设线性独立）。在这两者之间，随着我们增加的数量，我们减少了系统的“过度识别度”，并且“朝着”单个精确解“前进”。在这种观点下，有道理的是为什么随着不相关的回归而虚假地增加，因此，为什么当给定增加，其模式逐渐向移动。$1-R^2$$k=n$R 2 1 k $k$$R^2$$1$$k$$n$

我不会在@Alecos的出色答案中重新分配分布（这是标准结果，请参阅此处以获取其他信息）很好的讨论），但我想填写有关后果的更多详细信息！首先，对于和值范围，的零分布是什么样的？@Alecos的答案中的图形可以很好地说明实际多元回归中发生的情况，但有时从较小的案例中可以更容易地获得见识。我已经包括了均值，众数（存在）和标准偏差。图表/表格值得关注：以全尺寸观看时效果最佳R2nkn$\mathrm{Beta}(\frac{k-1}{2}, \, \frac{n-k}{2})$$R^2$$n$$k$。我本来可以包含较少的方面，但是模式会不太清楚；我附加了R代码，以便读者可以尝试使用和不同子集。$n$$k$

形状参数值

图形的颜色方案指示每个形状参数是小于一个（红色），等于一个（蓝色）还是大于一个（绿色）。左侧显示的值，而在右侧。由于，因此当我们从一列移到另一列时，它的值在算术级数中会以的共同差值增加（在模型中添加回归变量）而对于固定，减少。每行的总是固定的（对于给定的样本大小）。如果相反，我们修复β α = ķ - $\alpha$$\beta$$\alpha = \frac{k-1}{2}$ Ñβ=ñ-$\frac{1}{2}$$n$$\beta = \frac{n-k}{2}$ α+β=ñ-$\frac{1}{2}$ ķαβ$\alpha + \beta = \frac{n-1}{2}$$k$并向下移动该列（将样本大小增加1），然后保持不变，增加。用回归术语来说，是模型中包含的回归变量的一半，是剩余自由度的一半。为了确定分布的形状，我们对或等于1的位置特别感兴趣。$\alpha$$\beta$$\frac{1}{2}$$\alpha$$\beta$$\alpha$$\beta$

对于，代数很简单：我们有所以。实际上，这是构面图中唯一在左侧填充为蓝色的列。类似地，对于（列在左侧为红色），对于，（从列起，左侧为绿色）。$\alpha$$\frac{k-1}{2}=1$$k=3$$\alpha < 1$$k<3$$k=2$$\alpha > 1$$k>3$$k=4$

对于我们有因此。请注意，这些案例（标有蓝色右侧）是如何在小平面图中横切一条对角线的。对于我们得到（带有绿色左侧的图形位于对角线的左侧）。对于我们需要，这仅涉及我图上最右边的情况：在我们有且分布是退化的，但在，绘制（右侧为红色）。$\beta=1$$\frac{n-k}{2}=1$$k=n-2$$\beta > 1$$k < n - 2$$\beta < 1$$k > n - 2$$n=k$$\beta=0$$n=k-1$$\beta = \frac{1}{2}$

由于PDF是，因此很明显，如果（且仅当）然后为。我们可以在图中看到这一点：当左侧被遮蔽红色，为0观察行为类似地，当则作为。看右边是红色的地方！$f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1}$$\alpha<1$$f(x) \to \infty$$x \to 0$$\beta<1$$f(x) \to \infty$$x \to 1$

对称性

图表最醒目的功能之一是对称性，但是当涉及Beta分布时，这并不奇怪！

如果则Beta分布本身是对称的。对于我们来说，如果可以正确识别面板，，和。上的分布对称程度取决于我们在模型中针对该样本量包含的回归变量。如果，则的分布在0.5左右完全对称；如果我们包含的变量少于该变量，变量将变得越来越不对称，并且质量的大部分概率移近Ñ = 2 ķ - 1 （ķ = 2 ，$\alpha = \beta$$n = 2k-1$$(k=2, n=3)$$(k=3, n=5)$$(k=4, n=7)$$(k=5, n=9)$$R^2 = 0.5$$k = \frac{n+1}{2}$$R^2$$R^2 = 0$; 如果我们包含更多变量，则它会更接近。请记住，在其计数中包括了截距，并且我们在空值下工作，因此在正确指定的模型中，回归变量的系数应为零。$R^2 = 1$$k$

对于任何给定的（即构面网格中的任何行），分布之间也显然存在对称性。例如，将与。是什么原因造成的？回想一下是在的镜像。现在我们有了和。考虑，我们发现：（k = 3 ，n = 9 ）$n$$(k=3, n=9)$$(k=7, n=9)$$\mathrm{Beta}(\alpha, \beta)$$\mathrm{Beta}(\beta, \alpha)$$x=0.5$$\alpha_{k,n} = \frac{k-1}{2}$$\beta_{k,n} = \frac{n-k}{2}$$k'=n-k+1$

$$\alpha_{k',n} = \frac{(n-k+1)-1}{2} = \frac{n-k}{2} = \beta_{k,n}$$ $$\beta_{k',n} = \frac{n-(n-k+1)}{2} = \frac{k-1}{2} = \alpha_{k,n}$$

因此，这解释了对称性，因为我们针对固定样本大小更改了模型中回归变量的数量。在特殊情况下，它还解释了本身是对称的分布：对于它们，因此它们必须与自己对称！$k' = k$

这告诉我们一些我们可能没有想到的关于多元回归的方法：对于给定的样本量，并且假设没有回归变量与有真正的关系，则使用回归变量加截距的模型的具有相同的分布就像对于剩余剩余自由度的模型所做的那样。$n$$Y$$R^2$$k-1$$1 - R^2$$k-1$

特别发行

当我们有，这不是有效参数。但是，当，分布会随着尖峰而退化，从而。这与我们对具有与数据点一样多参数的模型所了解的一致-它可以实现完美拟合。我没有在图表上绘制简并分布，但包括均值，众数和标准差。$k=n$$\beta=0$$\beta \to 0$$\mathsf{P}(R^2 = 1)=1$

当和我们得到，它是反正弦分布。这是对称的（因为）和双峰的（0和1）。由于这是和（两侧都标记为红色）的唯一情况，因此这是我们唯一的分布，在支撑的两端均达到无穷大。$k=2$$n=3$$\mathrm{Beta}(\frac{1}{2}, \, \frac{1}{2})$$\alpha = \beta$$\alpha < 1$$\beta < 1$

的分布是唯一的Beta分布是矩形（均匀）。从0到1的所有值都是同等可能。的唯一组合和为其时是和（标在两侧蓝色）。$\mathrm{Beta}(1, \, 1)$$R^2$$k$$n$$\alpha = \beta =1$$k=3$$n=5$

先前的特殊情况适用范围有限，但是和（左侧为绿色，右侧为蓝色）的情况很重要。现在所以我们有一个[0，1]上的幂律分布。当然，我们不太可能在出现这种情况时执行和的回归。但是，根据先前的对称性参数或PDF上的一些平凡代数，当且，这是具有两个回归数和对非平凡样本大小的截距的多次回归的常见过程。$\alpha > 1$$\beta=1$$f(x;\,\alpha,\,\beta) \propto x^{\alpha-1} (1-x)^{\beta-1} = x^{\alpha-1}$$k=n-2$$k>3$$k=3$$n > 5$$R^2$将遵循下[0，1]上的反射幂律分布。$H_0$这对应于和因此在左侧标记为蓝色，在右侧标记为绿色。$\alpha=1$$\beta>1$

您可能还注意到处的三角分布及其反射。从他们的和看出，它们只是幂律和反射幂律分布的特例，其中幂为。$(k=5,n=7)$$(k=3,n=7)$$\alpha$$\beta$$2-1=1$

模式

如果和，则图中的所有绿色是凹形的，其中且Beta分布具有唯一模式。将它们用和，条件为且而模式为。$\alpha>1$$\beta>1$$f(x; \, \alpha, \, \beta)$$f(0)=f(1)=0$$\frac{\alpha-1}{\alpha+\beta-2}$$k$$n$$k>3$$n>k+2$$\frac{k-3}{n-5}$

上面已经处理了所有其他情况。如果我们放松不等式以允许，那么我们将包括（绿色-蓝色）幂律分布，其中且（等效地，）。这些情况显然具有模式1，因为，所以实际上与先前的公式一致。相反，如果我们允许但仍然要求，那么我们将找到且的（蓝绿色）反射幂律分布。它们的模式为0，与。但是，如果我们同时放松两个不等式以允许$\beta=1$$k=n-2$$k>3$$n>5$$\frac{(n-2)-3}{n-5}=1$$\alpha=1$$\beta>1$$k=3$$n>5$$\frac{3-3}{n-5}=0$$\alpha=\beta=1$，我们将找到和的（全蓝色）均匀分布，它没有唯一的模式。此外，在这种情况下，不能使用先前的公式，因为它将返回不确定的形式。$k=3$$n=5$$\frac{3-3}{5-5}=\frac{0}{0}$

当我们得到模式1的简并分布。当（按回归术语，，只有一个剩余自由度），则为，并且（按回归术语，是一个具有截距和一个回归变量的简单线性模型），则为。除了在和（将简单线性模型拟合到三个点）（在0和1处为双峰）的异常情况之外，这些都是独特的模式。 $n=k$$\beta < 1$$n=k-1$$f(x) \to \infty$$x \to 1$$\alpha < 1$$k=2$$f(x) \to \infty$$x \to 0$$k=2$$n=3$

意思

这个问题询问了模式，但是在零下的平均值也很有趣-它具有非常简单的形式。对于固定样本大小，随着向模型中添加更多回归变量，其算术级数增加，直到时平均值为1 。Beta分布的平均值为因此从我们较早的观察中不可避免地得出这样的算术级数：对于固定，总和是恒定的，但是增加0.5对于添加到模型的每个回归变量。$R^2$$\frac{k-1}{n-1}$$k=n$$\frac{\alpha}{\alpha+\beta}$$n$$\alpha+\beta$$\alpha$

$$\frac{\alpha}{\alpha+\beta} = \frac{(k-1)/2}{(k-1)/2 + (n-k)/2} = \frac{k-1}{n-1}$$

地块代码

require(grid)
require(dplyr)

nlist <- 3:9 #change here which n to plot
klist <- 2:8 #change here which k to plot

totaln <- length(nlist)
totalk <- length(klist)

df <- data.frame(
    x = rep(seq(0, 1, length.out = 100), times = totaln * totalk),
    k = rep(klist, times = totaln, each = 100),
    n = rep(nlist, each = totalk * 100)
)

df <- mutate(df,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    density = dbeta(x, (k-1)/2, (n-k)/2),
    groupcol = ifelse(x < 0.5, 
        ifelse(a < 1, "below 1", ifelse(a ==1, "equals 1", "more than 1")),
        ifelse(b < 1, "below 1", ifelse(b ==1, "equals 1", "more than 1")))
)

g <- ggplot(df, aes(x, density)) +
    geom_line(size=0.8) + geom_area(aes(group=groupcol, fill=groupcol)) +
    scale_fill_brewer(palette="Set1") +
    facet_grid(nname ~ kname)  + 
    ylab("probability density") + theme_bw() + 
    labs(x = expression(R^{2}), fill = expression(alpha~(left)~beta~(right))) +
    theme(panel.margin = unit(0.6, "lines"), 
        legend.title=element_text(size=20),
        legend.text=element_text(size=20), 
        legend.background = element_rect(colour = "black"),
        legend.position = c(1, 1), legend.justification = c(1, 1))


df2 <- data.frame(
    k = rep(klist, times = totaln),
    n = rep(nlist, each = totalk),
    x = 0.5,
    ymean = 7.5,
    ymode = 5,
    ysd = 2.5
)

df2 <- mutate(df2,
    kname = paste("k =", k),
    nname = paste("n =", n),
    a = (k-1)/2,
    b = (n-k)/2,
    meanR2 = ifelse(k > n, NaN, a/(a+b)),
    modeR2 = ifelse((a>1 & b>=1) | (a>=1 & b>1), (a-1)/(a+b-2), 
        ifelse(a<1 & b>=1 & n>=k, 0, ifelse(a>=1 & b<1 & n>=k, 1, NaN))),
    sdR2 = ifelse(k > n, NaN, sqrt(a*b/((a+b)^2 * (a+b+1)))),
    meantext = ifelse(is.nan(meanR2), "", paste("Mean =", round(meanR2,3))),
    modetext = ifelse(is.nan(modeR2), "", paste("Mode =", round(modeR2,3))),
    sdtext = ifelse(is.nan(sdR2), "", paste("SD =", round(sdR2,3)))
)

g <- g + geom_text(data=df2, aes(x, ymean, label=meantext)) +
    geom_text(data=df2, aes(x, ymode, label=modetext)) +
    geom_text(data=df2, aes(x, ysd, label=sdtext))
print(g)