《统计学习入门》中的“函数”的方差是什么意思？

在pg。统计学习入门中的 34 ： $\newcommand{\Var}{{\rm Var}}$

虽然数学证明超出了本书的范围，有可能表明期望的测试MSE，给定值 $x_0$ ，总是可以分解为三个基本量的总和：在变化的 $\hat{f}(x_0)$ ，平方偏差的 $\hat{f}(x_0)$ 和误差项的方差 $\varepsilon$ 。那是，

$Ë {（ ÿ_{0} - \hat{F} （ X_{0} ））}^{2} = V 一个 [R （ \hat{F} （ X_{0} ）） + [乙一世一个 s （ \hat{F} （ X_{0} ））]^{2} + V 一个 [R （ ε ）$ $E\left(y_0 - \hat{f}(x_0)\right)^2 = \Var\big(\hat{f}(x_0)\big) + \Big[{\rm Bias}\big(\hat{f}(x_0)\big)\Big]^2 + \Var(\varepsilon)$
[...]方差是指如果我们使用不同的训练数据集来估计 $\hat{f}$ 变化量。

问题：由于 $\Var\big(\hat{f}(x_0)\big)$ 似乎表示函数的方差，因此这在形式上是什么意思？

也就是说，我熟悉随机变量的方差的概念 $X$ ，但是一组函数的方差又如何呢？可以将其视为函数形式的另一个随机变量的方差吗？

machine-learning variance

— 乔治
source

给定每次出现在公式中时，都会将其应用于“给定值”，方差应用于数字，而不是应用于本身。由于该数字大概是从使用随机变量建模的数据中得出的，因此它也是（实值）随机变量。通常采用方差的概念。

\hat{f}

$\hat f$

x_{0}

$x_0$

\hat{f} (x_{0})

$\hat{f}(x_0)$

\hat{f}

$\hat{f}$

— whuber

我知道了。因此在变化（在不同的训练数据集之间变化），但是我们仍然查看自身的方差。

\hat{f}

$\hat{f}$

\hat{f} (x_{0})

$\hat{f}(x_0)$

— 乔治

这本书的作者是谁？我一直想自己学习该主题，非常感谢您的参考建议。

— Chill2Macht

@WilliamKrinsman这是本书：www-bcf.usc.edu/~gareth/ISL

— Matthew Drury

Answers:

您与@whuber的往来信件是正确的。

可以将学习算法视为更高级别的函数，将训练集映射到函数。 $\mathcal{A}$

一个 ： Ť \to {F ∣ F ： X \to [R}

$\mathcal{A} : \mathcal{T} \rightarrow \{f \mid f: X \rightarrow \mathbb{R} \}$

其中是可能的训练集的空间。从概念上讲，这可能有点繁琐，但是基本上每个单独的训练集在使用模型训练算法后都会得到特定函数，该函数可用于在给定数据点进行预测。 $\mathcal{T}$ $f$ $x$

如果我们将训练集的空间视为一个概率空间，以便可能的训练数据集存在某种分布，那么模型训练算法就变成了一个函数值随机变量，我们可以想到统计概念。特别地，如果我们固定一个特定的数据点，那么我们将获得数值随机变量 $x_0$

{一个}_{X_{0}} （ Ť ） = 一个 （ Ť ） （ X_{0} ）

$\mathcal{A}_{x_0}(T) = \mathcal{A}(T)(x_0)$

即，首先在上训练算法，然后在处评估结果模型。这只是一个简单的旧的，但在概率空间上巧妙构造的随机变量，因此我们可以谈谈其方差。这是您的ISL公式中的差异。 $T$ $x_0$

— 马修·德鲁里
source

使用重复kfold的视觉解释

若要对@Matthew Drury的答案进行视觉/直观解释，请考虑以下玩具示例。

数据是从嘈杂的正弦曲线生成的：“真噪声” $f(x) \ +$
数据分为训练样本和测试样本（75％-25％）
线性（多项式）模型拟合到训练数据： $\hat f(x)$
使用相同的数据重复此过程很多次（即拆分训练-使用Sklearm重复kfold随机测试）
这会生成许多不同的模型，从中我们可以计算每个点以及所有点的均值和方差。 $x=x_i$

参见下面有关度2和度6的多项式模型的结果图。乍一看，似乎较高的多项式（红色）具有较大的方差。

争论红色图具有更大的方差-实验

令和对应于绿色和红色图形，并且是图形的一个实例，呈浅绿色和浅红色。令为沿轴的点数，为图的数量（即模拟的数量）。这里我们有和 $\hat f_g$ $\hat f_r$ $\hat f^{(i)}$ $n$ $x$ $m$ $n = 400$ $m = 200$

我看到三种主要情况

在一个特定点 上的预测值的方差较大，即 $x = x_0$ $Var \ \left[ \{\hat f^{(1)}_r(x_0), ..., \hat f^{(m)}_r(x_0)\} \right] > Var \ \left[ \{\hat f^{(1)}_g(x_0),...,\hat f^{(i)}_g(x_0)\} \right]$
的方差对于范围内的 所有点都更大 $(1)$ $\{ x_1,...,x_{400} \}$ $(0,1)$
平均而言，方差更大（即某些点可能更小）

在此玩具示例的情况下，所有三种情况在范围，这证明了高阶多项式拟合（红色）比低阶多项式（绿色）具有更高的方差。 $(0,1)$

一个开放式的结论

什么当上述三种情况下不应该认为所有持有。例如，如果红色预测的方差平均更大，但不是对所有点都大，该怎么办。

标签的详细信息

考虑点 $x_0 = 0.5$

误差线是最小值和最大值之间的范围 $\hat f(x_0)$
方差在处计算 $x_0$
真是蓝色虚线 $f(x)$

— Xavier Bourret Sicotte
source

我喜欢用图片说明概念的想法。不过，我想知道您的帖子的两个方面，希望您能够解决这些问题。首先，您能否更明确地解释这些图如何显示“函数的方差”？其次，完全不清楚红色图显示出“更大的方差”，甚至两个图是否都可以进行这种简单的比较。例如，考虑值大于的红色值的垂直分布，并将其与绿色值在同一点的分布进行比较：红色的分布看起来比绿色的分布少。

x = 0.95,

$x=0.95,$

— ub

我的意思不是，是否有可能高精度地读取您的图：是比较两个这样的图，就好像一个可以被认为是“较高”或“更低”方差相比，另一个意义值得怀疑，因为对于的某些范围在一个图中的预测方差会更高，而其他的范围则方差会更低。

x

$x$

x

$x$

— ub

是的，我同意-我已编辑帖子以反映您的评论

— Xavier Bourret Sicotte