MSE分解为方差和偏差平方

为了显示MSE可以分解为方差加上偏见的平方，维基百科中的证明有一个步骤，如图中突出显示。这是如何运作的？从第三步到第四步如何将期望推向产品？如果这两个术语是独立的，则不应将期望应用于这两个术语吗？如果不是，则此步骤有效吗？在此处输入图片说明

random-variable expected-value mse

— statBeginner
source

Answers:

诀窍是， $\mathbb{E}(\hat{\theta}) - \theta$ 是常数。

— 亚当
source

哦，我懂了。这里唯一未知的是估计量。对？

— statBeginner 2014年

是。以期望意味着估计去不管它的估计，这是什么使

变为0

E (\hat{θ} - E (\hat{θ}))

$\mathbf{E}(\hat{\theta} - \mathbf{E}(\hat{\theta}))$

— 阿达莫

对不起，那句话对我来说没有多大意义。如果一个估算者去做它所估算的，那会不会使它变得没有偏见？可以把它说来解释

= 0？

E (\hat{θ} - E (\hat{θ}))

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (E (\hat{θ}))

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\mathbb{E}(\hat{\theta}))$

E (\hat{θ}) - E (\hat{θ})

$\mathbb{E}(\hat{\theta}) - \mathbb{E}(\hat{\theta})$

— user1158559'4

@ user1158559中间的乘积项是常数乘以期望值为0的值。即使theta-hat有偏差，也仍然是常数乘以

— 0。– AdamO

为变量，不是常数。另外，关键是没有价值的并且

与

恒定不会成为0为默认（例如

）。真正的关键在于一个事实，即

是恒定的（和可以采取一个整体的了），所以

E (\hat{θ}) - θ

$\mathbb{E}(\hat{\theta}) - \theta$

E (c)

$\mathbb{E}(c)$

c

$c$

E ((E (\hat{θ}) - θ)^{2}) \neq 0

$\mathbb{E}((\mathbb{E}(\hat{\theta}) - \theta)^2) \neq 0$

\int x p (x)

$\int x p(x)$

\int (\int x p (x)) p (x) = (\int x p (x)) \int p (x) = (\int x p (x)) 1 = (\int x p (x))

$\int (\int x p(x))p(x) = (\int x p(x)) \int p(x) = (\int x p(x)) 1 = (\int x p(x))$

— 塞克图斯经验派

亚当的回答是关于招正确的，是一个常数。但是，它有助于找到最终结果，并且不能清楚地说明Wikipedia文章中有关特定步骤的问题（编辑：我现在看到的关于突出显示以及从第三行到第四行的步骤尚不明确）。 $E(\hat{\theta}) - \theta$

（注意一个问题是关于可变，它不同于常在亚当的答案我写了这个错误在我的评论扩大为更清晰的条款：对。变量估计，常量是这个估计的期望和真值） $\mathbb{E}\left[\hat{\theta}\right] - \hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right] - \theta$ $\hat{\theta}$ $\mathbb{E}\left[\hat{\theta}\right]$ $\theta$

技巧1：考虑

变量 $x=\hat{\theta}$

恒定 $a=\mathbb{E}\left[ \hat{\theta} \right]$

常数 $b = \theta$

则关系可以很容易地使用表达可变的力矩转换规则被写入大约在可变的时刻方面大约。 $x$ $b$ $x$ $a$

$\mathbb{E}\left[(x-b)^n\right] = \sum_{i=0}^{n} \binom{n}{i}\mathbb{E}\left[(x-a)^i\right] (a-b)^{n-i}$

绝招2：第二次，以上公式的总和为三项。我们可以消除它们中的一个的情况下（），因为 $i=1$ $\mathbb{E}\left[(\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right])\right] = \mathbb{E}\left[ \hat{\theta} \right] - \mathbb{E}\left[\mathbb{E}\left[ \hat{\theta} \right]\right] = 0$

在这里，人们也可以用一个常数来进行论证。即，如果为常数，则，并使用为常数，得到。 $\mathbb{E}(a)=a$ $a$ $a=\mathbb{E}(\theta)$ $\mathbb{E}(\mathbb{E}(\theta))=\mathbb{E}(\theta)$

更直观地讲：我们使的矩大约等于，等于中心矩（且奇数中心矩为零）。我们有点重言式。通过从可变从其减去平均值，我们生成平均值为零的变量。并且，“平均值为零的变量”的平均值为零。 $x$ $a$ $\hat{\theta}-\mathbb{E}\left[ \hat{\theta} \right]$

维基百科文章分别在第三行和第四行中使用了这两个技巧。

第三行中的嵌套期望

$\mathbb{E}\left[(\hat{\theta} -\mathbb{E}(\hat{\theta}))(\mathbb{E}({\hat{\theta}})-\theta) \right]$

通过取恒定部分简化在其外部（特技1）。 $(\mathbb{E}({\hat{\theta}})-\theta)$
术语是通过使用以下事实变量求解（如等于零）具有零均值（特技2）。 $\mathbb{E}\left(\hat{\theta} -\mathbb{E}(\hat{\theta})\right)$ $\hat{\theta} -\mathbb{E}(\hat{\theta})$

— 天性
source

不是常数。 $E(\hat{\theta}) - \theta$

@ user1158559的注释实际上是正确的：

E [\hat{θ} - E (\hat{θ})] = E (\hat{θ}) - E [E (\hat{θ})] = E (\hat{θ}) - E (\hat{θ}) = 0

$E[\hat{\theta} - E(\hat{\theta})] = E(\hat{\theta}) - E[E(\hat{\theta})] = E(\hat{\theta}) - E(\hat{\theta}) = 0$

— 小怪物
source

我看不到您要显示的内容。偏差也可能不为零，但这并不意味着它不是常数。

— Michael R. Chernick

它不是一个常数，因为

，其中

是一个给定的训练数据，这也是一个随机变量。因此，其期望不是恒定的。

\hat{θ} = f (D)

$\hat{\theta} = f(D)$

D

$D$

— little_monster

同样，不是常数还是不是常数这一事实不能解释步骤4从步骤3变为可行的方法。另一方面，@ user1158559的注释对此进行了解释。

— little_monster

@Michael，这个问题一直令人困惑。突出显示的部分含有该表达

，但在问题的文字中提到，它是代替关于从第三行到第四行中的变化，改变的嵌套期望。

E (\hat{θ} - E (\hat{θ})) = 0

$\mathbb{E}(\hat{\theta} - \mathbb{E}(\hat{\theta}) )=0$

— Sextus Empiricus