将偏见和方差平方和的加权和最小化的估算器如何适合决策理论?


10

好的-我的原始讯息未能引起回应;因此,让我将问题改写为另一个。我将从决策理论的角度解释我对估计的理解。我没有经过正规的培训,如果我的想法在某种程度上有缺陷,也不会感到惊讶。

假设我们有一些损失函数。预期的损失是(频繁发生的)风险:L(θ,θ^(x))

R(θ,θ^(x))=L(θ,θ^(x))L(θ,θ^(x))dx,

其中是可能性; 贝叶斯风险是预期的常客风险:L(θ,θ^(x))

r(θ,θ^(x))=R(θ,θ^(x))π(θ)dxdθ,

其中是我们的先验。π(θ)

在一般情况下,我们发现了θX ,最大限度地减少[R而这一切工作地非常好; 而且富比尼定理适用,我们可以反向整合的顺序,使任何给定的θX 最小化[R是独立于所有其他人。这样就不会违反似然性原则,并且让我们对成为贝叶斯等感到满意。θ^(x)rθ^(x)r

例如,给定大家熟悉的平方误差损失,我们的频率论风险是均方误差或平方偏差和方差和我们的总和贝叶斯风险是给定我们先前的即后验期望损失的期望偏差和方差的平方和。L(θ,θ^(x))=(θθ^(x))2,

θ^(x)

(E[θ^(x)]θ)2+kE[(θ^(x)E[θ^(x)])2],

k

θ^(x)

  1. θθ^(x)E[θ^(x)]

  2. θ^(xj)θ^(xij)

我假设我未能理解有关决策理论/估计/优化的一些基本概念。在此先感谢您提供任何答案,并请假设我一无所知,因为我没有接受过该领域或数学方面的培训。另外,感谢任何建议的参考(针对天真的读者)。

Answers:


2

(Eθ[θ^(X)]θ)2+kEθ[(θ^(X)E[θ^(X)])2],
L(θ,θ^)=(Eθ[θ^(X)]θ)2+k(θ^Eθ[θ^(X)])2
Eθ[θ^(X)]θ^(X)θθθ^θ^(X)

L(θ,δ)θδΘδxXXθ,无法考虑。对于决策理论而言,它可能违反似然性原则并不直接相关,也不会阻止贝叶斯估计量的形式推导。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.