Oracle Inequality：基本而言

我正在阅读一篇使用oracle不等式证明某事的论文，但我什至无法理解它甚至试图做些什么。当我在线搜索有关“ Oracle不等式”时，一些消息源将我引向了文章“ Candes，Emmanuel J.'通过Oracle不等式的现代统计估计”。可以在这里找到https://statweb.stanford.edu/~candes/papers/NonlinearEstimation.pdf。但是这本书对我来说似乎太重了，我认为我缺少一些先决条件。

我的问题是：您如何解释非数学专业（包括工程师）的Oracle不平等？其次，在尝试学习上述书籍之类的东西之前，您将如何推荐他们去研究先决条件/主题。

我强烈建议在高维统计方面有具体把握和丰富经验的人来回答这个问题。

— 沃尔科特
source

信誉超过1k的任何人都可以在这个问题上提供悬赏。那真的有帮助。我认为一般的简历用户不会熟悉此概念，因为大多数用户使用统计数据进行数据分析而不是理论分析，尽管作为一个完全基于统计数据的社区，我相信必须有人可以对此做出充分回答。我相信这个问题尚未引起足够的重视。

— Wolcott

我曾想过同样的问题

— jeza

链接的第22页上提供的“定义”是“ Oracle不等式将真实估计器的性能与理想估计器的性能相关，后者依赖于oracle提供的完美信息，而在实践中不可用”。这难道不向您传达定义的实质吗？

— Mark L. Stone

@Mark L. Stone对我来说，不是

— jeza

甚至当您看前面几句话中提供的示例和讨论时，也就是定理4.1的陈述和讨论，作为oracle不等式的示例吗？用外行的话来说：e，我们不知道应该使用的收缩系数的最佳值（由预言提供）。但是知道收缩因子的最佳值可以使MSE改善不超过2，而没有预言中的最佳收缩因子。

— Mark L. Stone

Y_{i} = \sum_{j = 1}^{p} β_{j} X_{i}^{(j)} + ϵ_{i}, i = 1, . . ., n .

$Y_i=\sum_{j=1}^{p} \beta_jX_{i}^{(j)}+\epsilon_i, i=1,...,n.$

p \leq n

$p \leq n$

b

$b$

\hat{b} = (X^{T} X)^{- 1} X^{T} Y

$\hat{b}=(X^TX)^{-1}X^TY$

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

\frac{E ‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{n} = \frac{σ^{2}}{n} p .

$\dfrac{ \mathbb{E} \| X(\hat{b}-\beta^0) \|_2^2}{n}=\dfrac{\sigma^2}{n}p.$

β_{j}^{0}

$\beta_j^0$

σ^{2} / n, j = 1, . . ., p .

$\sigma^2/n, j=1,...,p.$

(σ^{2} / n) p .

$(\sigma^2/n)p.$

$(p>n)$ $Y$ $k$ $(\sigma^2/n)k.$

$l_1$ $\lambda$ $\hat{\beta}$ $\lambda$ $\lambda$

\frac{‖ X (\hat{β} - β^{0}) ‖_{2}^{2}}{n} \leq c o n s t . \frac{σ^{2} \log p}{n} k .

$\dfrac{\| X(\hat{\beta}-\beta^0) \|_2^2}{n} \leq const.\dfrac{\sigma^2\log p}{n}k.$

\log p

$\log p$

c o n s t .

$const.$

p

$p$

n

$n$

— 拿督Gogolashvili
source

严格来说，对于随后的所有部分来说，我们不需要观察的数量小于自变量的数量即可。

— jbowman

您能解释一下期望方程（倒数第二个方程）和不等式（最后一个方程）如何得到吗？

— user13985 '18 / 12/29

\frac{‖ X (\hat{b} - β^{0}) ‖_{2}^{2}}{σ^{2}}

$\dfrac{\| X(\hat{b}-\beta^0) \|_2^2}{\sigma^2}$

(σ^{2} / n) p

$(\sigma^2/n)p$