估算器的oracle属性是什么?


22
  1. 估算器的oracle属性是什么?
  2. oracle属性与哪些模型目标相关(预测,解释等)?

无论是理论上严格的解释,还是(尤其是)直观的解释,都欢迎。


对此问题有一个可靠的一站式答案会很好。一些相关的材料:Zou,“自适应LASSO及其预言属性”,第109页。1(第1418页)。
理查德·哈迪

Answers:


8

甲骨文知道真相:它知道真实的子集并愿意对此采取行动。oracle的特性是,估计器的渐近分布仅在真实支持下才与MLE的渐近分布相同。就是说,估计器适应于知道真正的支持而无需付出任何代价(就渐近分布而言)。

通过例如定理9.14中Keener的理论统计中讨论的MLE的渐近最优性质,我们知道,在某些技术条件下,例如,当误差为高斯时,在这里我们假设β * 小号是在真支持真正的系数小号。注意,渐近分布的方差的Fisher信息的倒数,表示 β小号是渐近有效。由于知道真正支持的MLE可以达到此目的,因此它也是oracle属性的一部分。

ñβ^小号-β小号ñ0一世-1个β小号
β小号小号β^小号

但是,我们确实付出了很高的非渐近价格:例如,

Hannes Leeb,BenediktM.Pötscher,稀疏估计量和oracle属性,或Hodges估计量的返回,《计量经济学杂志》,第142卷,第1期,2008年,第201-211页,

这表明任何“ oracle estimator”的风险(在Fan和Li,2001年的意义上)都有一个至于无穷的最高点。


-所以套索的oracle属性说明如下:oracle属性是估计器的渐近分布与仅在真实支撑上的LASSO logistic回归的渐近分布相同
Annalize Azzopardi

6

Oracle属性的定义与上下文高度相关。线性回归(恰好是高维数)中非常简短但精确的答案是:

oracle估计器在参数估计和变量选择上必须保持一致。

注意,在变量选择中一致的估计器在参数估计中不一定是一致的。有关数学定义,请参见自适应套索论文,或仅参见此幻灯片


在adaLASSO论文(我的评论中有链接)中,他们说收敛速度也必须是最佳的(除了一致的估计之外)。这是一个重要且有点困难的概念。您能详细说明一下吗?
理查德·哈迪

ññ

因此,您是否建议删除oracle属性定义中最佳速率的要求?
理查德·哈迪

在一般定义中,我认为没有义务提及速度。但是从理论上讲,我们显然需要知道/确定最佳速度。
TPArrow'8

谢谢。我之所以选择它,是因为我们在这里讨论一个定义,所以我试图做到精确。
理查德·哈迪
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.