置信区间的覆盖范围以及常规估计

假设我正在尝试使用某种正则化估计从一些高维数据中估计大量参数。正则化器在估计中引入了一些偏差，但这仍然是一个很好的权衡，因为方差的减少应足以弥补这一不足。

当我想估计置信区间时（例如使用拉普拉斯逼近法或自举法），问题就来了。具体来说，我的估算偏差会导致我的置信区间覆盖不良，这使得难以确定我的估算器的频繁性。

我已经找到了一些讨论此问题的论文（例如“基于Edgeworth展开的岭回归中的渐近置信区间”），但是数学大多超出了我的理解。在链接的论文中，方程式92-93似乎为通过岭回归进行正则化的估计值提供了校正因子，但我想知道是否存在适用于一系列不同正则化器的良好程序。

即使是一阶校正也将非常有帮助。

— 戴维·哈里斯
source

+1及时而重要的问题-尽管我不确定目前是否有人可以肯定地回答这个问题（我想我们只是不知道如何正确地做到这一点，如果我知道的话，我可能会整理统计文件）。相关问题：stats.stackexchange.com/questions/91462/…我们知道，引导程序纯粹是在这种情况下执行的，但这无济于事。

— Momo 2015年

感谢您的链接。您能澄清一下自举的含义吗？

— David J. Harris

另外，我仍然希望有人可以拥有对非稀疏正则化器有效的方法。我以为L1罚则使事情变得特别困难，因为所有的估计都堆积为零。再次感谢。

— David J. Harris

Dave，Tibshirani和合著者的所谓选择间隔是否合适？他们至少通过多面体形式解决了套索，LARS和逐步回归问题。由此，您基本上可以以通常的方式形成置信区间，但可以使用截断法线，并从数据中得知极限

和

。在Taylor＆Tibshirani（2015，PNAS）中，有详细的表述以及与实际论文的链接（其中大部分都在ArXiv上）。

c

$c$

d

$d$

— 恢复莫妮卡

据我所知，Ruben Dezeure，PeterBühlmann，Lukas Meier和Nicolai Meinshausen的论文是关于高维推理的最新，最全面的说明。

— NRH 2015年

Answers:

最近有一篇论文正好解决了您的问题（据我所知，如果您想对数据进行回归），幸运的是，它提供了易于计算的表达式（高维回归的置信区间和假设检验）。

另外，您可能对PeterBühlmann在该主题上的最新作品感兴趣。但是我相信第一篇论文可以为您提供所需的内容，并且内容更易于理解（我也不是统计学家）。

— 杰姆普克
source

+1有趣的论文。因此，看来至少有三个关于如何解决这些问题的相互竞争的想法，从我的观察来看，它们并不密切相关。然后还有journals.cambridge.org/action/…的不可能定理。看看它是如何发生的以及以正典出现的将很有意思。

— Momo

谢谢。这可能不是我真正能够实现的，但似乎数学可以用于各种正则估计。

— David J. Harris

http://cran.r-project.org/web/packages/hdi/index.html

这是您要找的东西吗？

Description
Computes confidence intervals for the l1-norm of groups of regression parameters in a hierarchical
clustering tree.

— 塔加尔
source

我希望有一种适用于各种（主要是非稀疏）正则化器的东西。不过谢谢

— David J. Harris