Firth Logistic回归模型选择

在我正在使用的小型数据集（）中，几个变量为我提供了理想的预测/分离效果。因此，我使用Firth Logistic回归来处理该问题。 $n\sim100$

如果我通过AIC或BIC选择最佳模型，那么在计算这些信息标准时是否应该在可能性中包括Firth惩罚项？

— 斯塔克
source

您介意解释为什么它是不可避免的，因为变量选择对“变量太多，样本量太少”问题没有帮助吗？

— Frank Harrell 2014年

那真是太糟糕了。

— Frank Harrell 2014年

您是否考虑过处理贝叶斯推理问题？Firth Logistic回归等效于Jeffreys先验的MAP。您可以使用完全拉普拉斯逼近法估算边际可能性-就像调整后的BIC（类似于AICc）一样

— 概率

@user，因为此类变量通常只能预测少数情况，而且无法再现：该单元格的真实概率可能接近90％，但只有两个案例，您将在81％的时间内得到两个。

— StasK 2015年

链接下载在Google学术搜索上发现的K＆K（1996）论文，bemlar.ism.ac.jp

— zhuang/

如果您想证明使用BIC是合理的：您可以用最大后验（MAP）估计值来代替最大似然，并且结果“ BIC”类型的准则仍是渐近有效的（限制为样本大小）。正如@probabilityislogic所提到的，Firth的逻辑回归等同于使用Jeffrey的先验（因此，从回归拟合中获得的就是MAP）。 $n \to \infty$

BIC是伪贝叶斯准则，它是使用边缘似然性的泰勒级数展开（近似）得出的在最大似然估计。因此，它忽略了先验，但随着信息集中在可能性中，后者的作用消失了。

p_{y} (y) = \int L (θ; y) π (θ) d θ

$p_y(y) = \int L(\theta; y)\pi(\theta)\mathrm{d} \theta$

\hat{θ}

$\hat{\theta}$

作为附带说明，Firth回归还消除了指数族中的一阶偏差。

— 易卜生
source