回归模型交叉验证中的模型稳定性

10

给定逻辑回归的多重交叉验证折痕，以及对每个回归系数的多重估计，基于回归系数，如何测量一个或多个预测变量（或一组预测变量）是否稳定且有意义？线性回归是否不同？

regression model-selection cross-validation

— 杰克·坦纳
source

@BGreene非常聪明。为什么不将其发布为答案？您也让我想知道整体学习文献是否具有相关性。

— 杰克·坦纳

当您说“多重交叉验证”时，您是说要对倍交叉验证运行次吗？

m

$m$

k

$k$

— boscovich

@andrea，我说“多重交叉验证折痕”，即折痕。

k

$k$

— 杰克·坦纳

2

您可以将CV中每个测试折叠产生的回归系数视为独立观察值，然后使用Shrout＆Fleiss报告的类内相关系数（ICC）计算其可靠性/稳定性。

— 格林
source

0

我假设您在交叉验证中将数据分为两个部分，一个训练集和一个测试集。您可以从训练集中拟合出一个模型，然后用它来预测测试集的响应，对吗？这将为您提供整个模型的错误率，而不是单个预测变量的错误率。

我不知道是否可以使用普通线性回归中使用的F检验等方法为预测变量找到p值。

如果您要这样做，则可以尝试使用模型的向后或向前选择从模型中删除预测变量。

您可以代替CV使用引导程序来找到每个预测变量的置信区间，然后查看其稳定性。

您在CV中使用了多少折，它是留一法交叉验证吗？

也许您目标的更多细节将有助于回答这个问题。

— 托比亚斯·阿贝纽斯（Tobias Abenius）
source

假设这是一劳永逸的。每个折叠中的每个预测变量已经具有一个置信区间，例如，来自贝叶斯后验CI或来自glm(..., family="binomial")R中的std err 。我对遗忘单次运行中每个预测变量的区间如何处理？

— Jack Tanner