混合模型的交叉验证？

9

我和我的同事正在R中拟合一系列线性和非线性混合效应模型。我们被要求对拟合的模型进行交叉验证，以便人们可以验证观察到的效应是相对可推广的。这通常是一项琐碎的任务，但是在我们的案例中，我们必须将整个数据分为一个培训部分和一个测试部分（出于CV目的），它们没有共同的水平。例如，

训练数据可以基于组1,2,3,4；然后，对拟合的模型在组5上进行交叉验证。

因此，由于在训练数据上估计的基于组的随机效应不适用于测试数据，因此会产生问题。因此，我们无法对模型进行简历。

有没有相对简单的解决方案？还是有人编写了解决该问题的软件包？任何提示都欢迎！

谢谢！

mixed-model cross-validation

— 挺钱
source

2

在小面积估算中，“样本外”小面积也会遇到相同的问题。通常要做的是，将样本外随机效应估计为零（它们的最大可能值-假设您的随机效应呈正态分布）。实际上，您仅将模型的“合成”或固定部分用于预测。

— 概率

概率论/ Ting Qian，我现在正在解决这个问题，想看看您如何将样本外效果指定为0。是否可以在此处编辑答案并显示R代码？谢谢！

— Pradeep Babu

3

Fang（2011）证明了应用于混合模型的AIC与留一法则交叉验证之间的渐近等效性。这可能会使您的审稿人满意，从而使您可以简单地将AIC计算为对其要求的更易于计算的近似值？

— 迈克·劳伦斯
source

谢谢！这看起来很有用。我们实际上已经计算了BIC，但是审阅者希望看到交叉验证的结果。;-)我们拥有的某些数据集相对较小。因此，可以提出这样的论点，即不期望出现这种渐近行为。但是，是的，当我们介绍BIC结果时，我们当然可以引用Fang（2011），因为AIC和BIC也渐近等效？

— Ting Qian

2

我不认为AIC和BIC在试图回答根本不同的问题时在渐近上是等效的。请参阅：stats.stackexchange.com/questions/577/...

— 迈克·劳伦斯

以下是AIC和BIC的详细比较：smr.sagepub.com/cgi/doi/10.1177/0049124103262065

— Mike Lawrence

0

Colby和Bair（2013）开发了一种交叉验证方法，可以将其应用于非线性混合效应模型。您可以访问此链接以了解更多信息。

— 阿皮·洪赞吉
source

1

欢迎使用Crossvalidated。请在您的答案中添加更多信息。也许您可以概述文章中最重要的部分。

— Ferdi