Questions tagged «stepwise-regression»

step()R中的函数用于逐步回归的临界p值是多少？我认为是0.15，但是我的假设正确吗？如何更改临界p值？

12 r  regression  p-value  stepwise-regression 

两者的R文档并没有太多说明。我从此链接可以得到的所有信息是，使用其中任何一个都可以。我不明白的是为什么他们不平等。 事实：R中的逐步回归函数step()使用extractAIC()。 有趣的是，在R的“ mtcars”数据集上运行lm()模型和glm()“空”模型（仅截距）会得出AIC和的不同结果extractAIC()。 > null.glm = glm(mtcars$mpg~1) > null.lm = lm(mtcars$mpg~1) > AIC(null.glm) [1] 208.7555 > AIC(null.lm) [1] 208.7555 > extractAIC(null.glm) [1] 1.0000 208.7555 > extractAIC(null.lm) [1] 1.0000 115.9434 鉴于上述两个模型相同，并且AIC()两者给出的结果相同，这很奇怪。 谁能在这个问题上有所启发？

11 r  regression  aic  stepwise-regression 

我使用以下R代码来拟合概率模型： p1 <- glm(natijeh ~ ., family=binomial(probit), data=data1) stepwise(p1, direction='backward/forward', criterion='BIC') 我想知道到底是做什么stepwise和backward/forward做什么，以及如何选择变量？

11 r  probit  stepwise-regression 

为了解决问题，我正在尝试逐步回归。所以，我有两个问题： 逐步回归的优点是什么？它的特长是什么？ 您如何看待混合方法？在混合方法中，您将使用逐步回归来选择要素，然后应用常规回归将所​​有所选要素结合在一起？

11 regression  feature-selection  stepwise-regression 

我使用以下方法从原始完整模型中获得了三个简化模型 前向选择 向后淘汰 L1惩罚技术（LASSO） 对于使用前向选择/后向消除得到的模型，我使用获得的预测误差的横验证估计CVlm在包DAAG提供R。对于通过LASSO选择的模型，我使用cv.glm。 LASSO的预测误差小于其他方法的预测误差。因此，通过LASSO获得的模型在预测能力和可变性方面似乎更好。这是一种经常发生的普遍现象，还是特定于问题的？如果这是普遍现象，那么理论上的依据是什么？

10 cross-validation  model-selection  lasso  stepwise-regression 

我有一个约70个要减少的变量的数据集。我想要做的是使用CV以下列方式查找最有用的变量。 1）随机选择说20个变量。 2）使用stepwise/ LASSO/ lars/ etc选择最重要的变量。 3）重复〜50x，查看最常选择（未消除）的变量。 这与a的randomForest做法类似，但是该rfVarSel软件包似乎仅适用于因子/分类，我需要预测一个连续的因变量。 我正在使用R，因此任何建议都可以在此处理想地实现。

10 r  cross-validation  feature-selection  random-forest  stepwise-regression 

这个问题/主题是在与一位同事的讨论中提出的，我正在就此寻求一些意见： 我正在使用随机效应逻辑回归建模一些数据，更确切地说是随机截距逻辑回归。对于固定效果，我有9个有趣且值得考虑的变量。我想进行某种模型选择，以找到重要的变量并给出“最佳”模型（仅主要效果）。 我的第一个想法是使用AIC比较不同的模型，但是使用9个变量，我比较比较2 ^ 9 = 512个不同的模型（关键字：数据挖掘）并不太令人兴奋。 我与一位同事讨论了这个问题，他告诉我，他记得曾经读过关于对GLMM使用逐步（或向前）模型选择的文章。但是应该使用AIC作为进入/退出标准，而不是使用p值（例如，基于GLMM的似然比检验）。 我发现这个想法非常有趣，但是我没有找到进一步讨论此问题的参考资料，而我的同事不记得他在哪里读过。许多书籍建议使用AIC来比较模型，但是我没有找到关于将其与逐步或向前模型选择过程一起使用的任何讨论。 所以我基本上有两个问题： 在逐步模型选择过程中将AIC用作进入/退出标准有什么问题吗？如果是，那有什么选择？ 您是否有参考资料讨论上述过程（也作为最终报告的参考资料？ 最好， 艾米利亚

10 mixed-model  model-selection  aic  glmm  stepwise-regression