Questions tagged «model-selection»

我只是想问一问，您认为哪本书是最好的自助书。因此，我并不一定只指其开发人员编写的内容。 您能否指出哪本教科书最适合您，并能满足以下条件？ 该技术的哲学/流行病学基础列出了适用范围，优点和缺点，对模型选择的重要性？ 一组很好的简单示例，显示了实现的基本原理，最好是在Matlab中？

14 sampling  model-selection  bootstrap  references  resampling 

出于最近R预测包中的默认模型选择统计从AIC更改为AICc的动机，我很好奇后者在任何地方都适用的情况下是否确实适用。在这方面，我有一系列问题，这是第一个。 我知道，Burnham和Anderson（非统计学家）在（1）中所著的著名著作（在此处进行了总结）建议采用随处可见的AICc来代替AICc 。有时候，年轻的统计学家会不加批判地提及这本书，例如，参见Rob Hyndman对本博客文章的评论，但统计学家Brian Ripley提出了一种截然不同的建议： “Burnham and Anderson (2002) is a book I would recommend people NOT read until they have read the primary literature. I see no evidence that the authors have actually read Akaike’s papers." [quoted from [AIC MYTHS AND MISUNDERSTANDINGS][4] by Burnham-Anderson] 确实是根据里普利（Ripley）在AIC和相关理论上所写的内容，应认真对待警告。我既有大量的Akaike自己的论文集，也有Burnham-Anderson的书。我最终将对本书的质量有自己的看法，但这也将有助于了解统计人员（无论年龄大小）对此的看法。特别是，是否有统计学教授（或其他统计学的优秀学生）明确推荐这本书作为使用AIC进行模型选择的知识的有用总结？ 参考： （1）Burnham，KP＆Anderson，DR模型选择和多模型推理：实用的信息理论方法Springer，2002年 PS。在回答最近的“答案”时指出“ Burnham博士是统计学博士”时，我想补充一下。是的，他本人是统计学家，是ASA的会员，并且获得了许多专业奖项，包括ASA的杰出成就奖章。但是谁说他不是？我上面所说的是，作为两位作者，他们不是统计学家，而这本书反映了这一事实。

14 model-selection  references  aic 

在心理学和其他领域，通常采用逐步回归的形式，涉及以下内容： 查看其余的预测变量（最初在模型中没有），并确定导致最大r平方变化的预测变量； 如果r平方变化的p值小于alpha（通常为.05），则包括该预测变量并返回步骤1，否则停止。 例如，请参阅SPSS中的此过程。 出于各种原因，通常会对该程序进行批判（请参阅Stata网站上的讨论并提供参考资料）。 特别是，Stata网站总结了Frank Harrell的一些评论。我对索赔感兴趣： [逐步回归]产生严重偏高的R平方值。 具体来说，我目前的一些研究集中在估计总体r平方。通过总体r平方，我指的是总体中由总体数据生成方程式解释的方差百分比。我正在审查的许多现有文献都使用了逐步回归程序，我想知道所提供的估计数是否有偏差，以及有多少偏差。特别是，典型的研究将有30个预测变量，n = 200，输入的alpha为0.05，r平方估计约为0.50。 我所知道的： 渐近地，具有非零系数的任何预测变量将是统计上显着的预测变量，并且r平方将等于调整后的r平方。因此，渐进式逐步回归应该估计真实的回归方程和真实的总体r平方。 对于较小的样本量，与模型中所有预测变量相比，某些预测变量的可能省略将导致较小的r平方。但是，通常r平方对样本数据的偏见也会增加r平方。因此，我天真的想法是，这两个相反的力在一定条件下可能导致无偏的r平方。更一般而言，偏差的方向将取决于数据的各种特征和alpha包含标准。 设置更严格的alpha包含准则（例如.01，.001等）应会降低预期的估计r平方，因为在任何数据生成中包含任何预测变量的可能性都较小。 通常，r平方是总体r平方的向上偏差估计，并且随着更多的预测变量和较小的样本量，该偏差的程度也会增加。 题 最后，我的问题是： 逐步回归的r平方在多大程度上导致总体r平方的估计偏差？ 这种偏差在多大程度上与样本数量，预测变量数量，alpha包含标准或数据属性有关？ 是否有关于此主题的参考？

14 regression  model-selection  bias  r-squared  stepwise-regression 

我对AIC有一些疑问，希望您能为我提供帮助。我根据数据对AIC应用了模型选择（向后或向前）。并且某些选定变量的p值> 0.05。我知道有人说我们应该选择基于AIC而不是p值的模型，因此看来AIC和p值是两个不同的概念。有人可以告诉我有什么区别吗？到目前为止，我的理解是： 对于使用AIC的向后选择，假设我们有3个变量（var1，var2，var3），并且此模型的AIC为AIC *。如果排除这三个变量中的任何一个不会导致AIC明显低于AIC *（就df = 1的方差分布而言），那么我们可以说这三个变量是最终结果。 在三变量模型中，变量（例如var1）的有效p值表示该变量的标准化效应量显着不同于0（根据Wald或t检验）。 这两种方法之间的根本区别是什么？如果在我的最佳模型中（通过AIC获得）某些变量的p值不显着，该如何解释？

14 model-selection  p-value  aic 

时间序列分析中的Box-Jenkins模型选择过程从查看序列的自相关和部分自相关函数开始。这些图可以建议ARMA （p ，q ）模型中的适当和q。通过要求用户应用AIC / BIC标准来选择那些具有白噪声误差项的模型中最简化的模型，从而继续执行该过程。pppqqq(p,q)(p,q）(p,q) 我想知道这些目视检查和基于标准的模型选择步骤如何影响最终模型的估计标准误差。我知道，例如，横截面域中的许多搜索过程都会使标准误向下偏移。 第一步，通过查看数据（ACF / PACF）选择适当的滞后次数如何影响时间序列模型的标准误差？ 我猜想根据AIC / BIC分数选择模型会产生与横截面方法类似的影响。我实际上对这方面也不了解，所以在这一点上任何评论也将不胜感激。 最后，如果您写下用于每个步骤的精确标准，是否可以引导整个过程来估计标准误差并消除这些担忧？

14 regression  time-series  arima  model-selection  box-jenkins 

我目前正在研究一个问题，我们的数据集很小，并且对治疗对结果的因果关系感兴趣。 我的顾问指示我对每个预测变量执行单变量回归，以结果作为响应，然后以治疗分配作为响应。即，要求我一次将一个变量与一个回归拟合，并制作结果表。我问“为什么要这么做？”，答案是“我们对哪些预测因素与治疗分配和结果相关感兴趣，因为这很可能表明混杂因素”。我的顾问是一位训练有素的统计学家，而不是其他领域的科学家，因此，我倾向于信任他们。 这是有道理的，但尚不清楚如何使用单变量分析的结果。这样做是否会导致模型选择的选择导致估计值的显着偏差和狭窄的置信区间？为什么有人要这样做？我很困惑，我的顾问在提出这个问题时还不太清楚。有人在这项技术上有资源吗？ （注意：我的顾问曾说过，我们不会将p值用作临界值，而是我们要考虑“一切”。）

13 regression  multivariate-analysis  model-selection  causality  univariate 

据我了解，基于p值的变量选择（至少在回归上下文中）存在很大缺陷。出于相似的原因，基于AIC（或类似方法）的变量选择似乎也被认为存在缺陷，尽管这似乎还不清楚（例如，请参见我的问题和有关此主题的一些链接：“逐步模型选择”到底是什么？）。 但是说您确实选择了这两种方法之一来选择模型中的最佳预测变量集。 Burnham and Anderson 2002（模型选择和多模型推断：一种实用的信息理论方法，第83页）指出，不应将基于AIC的变量选择与基于假设检验的变量选择混合：“对原假设和信息理论方法的检验应不能一起使用；它们是非常不同的分析范例。” 另一方面，Zuur等。2009年（《具有生态学扩展的混合效应模型，R》第541页）似乎主张使用AIC首先找到最佳模型，然后使用假设检验执行“微调”：“缺点是AIC可能比较保守。 ，一旦AIC选择了最佳模型，您可能需要进行一些微调（使用从方法一获得的假设检验）。” 您会看到这如何使两本书的读者对采用哪种方法感到困惑。 1）这些只是统计思维的不同“阵营”和统计学家之间的分歧话题吗？这些方法之一现在是否只是简单地“过时”，但在撰写本文时被认为适当？还是从一开始就是一个明显的错误？ 2）在这种情况下是否适合使用这种方法？例如，我来自生物学背景，我经常试图确定哪些变量似乎影响或推动了我的反应。我经常有很多候选的解释变量，我试图找出哪些是“重要的”（相对而言）。另外，请注意，候选预测变量的集合已经减少到被认为具有某些生物学相关性的变量，但是它可能仍然包括5-20个候选预测变量。

13 hypothesis-testing  multiple-regression  feature-selection  model-selection  aic 

我有一组值和，它们在理论上呈指数相关：Xxxÿyy ÿ= 一个Xby=axby = ax^b 一种获取系数的方法是在两侧应用自然对数并拟合线性模型： > fit <- lm(log(y)~log(x)) > a <- exp(fit$coefficients[1]) > b <- fit$coefficients[2] 获得此结果的另一种方法是使用非线性回归，给定一组理论上的起始值： > fit <- nls(y~a*x^b, start=c(a=50, b=1.3)) 如果应用第二种算法，我的测试将显示出更好且与理论相关的结果。但是，我想知道每种方法的统计意义和含义。 他们哪个更好？

13 r  regression  linear-model  model-selection  nonlinear-regression 

在回答存在多重共线性的模型选择问题时，Frank Harrell 建议： 将所有变量放入模型中，但不测试针对竞争变量的影响而调整的一个变量的影响...竞争变量的块测试功能强大，因为共线性变量在整体多自由度关联测试中共同作用，而不是当您分别测试变量时，彼此竞争。 什么是块测试？你能举一个例子说明他们的应用r吗？

13 r  model-selection  multicollinearity 

我想我了解引导程序的基本原理，但是不确定如何使用引导程序进行模型选择或避免过度拟合。 例如，对于模型选择，您是否只选择在其自举样本中产生最低误差（也许是方差？）的模型？ 是否有任何文章讨论如何使用自举进行模型选择或验证？ 编辑：请参阅此线程，以及@ mark999的答案，以获取此问题后面的更多上下文。

13 model-selection  cross-validation  bootstrap 

我正在运行一个物流模型。实际的模型数据集具有100多个变量，但我选择的测试数据集中包含25个变量。在此之前，我还制作了一个具有8-9个变量的数据集。有人告诉我AIC和SC值可以用来比较模型。我观察到，即使变量的p值较低（例如0053），该模型的SC值也较高。据我的直觉，具有变量的显着性水平的模型应该导致较低的SC和AIC值。但这并没有发生。有人可以澄清一下吗？简而言之，我想问以下问题： 变量的数量与SC AIC有关系吗？ 我应该专注于p值还是较低的SC AIC值？ 降低SC AIC值的典型方法是什么？

13 model-selection  logistic  aic 

我遇到了大量文献，他们主张将Fisher信息量度作为概率分布空间中的自然局部量度，然后对其进行积分以定义距离和体积。 但是这些“综合”数量实际上对任何事情都有用吗？我没有找到任何理论依据，也没有实际应用。一个是Guy Lebanon的作品，他使用“费舍尔的距离”对文档进行分类，另一个是罗德里格斯的“ 模型选择 ” ABC…其中“费舍尔的体积”用于模型选择。显然，使用“信息量”相对于AIC和BIC进行模型选择具有“数量级”的改进，但是我没有看到有关该工作的任何后续报道。 理论上的证明可能是拥有一个泛化边界，该泛化边界使用距离或体积的这种度量，并且比从MDL或渐近参数得出的边界更好，或者有一种依赖于这些数量之一的方法在某些合理的实际情况下可证明是更好的任何这种结果？

13 model-selection  information-geometry 

过去，逐步回归在许多生物医学论文中已被过度使用，但是随着对其许多问题的更好的教育，这种逐步改善的趋势似乎正在改善。但是，许多较老的审阅者仍然要求它。在什么情况下逐步回归会起作用，应该使用逐步回归（如果有）吗？

13 regression  multiple-regression  feature-selection  model-selection  stepwise-regression 

我们有两个模型使用相同的方法来计算对数似然，并且一个模型的AIC低于另一个模型。但是，AIC较低的人很难解释。 我们在确定是否值得介绍难度时遇到了麻烦，我们使用AIC中的百分比差异来进行判断。我们发现两个AIC之间的差异仅为0.7％，而更复杂的模型的AIC降低了0.7％。 两者之间的低百分比差异是避免使用AIC较低的模型的充分理由吗？ 差异百分比是否说明在较简单的模型中丢失了0.7％的信息？ 两种模型的结果能否完全不同？

13 model-selection  aic 

我了解LLE算法背后的基本原理包括三个步骤。 通过某种度量（例如k-nn）找到每个数据点的邻域。 找到每个邻居的权重，这些权重表示邻居对数据点的影响。 根据计算出的权重构造数据的低维嵌入。 但是，在我阅读的所有课本和在线资源中，步骤2和步骤3的数学解释令人困惑。我无法解释为什么使用这些公式。 在实践中如何执行这些步骤？有没有任何直观的方式来解释所使用的数学公式？ 参考：http : //www.cs.nyu.edu/~roweis/lle/publications.html

13 machine-learning  model-selection  feature-selection  dimensionality-reduction  nonlinear