Questions tagged «aic»

AIC和BIC都是评估因估计参数数量而受到惩罚的模型拟合的方法。据我了解，与AIC相比，BIC对免费参数的惩罚更多。除了基于标准严格性的偏爱之外，是否还有其他原因更喜欢AIC而不是BIC？

222 modeling  aic  cross-validation  bic  model-selection 

我想实现一种用于自动模型选择的算法。我正在考虑进行逐步回归，但是任何事情都会做（尽管它必须基于线性回归）。 我的问题是我找不到方法论或开源实现（我正在用Java唤醒）。我想到的方法如下： 计算所有因素的相关矩阵 选择彼此之间相关性较低的因素 删除t统计量较低的因素 添加其他因素（仍基于2中找到的低相关因素）。 重复几次，直到某个条件（例如AIC）超过某个阈值或无法达到或无法找到更大的值。 我意识到有一个R实现（stepAIC），但是我发现代码很难理解。另外，我还没有找到描述逐步回归的文章。

193 references  feature-selection  model-selection  aic  stepwise-regression 

我实际上正在审阅作者将5-6 logit回归模型与AIC进行比较的手稿。但是，某些模型具有交互项，但不包括各个协变量项。这样做有意义吗？ 例如（不特定于logit模型）： M1: Y = X1 + X2 + X1*X2 M2: Y = X1 + X2 M3: Y = X1 + X1*X2 (missing X2) M4: Y = X2 + X1*X2 (missing X1) M5: Y = X1*X2 (missing X1 & X2) 我一直给人的印象是，如果您有交互项X1 * X2，则还需要X1 + X2。因此，模型1和2会很好，但模型3-5会有问题（即使AIC较低）。这个对吗？它是准则还是更多准则？有没有人有很好的参考资料来解释其背后的原因？我只是想确保我不会在评价中传达任何重要信息。 谢谢您的任何想法，丹

68 regression  modeling  interaction  aic 

在回答这个问题时，约翰·克里斯蒂（John Christie）建议通过评估残差来评估逻辑回归模型的拟合度。我熟悉如何解释OLS中的残差，它们与DV具有相同的比例，并且非常清楚地知道y与模型预测的y之间的差异。但是对于逻辑回归，过去我通常只检查模型拟合的估计值，例如AIC，因为我不确定残差对逻辑回归意味着什么。在稍微看一下R的帮助文件后，我发现R中有五种类型的glm残差可用c("deviance", "pearson", "working","response", "partial")。帮助文件是指： Davison，AC和Snell，EJ（1991）残留和诊断。在：统计理论与建模。为了纪念David Cox爵士，FRS编辑。欣克利，DV，里德，N。和斯内尔，EJ，查普曼和霍尔。 我没有那个副本。是否有简短的方法来描述如何解释这些类型中的每一种？在逻辑条件下，残差平方和会提供一种有意义的模型拟合度量，还是采用信息准则会更好？

62 r  logistic  generalized-linear-model  residuals  aic 

在第 他的PRNN的第 34页Brian Ripley评论说：“ AIC被Akaike（1974）命名为“信息准则”，尽管似乎通常认为A代表Akaike。实际上，在介绍AIC统计信息时，Akaike（1974，p.719）解释说： "IC stands for information criterion and A is added so that similar statistics, BIC, DIC etc may follow". 将此报价视为1974年的预测，有趣的是，在短短的四年中，Akaike（1977，1978）和Schwarz（1978）提出了两种类型的BIC统计量（贝叶斯统计量）。Spiegelhalter等人。（2002）提出DIC（Deviance IC）的时间更长。尽管Akaike（1974）并没有预测CIC标准的出现，但相信从未考虑过这一点是天真的。它是由Carlos C. Rodriguez在2005年提出的。（请注意，R。Tibshirani和K. Knight的CIC（协方差通胀标准）是另一回事。） 我知道EIC（经验IC）是Monash大学的人们在2003年左右提出的。我刚刚发现了聚焦信息标准（FIC）。有些书将Hannan和Quinn IC称为HIC，请参阅例如本）。我知道应该有GIC（通用IC），而且我刚刚发现了信息投资标准（IIC）。有NIC，TIC等。 我想我可能会覆盖其余的字母，所以我不问序列AIC，BIC，CIC，DIC，EIC，FIC，GIC，HIC，IIC，...的停靠点，或字母表中的哪些字母未被使用或至少被使用过两次（例如，EIC中的E可以表示扩展的或经验的）。我的问题更简单，希望对实际更有用。我是否可以互换使用这些统计信息，而忽略它们所依据的特定假设，它们应适用的特定情况等等？ 这个问题部分是由Burnham＆Anderson（2001）提出的，其动机是： ...the comparison of AIC and BIC model selection ought to be based on their performance properties such as …

47 forecasting  model-selection  aic  bic 

我已经计算了AIC和AICc来比较两个通用的线性混合模型；模型1的AIC低于模型2的AIC为正。但是，AICc的值均为负（模型1仍然<模型2）。使用和比较负AICc值是否有效？

39 mixed-model  model-selection  aic 

我在这里看到了一些关于外行的含义的问题，但是对于我来说，这些对于我来说太过外行了。我试图从数学上理解AIC分数的含义。 但是同时，我也不想得到一个严格的证据，使我看不到更重要的观点。例如，如果这是微积分，那么我将对无穷小感到满意，而如果这是概率论，那么如果没有度量理论，我将感到满意。 我的尝试 通过在此处阅读以及我自己的一些表示法糖AICm,DAICm,D\text{AIC}_{m,D}是数据集D上模型的AIC准则，如下所示： AIC m ，D = 2 k m − 2 ln （L m ，D） 其中k m为模型m的参数个数，L m ，D是模型m在数据集D上的最大似然函数值。mmmDDDAICm,D=2km−2ln(Lm,D)AICm,D=2km−2ln⁡(Lm,D) \text{AIC}_{m,D} = 2k_m - 2 \ln(L_{m,D}) kmkmk_mmmmLm,DLm,DL_{m,D}mmmDDD 这是我对上述含义的理解： m=arg maxθPr(D|θ)m=arg maxθPr(D|θ) m = \underset{\theta}{\text{arg max}\,} \Pr(D|\theta) 这条路： kmkmk_m是的参数数。mmm Lm,D=Pr(D|m)=L(m|D)Lm,D=Pr(D|m)=L(m|D)L_{m,D} = \Pr(D|m) = \mathcal{L}(m|D)。 现在让我们重写AIC： AICm,D===2km−2ln(Lm,D)2km−2ln(Pr(D|m))2km−2loge(Pr(D|m))AICm,D=2km−2ln⁡(Lm,D)=2km−2ln⁡(Pr(D|m))=2km−2loge⁡(Pr(D|m))\begin{split} \text{AIC}_{m,D} =& 2k_m - …

34 self-study  model-selection  aic  entropy  information-theory 

我通常使用BIC，因为我的理解是与AIC相比，它更重视简约。但是，我现在决定使用一种更全面的方法，并且也希望使用AIC。我知道Raftery（1995）为BIC差异提出了很好的指导原则：0-2弱，2-4是一个模型更好的积极证据，依此类推。 我在教科书上看过，它们在AIC上似乎很奇怪（看起来差异较大，AIC差异较小意味着一个模型更好）。这违背了我所学的知识。我的理解是您希望降低AIC。 有谁知道Raftery的指南是否也适用于AIC，或者我会在哪里引用某个模型相对于另一个模型的“证据强度”指南？ 是的，临界值并不是很好（我觉得它们很恼人），但是在比较不同种类的证据时它们很有用。

32 r  model-selection  references  aic  bic 

我想使用以下二项式响应并以和作为预测因子进行逻辑回归。 X1个X1个X_1X2X2X_2 我可以采用以下格式提供与伯努利回复相同的数据。 逻辑回归输出用于这2个数据集是大多相同的。偏差残差和AIC不同。（两种情况下零偏差和残余偏差之间的差异相同，为0.228。） 以下是R的回归输出。这些数据集称为binom.data和bern.data。 这是二项式输出。 Call: glm(formula = cbind(Successes, Trials - Successes) ~ X1 + X2, family = binomial, data = binom.data) Deviance Residuals: [1] 0 0 0 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) -2.9649 21.6072 -0.137 0.891 X1Yes -0.1897 2.5290 -0.075 0.940 X2 0.3596 1.9094 0.188 …

32 logistic  binomial  aic  bernoulli-distribution  deviance 

是否可以为套索回归模型和其他正则化模型（参数仅部分进入方程式）计算AIC或BIC值。如何确定自由度？ 我正在使用R将套索回归模型与程序包中的glmnet()函数进行拟合glmnet，并且我想知道如何计算模型的AIC和BIC值。通过这种方式，我可以将值与没有正则化的模型拟合进行比较。这可能吗？

31 r  model-selection  lasso  aic  bic 

我将用一个例子来解释我的问题。假设您要根据以下属性预测个人的收入：{年龄，性别，国家/地区，城市}。你有一个像这样的训练数据集 train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

赤池信息准则（AIC）和c统计量（ROC曲线下的面积）是用于逻辑回归的模型拟合的两种度量。当两种方法的结果不一致时，我很难解释发生了什么。我猜他们正在衡量模型拟合的不同方面，但是这些具体方面是什么？ 我有3个逻辑回归模型。模型M0具有一些标准协变量。M1型将X1加到M0上；模型M2将X2添加到M0（因此M1和M2不嵌套）。 从M0到M1和M2的AIC差异约为15，这表明X1和X2均可提高模型拟合度，且幅度大致相同。 c统计量为：M0，0.70；M1，0.73；M2 0.72。从M0到M1的c统计量差异很大（DeLong等人，1988年的方法），但是从M0到M2的差异并不显着，表明X1改善了模型拟合，但X2没有。 X1不是常规收集的。X2应该定期收集，但在大约40％的情况下会丢失。我们要决定是开始收集X1，还是改善X2的收集，还是删除两个变量。 根据AIC，我们得出结论，变量对模型进行了类似的改进。与开始收集一个全新的变量（X1）相比，改进X2的收集可能更容易，因此我们将致力于改进X2的收集。但是从c统计量来看，X1改进了模型，而X2却没有改进，因此我们应该忘记X2并开始收集X1。 由于我们的建议取决于我们关注的统计数据，因此我们需要清楚地了解它们所测量的差异。 任何意见欢迎。

29 logistic  roc  aic  auc 

我正在使用AIC（Akaike的信息标准）来比较R中的非线性模型。比较不同类型的模型的AIC是否有效？具体来说，我正在比较glm拟合的模型与glmer（lme4）拟合的带有随机效应项的模型。 如果没有，有没有办法进行这种比较？还是这个想法完全无效？

27 lme4-nlme  model-selection  aic 

在该站点上其他地方的问题中，有几个答案提到AIC等同于留一法（LOO）交叉验证，而BIC等同于K倍交叉验证。有没有一种方法可以在R中以经验方式证明这一点，从而弄清楚LOO和K折中涉及的技术并证明它们与AIC和BIC值等效？注释良好的代码将在这方面有所帮助。另外，在演示BIC时，请使用lme4软件包。请参阅下面的示例数据集... library(lme4) #for the BIC function generate.data <- function(seed) { set.seed(seed) #Set a seed so the results are consistent (I hope) a <- rnorm(60) #predictor b <- rnorm(60) #predictor c <- rnorm(60) #predictor y <- rnorm(60)*3.5+a+b #the outcome is really a function of predictor a and b but not predictor …

26 r  aic  cross-validation  bic 

要使AIC模型比较正常工作，必须满足哪些先决条件？ 当我像这样进行比较时，我只是遇到了这个问题： > uu0 = lm(log(usili) ~ rok) > uu1 = lm(usili ~ rok) > AIC(uu0) [1] 3192.14 > AIC(uu1) [1] 14277.29 这样我就证明了log变量的转换usili。但是我不知道在例如因变量不同的情况下是否可以对模型进行AIC比较？ 理想的答案应包括先决条件（数学假设）列表。

26 regression  model-selection  aic  model-comparison  nested-models