Questions tagged «aic»

因此，我知道变量选择是模型选择的一部分。但是，模型选择究竟由什么组成？它不只是以下内容： 1）为您的模型选择一个分布 2）选择解释变量 我之所以这么问，是因为我正在阅读伯纳姆和安德森的文章：AIC与BIC，他们在模型选择中谈论AIC和BIC。阅读本文后，我意识到我一直在将“模型选择”视为“变量选择”（参考注释BIC是否试图找到一个真正的模型？） 从文章摘录中，他们讨论了“通用性”程度不断提高的12个模型，当针对12个模型绘制KL-Information时，这些模型显示出“渐缩效应”（图1）： 不同的哲学和目标模型 ...尽管BIC的目标比AIC的目标模型更通用，但是BIC在这里最常选择的模型将不如Model 7通用，除非n非常大。它可能是模型5或模型6。众所周知（从大量的论文和模拟文献中），在渐缩效应的情况下（图1），AIC的性能优于BIC。如果这是真实数据分析的上下文，则应使用AIC。 如何BIC 曾经选择一个模型，模型选择我不明白，比AIC更复杂！什么是“模型选择”？什么时候BIC选择比AIC更“通用”的模型？ 如果我们谈论的是变量选择，那么BIC必须确保始终选择变量数量最少的模型，对吗？BIC中的项总是比AIC中的项对附加变量的惩罚更多。但是，当“ BIC的目标是比AIC的目标模型更通用的模型 ”时，这是否合理？2ln(N)k2ln(N)k2ln(N)k2k2k2k 编辑： 从“意见”中评论的讨论中，是否有理由比其他更喜欢AIC或BIC？我们在评论中看到了@Michael Chernick和@ user13273之间的一小段讨论，这使我相信这并不是一件小事： 我认为将这种讨论称为“特征”选择或“协变量”选择更为合适。对我而言，模型选择范围更广，涉及到误差分布的规范，链接函数的形式以及协变量的形式。当我们谈论AIC / BIC时，通常会处于模型构建的所有方面都是固定的情况，除了协变量的选择。– user13273 2012年8月13日在21:17 确定要包含在模型中的特定协变量通常是用模型选择一词来完成的，书名中有许多带有模型选择的书主要决定了模型中应包含哪些模型协变量/参数。–迈克尔·切尔尼克（Michael Chernick）2012年8月24日14:44

12 feature-selection  model-selection  aic  bic 

在Wikipedia中，Akaike的信息标准（AIC）的定义为，其中是参数的数量，是模型的对数似然性。AIC=2k−2logLAIC=2k−2log⁡L AIC = 2k -2 \log L kkklogLlog⁡L\log L 但是，我们的计量经济学家在一家备受尊敬的大学中指出，。这里是ARMA模型中误差的估计方差，是时间序列数据集中观测值的数量。AIC=log(σ^2)+2⋅kTAIC=log⁡(σ^2)+2⋅kT AIC = \log (\hat{\sigma}^2) + \frac{2 \cdot k}{T} σ^2σ^2 \hat{\sigma}^2 TT T 后一个定义是否等同于第一个定义，但仅针对ARMA模型进行了调整？还是两个定义之间存在某种冲突？

12 econometrics  aic  arma  information-theory 

我的数据集非常大，大约缺少5％的随机值。这些变量相互关联。以下示例R数据集只是一个具有虚拟相关数据的玩具示例。 set.seed(123) # matrix of X variable xmat <- matrix(sample(-1:1, 2000000, replace = TRUE), ncol = 10000) colnames(xmat) <- paste ("M", 1:10000, sep ="") rownames(xmat) <- paste("sample", 1:200, sep = "") #M variables are correlated N <- 2000000*0.05 # 5% random missing values inds <- round ( runif(N, 1, length(xmat)) …

12 r  random-forest  missing-data  data-imputation  multiple-imputation  large-data  definition  moving-window  self-study  categorical-data  econometrics  standard-error  regression-coefficients  normal-distribution  pdf  lognormal  regression  python  scikit-learn  interpolation  r  self-study  poisson-distribution  chi-squared  matlab  matrix  r  modeling  multinomial  mlogit  choice  monte-carlo  indicator-function  r  aic  garch  likelihood  r  regression  repeated-measures  simulation  multilevel-analysis  chi-squared  expected-value  multinomial  yates-correction  classification  regression  self-study  repeated-measures  references  residuals  confidence-interval  bootstrap  normality-assumption  resampling  entropy  cauchy  clustering  k-means  r  clustering  categorical-data  continuous-data  r  hypothesis-testing  nonparametric  probability  bayesian  pdf  distributions  exponential  repeated-measures  random-effects-model  non-independent  regression  error  regression-to-the-mean  correlation  group-differences  post-hoc  neural-networks  r  time-series  t-test  p-value  normalization  probability  moments  mgf  time-series  model  seasonality  r  anova  generalized-linear-model  proportion  percentage  nonparametric  ranks  weighted-regression  variogram  classification  neural-networks  fuzzy  variance  dimensionality-reduction  confidence-interval  proportion  z-test  r  self-study  pdf 

我有一个时间序列数据集，试图将其拟合隐马尔可夫模型（HMM），以便估计数据中的潜在状​​态数。我的伪代码是这样的： for( i in 2 : max_number_of_states ){ ... calculate HMM with i states ... optimal_number_of_states = "model with smallest BIC" ... } 现在，在通常的回归模型中，BIC倾向于支持最简约的模型，但对于HMM，我不确定这是在做什么。谁真的知道BIC标准倾向于哪种HMM？我也能够获得AIC和似然值。由于我试图推断出真实的州总数，因此其中一个标准是否比另一个标准“更好”？

12 r  aic  hidden-markov-model  bic  spss  manova  time-series  r  lme4-nlme  regression  modeling  negative-binomial  bayesian  bugs  state-space-models  hypothesis-testing  data-transformation  factor-analysis  sem 

给定相同的协变量和分布族集，如何比较具有不同链接函数的模型？ 我认为正确的答案是“ AIC / BIC”，但我不确定100％。 如果嵌套模型具有不同的链接，是否可以使用嵌套模型？

12 generalized-linear-model  aic  link-function 

AIC定义为，其中是最大似然估计量，是参数空间的维数。对于的估计，通常会忽略密度的常数因子。这就是不依赖参数的因素，以简化可能性。另一方面，该因素对于AIC的计算非常重要，因为在比较非嵌套模型时，该因素并不常见，如果不考虑，则相应AIC的顺序可能会有所不同。θ p θAIC=−2log(L(θ^))+2pAIC=−2log⁡(L(θ^))+2pAIC=-2 \log(L(\hat\theta))+2pθ^θ^\hat\thetapppθθ\theta 我的问题是，比较非嵌套模型时，是否需要计算包括所有密度项的？log(L(θ^))log⁡(L(θ^))\log(L(\hat\theta))

12 model-selection  aic  nested-models 

AIC或任何其他信息标准的全部要点是，越少越好。因此，如果我有两个模型M1：y = a0 + XA + e和M2：y = b0 + ZB + u，并且如果第一个（A1）的AIC小于第二个（A2）的AIC，则M1具有从信息论的角度来看，这是一个更好的选择。但是，是否存在差异A1-A2的截止基准？少多少就是少多少？换句话说，除了眼球外，是否还有针对（A1-A2）的测试？ 编辑：Peter / Dmitrij ...感谢您的答复。实际上，在这种情况下，我的实质专长与我的统计专长相冲突。从本质上讲，问题不是在两个模型之间进行选择，而是在检查两个我知道在很大程度上相等的变量是否添加了相等数量的信息（实际上，第一个模型中的一个变量和第二个模型中的向量。请考虑以下情况）一堆变量，而不是它们的索引。）正如Dmitrij指出的那样，最好的选择似乎是考克斯考验。但是，是否有一种方法可以实际测试两个模型的信息内容之间的差异？

12 regression  aic 

公认的是，至少在某些较高水平的统计学家中，具有AIC统计值在最小值某个阈值内的模型应被认为是使AIC统计量最小的模型是适当的。例如，在[1，第221页]中，我们发现 然后，具有较小GCV或AIC的模型将被认为是最好的。当然，不应仅仅盲目地将GCV或AIC最小化。而是，应将所有具有较小GCV或AIC值的模型视为潜在适当模型，并应根据其简单性和科学相关性对其进行评估。 同样，在[2，p.144]中， 有人建议（Duong，1984年），将AIC值设在最小值c之内的模型应认为具有竞争力（c = 2为典型值）。然后可以基于诸如残差的白度（第5.3节）和模型简单性等因素从竞争模型中进行选择。 参考文献： 鲁珀特，D .；Wand，MP和Carrol，RJ 半参数回归，剑桥大学出版社，2003年 Brockwell，PJ和Davis，RA 时间序列和预测简介，John Wiley＆Sons，1996年 因此，鉴于以上所述，以下两个模型中的哪一个应该是首选？ print( lh300 <- arima(lh, order=c(3,0,0)) ) # ... sigma^2 estimated as 0.1787: log likelihood = -27.09, aic = 64.18 print( lh100 <- arima(lh, order=c(1,0,0)) ) # ... sigma^2 estimated as 0.1975: log likelihood = -29.38, aic …

12 time-series  model-selection  aic 

两者的R文档并没有太多说明。我从此链接可以得到的所有信息是，使用其中任何一个都可以。我不明白的是为什么他们不平等。 事实：R中的逐步回归函数step()使用extractAIC()。 有趣的是，在R的“ mtcars”数据集上运行lm()模型和glm()“空”模型（仅截距）会得出AIC和的不同结果extractAIC()。 > null.glm = glm(mtcars$mpg~1) > null.lm = lm(mtcars$mpg~1) > AIC(null.glm) [1] 208.7555 > AIC(null.lm) [1] 208.7555 > extractAIC(null.glm) [1] 1.0000 208.7555 > extractAIC(null.lm) [1] 1.0000 115.9434 鉴于上述两个模型相同，并且AIC()两者给出的结果相同，这很奇怪。 谁能在这个问题上有所启发？

11 r  regression  aic  stepwise-regression 

克里斯·查特菲尔德（Chris Chatfield）在（1）中我喜欢阅读许多高质量的书籍和论文，并提出以下建议： 例如，应该在具有较低AIC值和近似相等AIC值的ARIMA时间序列模型之间进行选择，而不是在其上给出最小的AIC，而是在其上给出对最近一年数据的最佳预测。 这种建议的依据是什么？如果听起来不错，为什么Forecast :: auto.arima和其他预测例程不遵循它？尚未实施？它已经在这里讨论的是寻找那些刚好给最小的车型AIC可能不是一个好主意。为什么选择让n≥1n≥1n\ge1低ARIMA模型但大约相等于（内最小AIC的1点或2的值如）不太多的时间序列预测软件的默认？ （1）Chatfield，C.（1991年）。避免统计上的陷阱。统计科学，6（3），240-252。可在线获取，URL：https : //projecteuclid.org/euclid.ss/1177011686。

11 forecasting  model-selection  arima  aic 

我想比较三个不同组之间的比例数据，例如： ID Group Prop.Nitrogen 1 A 0.89 2 A 0.85 3 B 0.92 4 B 0.97 跟随沃顿商学院（Wharton and Hui）（doi：10.1890 / 10-0340.1 1），虽然我会看看使用转换后的logit是否可以更好地处理这些数据。 当我查看已转换和未转换数据上线性模型的诊断图时，它们看起来非常相似，没有明显的问题，并且估计参数只有很小的差异。但是，我仍然想对模型适合数据转换和未转换版本的方式说些什么-我知道我无法直接比较AIC值。有没有更正，我可以检查一下？还是应该采用其他方法？

11 data-transformation  aic  fitting 

我最近将4个多元回归模型用于相同的预测因子/响应数据。我适合泊松回归的两个模型。 model.pois <- glm(Response ~ P1 + P2 +...+ P5, family=poisson(), ...) model.pois.inter <- glm(Response ~ (P1 + P2 +...+ P5)^2, family=poisson(), ...) 我使用负二项式回归拟合的两个模型。 library(MASS) model.nb <- glm.nb(Response ~ P1 + P2 +...+ P5, ...) model.nb.inter <- glm.nb(Response ~ (P1 + P2 +...+ P5)^2, ...) 我可以使用统计检验来比较这些模型吗？我一直在使用AIC来衡量合身程度，但AFAIK并不代表实际测试。

11 regression  aic  count-data  likelihood-ratio  model-comparison 

如何计算人工神经网络中的参数数量以计算其AIC？

11 neural-networks  aic 

在维基百科页面称，箱詹金斯是拟合的ARIMA模型对于时间序列的方法。现在，如果我想将ARIMA模型拟合到一个时间序列，我将打开SAS，调用proc ARIMA，提供参数，SAS会给我AR和MA系数。现在，我可以尝试使用和SAS的不同组合，每种情况下给我一组系数。我选择Akaike信息准则最低的集合。p,d,qp,d,qp,d,qp,d,qp,d,qp,d,q 我的问题是：在上述过程中，我在哪里使用Box-Jenkins？我是否应该使用Box-Jenkins得出初始估计？还是SAS内部使用了它？p,d,qp,d,qp,d,q

10 time-series  arima  sas  aic  box-jenkins 

我对这本文献不那么熟悉，所以如果这是一个明显的问题，请原谅我。 由于AIC和BIC依赖于最大化可能性，因此似乎只能将它们用于试图拟合给定数据集的一组模型之间的相对比较。根据我的理解，在数据集1上计算模型A的AIC，在数据集2上计算模型B的AIC，然后比较两个AIC值并判断（例如），这没有任何意义。模型A适合数据集1比模型B适合数据集2。或者也许我弄错了，这是合理的做法。请告诉我。 我的问题是：是否存在可以用于绝对而非相对比较的模型拟合统计量？对于线性模型，像这样的东西会起作用。它具有定义范围，并针对什么是“良好”价值制定了特定于学科的想法。我正在寻找更一般的东西，并认为我可以先在这里联系专家。我敢肯定有人曾经考虑过这种事情，但是我不太了解在Google学术搜索上进行有效搜索的正确用语。[R2[R2R^2 任何帮助，将不胜感激。

10 model-selection  aic  bic