Questions tagged «model-selection»

模型选择是判断某个集合中哪个模型效果最好的问题。流行的方法包括，AIC和BIC标准，测试集和交叉验证。在某种程度上，特征选择是模型选择的一个子问题。 R2

3
何时通过最小化AIC选择型号？
公认的是，至少在某些较高水平的统计学家中，具有AIC统计值在最小值某个阈值内的模型应被认为是使AIC统计量最小的模型是适当的。例如，在[1，第221页]中，我们发现 然后，具有较小GCV或AIC的模型将被认为是最好的。当然，不应仅仅盲目地将GCV或AIC最小化。而是，应将所有具有较小GCV或AIC值的模型视为潜在适当模型，并应根据其简单性和科学相关性对其进行评估。 同样，在[2，p.144]中， 有人建议（Duong，1984年），将AIC值设在最小值c之内的模型应认为具有竞争力（c = 2为典型值）。然后可以基于诸如残差的白度（第5.3节）和模型简单性等因素从竞争模型中进行选择。 参考文献： 鲁珀特，D .；Wand，MP和Carrol，RJ 半参数回归，剑桥大学出版社，2003年 Brockwell，PJ和Davis，RA 时间序列和预测简介，John Wiley＆Sons，1996年 因此，鉴于以上所述，以下两个模型中的哪一个应该是首选？ print( lh300 <- arima(lh, order=c(3,0,0)) ) # ... sigma^2 estimated as 0.1787: log likelihood = -27.09, aic = 64.18 print( lh100 <- arima(lh, order=c(1,0,0)) ) # ... sigma^2 estimated as 0.1975: log likelihood = -29.38, aic …
1
PyMC3中的贝叶斯模型选择
我正在使用PyMC3在数据上运行贝叶斯模型。 我是贝叶斯建模的新手，但是根据一些博客文章，该站点的Wikipedia和QA所述，使用贝叶斯因子和BIC准则来选择最能代表我的数据的模型似乎是一种有效的方法（我的数据）。 要计算贝叶斯因子，我需要要比较的模型的相对可能性。这可能会让我感到困惑，但是我认为有两种方法可以获取可能性（如果我错了，请纠正我）： 模型简单时的代数方式：请参阅Wikipedia示例贝叶斯因子页面 数字方式：这就是PyMC3与MCMC算法的区别 如何获得可能性并比较PyMC3中的模型？我发现model.logp根据doc是“对数概率密度函数”的方法。我可以用它来获得可能性吗？ 奖励问题：比较两个模型时，会计算两个似然比。如果要比较多个模型会怎样？ 一个具体的PyMC3示例将非常有帮助！
1
如何在不过度拟合数据的情况下选择最佳拟合？使用N个正态函数等对双峰分布进行建模
我有一个明显的双峰值分布，我试图适应这一分布。可以使用2个正常函数（双峰）或3个正常函数很好地拟合数据。此外，将数据拟合为3还有一个合理的物理原因。 引入的参数越多，拟合就越完美，因为有了足够的常数，一个人就可以“ 拟合大象 ”。 这是分布，与3条正态（高斯）曲线的总和拟合： 这些是每次拟合的数据。我不确定应该在这里应用哪种测试来确定合适的位置。数据由91点组成。 1正常功能： RSS：1.06231 X ^ 2：3.1674 F.测试：0.3092 2个正常功能： RSS：0.010939 X ^ 2：0.053896 F.测试：0.97101 3种正常功能： RSS：0.00536 X ^ 2：0.02794 F.测试：0.99249 什么是可以用来确定这3个拟合中的哪一个最合适的正确统计检验？显然，1个法线函数拟合不足。那么如何区分2和3？ 另外，我主要使用Excel和一些Python来完成此操作；我还不熟悉R或其他统计语言。
1
离线学习与在线学习中的模型选择
最近，我一直在尝试学习有关在线学习的更多信息（这绝对令人着迷！），而我一直无法很好地掌握的一个主题是如何考虑离线与在线环境中的模型选择。具体而言，假设我们训练分类离线，基于一些固定数据集。例如，我们通过交叉验证来评估其性能特征，并以此方式选择最佳分类器。SSSDDD 这就是我一直在思考的问题：那么，如何将应用于在线设置呢？我们是否可以假设脱机找到的最佳作为在线分类器也能表现良好？收集一些数据来训练，然后使用相同的分类器并在找到相同参数的在线设置中“操作”它是否有意义，或者另一种方法会更好吗？在这些情况下有哪些警告？这里的主要结果是什么？依此类推。SSSSSSSSSSSSDDD 无论如何，现在已经存在了，我想我正在寻找的参考资料或资源将对我（以及希望其他人在思考这种事情！）有帮助，从而使他们从单纯地以离线方式进行思考过渡，并且随着我阅读的进展，以更连贯的方式发展思维框架来思考模型选择和这些问题。
1
当AIC值较低且大致相等时，我该怎么办？
克里斯·查特菲尔德（Chris Chatfield）在（1）中我喜欢阅读许多高质量的书籍和论文，并提出以下建议： 例如，应该在具有较低AIC值和近似相等AIC值的ARIMA时间序列模型之间进行选择，而不是在其上给出最小的AIC，而是在其上给出对最近一年数据的最佳预测。 这种建议的依据是什么？如果听起来不错，为什么Forecast :: auto.arima和其他预测例程不遵循它？尚未实施？它已经在这里讨论的是寻找那些刚好给最小的车型AIC可能不是一个好主意。为什么选择让n≥1n≥1n\ge1低ARIMA模型但大约相等于（内最小AIC的1点或2的值如）不太多的时间序列预测软件的默认？ （1）Chatfield，C.（1991年）。避免统计上的陷阱。统计科学，6（3），240-252。可在线获取，URL：https : //projecteuclid.org/euclid.ss/1177011686。
5
共线变量怎么办
免责声明：这是一个家庭作业项目。 我正在尝试根据几个变量提出最佳的钻石价格模型，到目前为止，我似乎已经有了一个很好的模型。但是我遇到了两个显然是共线的变量： >with(diamonds, cor(data.frame(Table, Depth, Carat.Weight))) Table Depth Carat.Weight Table 1.00000000 -0.41035485 0.05237998 Depth -0.41035485 1.00000000 0.01779489 Carat.Weight 0.05237998 0.01779489 1.00000000 Table和Depth相互依赖，但是我仍然希望将它们包括在我的预测模型中。我对钻石进行了一些研究，发现“表”和“深度”是指钻石的顶部长度和顶部至底部的距离。由于这些钻石的价格似乎与美感相关，而美感似乎与比例有关，因此，我将使用的比率来预测价格。这是处理共线变量的标准程序吗？如果没有，那是什么？Ť一个b 升ëd Ë p 吨ħŤ一种b升ËdËpŤH\frac{Table}{Depth} 编辑：这是深度〜表的图：
1
ABC型号选择
已经表明，不建议使用贝叶斯因数选择ABC模型，因为存在使用汇总统计数据产生的错误。本文的结论依赖于一种流行的方法的行为的近似贝叶斯因子（算法2）的研究。 众所周知，贝叶斯因素并不是进行模型选择的唯一方法。还有其他一些功能，例如模型的预测性能，可能会引起关注（例如评分规则）。 我的问题是：是否有一种类似于算法2的方法，可以根据复杂情况下的预测性能，近似一些计分规则或其他可用于进行模型选择的数量？
2
非嵌套模型的广义对数似然比检验
我知道如果我有两个模型A和B，并且A嵌套在B中，那么在给定一些数据的情况下，我可以使用MLE拟合A和B的参数，并应用广义对数似然比检验。特别地，测试的分布应为具有个自由度，其中是和具有的参数数量之差。χ2χ2\chi^2ññnññn一个一个A乙乙B 但是，如果和具有相同数量的参数，但模型未嵌套，会发生什么情况？那就是他们只是不同的模型。有什么方法可以应用似然比检验，还是可以做其他事情？一个一个A乙乙B
2
就模型的交叉验证预测误差而言，LASSO优于正向选择/反向消除
我使用以下方法从原始完整模型中获得了三个简化模型 前向选择 向后淘汰 L1惩罚技术（LASSO） 对于使用前向选择/后向消除得到的模型，我使用获得的预测误差的横验证估计CVlm在包DAAG提供R。对于通过LASSO选择的模型，我使用cv.glm。 LASSO的预测误差小于其他方法的预测误差。因此，通过LASSO获得的模型在预测能力和可变性方面似乎更好。这是一种经常发生的普遍现象，还是特定于问题的？如果这是普遍现象，那么理论上的依据是什么？
1
这两个回归模型之间的根本区别是什么？
假设我有一个具有显着相关性的双变量响应。我正在尝试比较两种模拟这些结果的方法。一种方法是对两个结果之间的差异进行建模： 另一种方法是对它们进行使用或建模： (yi2−yi1=β0+X′β)(yi2−yi1=β0+X′β)(y_{i2}-y_{i1}=\beta_0+X'\beta)glsgee(yij=β0+time+X′β)(yij=β0+time+X′β)(y_{ij}=\beta_0+\text{time}+X'\beta) 这是一个foo示例： #create foo data frame require(mvtnorm) require(reshape) set.seed(123456) sigma <- matrix(c(4,2,2,3), ncol=2) y <- rmvnorm(n=500, mean=c(1,2), sigma=sigma) cor(y) x1<-rnorm(500) x2<-rbinom(500,1,0.4) df.wide<-data.frame(id=seq(1,500,1),y1=y[,1],y2=y[,2],x1,x2) df.long<-reshape(df.wide,idvar="id",varying=list(2:3),v.names="y",direction="long") df.long<-df.long[order(df.long$id),] df.wide$diff_y<-df.wide$y2-df.wide$y1 #regressions fit1<-lm(diff_y~x1+x2,data=df.wide) fit2<-lm(y~time+x1+x2,data=df.long) fit3<-gls(y~time+x1+x2,data=df.long, correlation = corAR1(form = ~ 1 | time)) fit1和之间有什么根本区别fit2？在fit2和之间fit3，假设它们与值和估计值如此接近？ppp
3
当大时比较嵌套的二进制logistic回归模型
为了更好地问我的问题，我已经提供了一些来自一个16级模型（输出fit）和17变量模型（fit2）以下（在这些模型中的所有预测变量是连续的，在这些模型之间的唯一区别在于fit不包含变量17（var17））： fit Model Likelihood Discrimination Rank Discrim. Ratio Test Indexes Indexes Obs 102849 LR chi2 13602.84 R2 0.173 C 0.703 0 69833 d.f. 17 g 1.150 Dxy 0.407 1 33016 Pr(> chi2) <0.0001 gr 3.160 gamma 0.416 max |deriv| 3e-05 gp 0.180 tau-a 0.177 Brier 0.190 fit2 Model Likelihood Discrimination …
1
比较泛化性能的分布
假设我有两种针对分类问题的学习方法和，并且通过诸如反复交叉验证或自举之类的方法来估计它们的泛化性能。从这个过程中，我得到了在这些重复中每种方法的得分和的分布（例如，每个模型的ROC AUC值的分布）。AAABBB PAPAP_APBPBP_B 从这些分布来看，可能是 但（即的预期泛化性能高于，但是此估计存在更多不确定性）。μA≥μBμA≥μB\mu_A \ge \mu_BσA≥σBσA≥σB\sigma_A \ge \sigma_BAAABBB 我认为这称为回归中的偏差方差困境。 我可以使用哪些数学方法来比较和并最终就使用哪种模型做出明智的决定？PAPAP_APBPBP_B 注意：为简单起见，我在这里指的是两种方法和，但我对可用于比较〜1000个学习方法的分数分布（例如来自网格搜索）的方法感兴趣，并最终使关于使用哪种模型的最终决定。AAABBB
1
先验条件不正确的贝叶斯因素
我有一个关于使用贝叶斯因子进行模型比较的问题。在许多情况下，统计学家对使用贝叶斯方法使用不适当的先验条件（例如某些Jeffreys先验条件和参考先验条件）感兴趣。 我的问题是，在模型参数的后验分布定义明确的情况下，在使用不正确的先验条件下使用贝叶斯因子比较模型是否有效？ 作为一个简单的示例，请考虑将普通模型与Logistic模型与Jeffreys Priors进行比较。
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.