Questions tagged «cross-validation»

将我标记的数据分为训练，验证和测试集时，我听到了从50/25/25到85/5/10的所有信息。我确信这取决于您将如何使用模型以及如何过度拟合学习算法。有没有办法决定还是凭经验来决定？甚至ELSII在这个问题上似乎也含糊不清。

10 machine-learning  cross-validation 

我有以下形式的GLMM： lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) 当我使用时drop1(model, test="Chi")，我得到的结果与Anova(model, type="III")从汽车包装或汽车上获得的结果不同summary(model)。后两个给出相同的答案。 通过使用大量虚构数据，我发现这两种方法通常没有区别。对于平衡线性模型，不平衡线性模型（不同组中的n不相等）和平衡广义线性模型，它们给出相同的答案，但对于平衡广义线性混合模型，它们给出相同的答案。因此看来，只有在包括随机因素的情况下，这种矛盾才会显现出来。 为什么这两种方法之间存在差异？ 使用GLMM时应使用Anova()还是drop1()应使用？ 至少就我的数据而言，两者之间的差异很小。哪一个使用都重要吗？

10 r  anova  glmm  r  mixed-model  bootstrap  sample-size  cross-validation  roc  auc  sampling  stratification  random-allocation  logistic  stata  interpretation  proportion  r  regression  multiple-regression  linear-model  lm  r  cross-validation  cart  rpart  logistic  generalized-linear-model  econometrics  experiment-design  causality  instrumental-variables  random-allocation  predictive-models  data-mining  estimation  contingency-tables  epidemiology  standard-deviation  mean  ancova  psychology  statistical-significance  cross-validation  synthetic-data  poisson-distribution  negative-binomial  bioinformatics  sequence-analysis  distributions  binomial  classification  k-means  distance  unsupervised-learning  euclidean  correlation  chi-squared  spearman-rho  forecasting  excel  exponential-smoothing  binomial  sample-size  r  change-point  wilcoxon-signed-rank  ranks  clustering  matlab  covariance  covariance-matrix  normal-distribution  simulation  random-generation  bivariate  standardization  confounding  z-statistic  forecasting  arima  minitab  poisson-distribution  negative-binomial  poisson-regression  overdispersion  probability  self-study  markov-process  estimation  maximum-likelihood  classification  pca  group-differences  chi-squared  survival  missing-data  contingency-tables  anova  proportion 

给定逻辑回归的多重交叉验证折痕，以及对每个回归系数的多重估计，基于回归系数，如何测量一个或多个预测变量（或一组预测变量）是否稳定且有意义？线性回归是否不同？

10 regression  model-selection  cross-validation 

我有一个约70个要减少的变量的数据集。我想要做的是使用CV以下列方式查找最有用的变量。 1）随机选择说20个变量。 2）使用stepwise/ LASSO/ lars/ etc选择最重要的变量。 3）重复〜50x，查看最常选择（未消除）的变量。 这与a的randomForest做法类似，但是该rfVarSel软件包似乎仅适用于因子/分类，我需要预测一个连续的因变量。 我正在使用R，因此任何建议都可以在此处理想地实现。

10 r  cross-validation  feature-selection  random-forest  stepwise-regression 

有谁知道一本好书/网页来开始学习交叉验证的技术？

10 references  cross-validation 

R函数cv.glm（库：引导）为广义线性模型计算估计的K折交叉验证预测误差，并返回增量。使用此函数进行套索回归（库：glmnet）是否有意义？如果是，如何进行？glmnet库使用交叉验证来获得最佳的车削参数，但是我没有找到任何交叉验证最终glmnet方程的示例。

10 r  regression  cross-validation  lasso  glmnet 

我经常看到人们谈论5x2交叉验证是嵌套交叉验证的特例。 我假设第一个数字（在这里：5）是指内环的折叠数，第二个数字（在这里：2）是指外环的折叠数？那么，这与“传统”模型选择和评估方法有何不同？我所说的“传统” 将数据集拆分为单独的训练（例如80％）和测试集 在训练集上使用k倍交叉验证（例如k = 10）进行超参数调整和模型选择 使用测试集评估所选模型的泛化性能 如果k = 2，则测试集和训练集的大小相等，那么5x2是否不完全相同？

10 machine-learning  cross-validation  hyperparameter 

我试图弄清楚我对嵌套交叉验证的理解是否正确，因此我写了这个玩具示例来看看我是否正确： import operator import numpy as np from sklearn import cross_validation from sklearn import ensemble from sklearn.datasets import load_boston # set random state state = 1 # load boston dataset boston = load_boston() X = boston.data y = boston.target outer_scores = [] # outer cross-validation outer = cross_validation.KFold(len(y), n_folds=3, shuffle=True, …

10 cross-validation  python  scikit-learn 

我正在尝试在R中拟合离散时间模型，但不确定如何执行。 我读过您可以将因变量组织在不同的行中，每个时间观察行一个，并将该glm函数与logit或cloglog链接一起使用。从这个意义上讲，我有三列：ID，Event（在每个时间范围内为1或0）和Time Elapsed（自观察开始以来）以及其他协变量。 如何编写适合模型的代码？哪个因变量？我想我可以将其Event用作因变量，并将其包括Time Elapsed在协变量中。但是，会发生什么ID呢？我需要吗？ 谢谢。

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

我的问题与mgcv R软件包中的GAM有关。由于样本量较小，我想使用留一法交叉验证来确定预测误差。这合理吗？有没有包装或代码，我该怎么做？ipred软件包中的errorest()功能不起作用。一个简单的测试数据集是： library(mgcv) set.seed(0) dat <- gamSim(1,n=400,dist="normal",scale=2) b<-gam(y~s(x0)+s(x1)+s(x2)+s(x3),data=dat) summary(b) pred <- predict(b, type="response") 非常感谢您的帮助！

10 r  cross-validation  gam  mgcv 

是否通过以下方式计算标准差估算值： sN=1N∑Ni=1(xi−x¯¯¯)2−−−−−−−−−−−−−√.sN=1N∑i=1N(xi−x¯)2. s_N = \sqrt{\frac{1}{N} \sum_{i=1}^N (x_i - \overline{x})^2}. （http://en.wikipedia.org/wiki/Standard_deviation#Sample_standard_deviation） 从10倍交叉验证中抽取的预测准确性？我担心由于训练集之间的实质重叠（尽管预测集是独立的），因此每次折叠之间计算的预测准确性是相互依赖的。任何讨论此问题的资源都将非常有帮助。

10 confidence-interval  cross-validation  prediction  prediction-interval 

在大多数情况下，我们只处理一个结果/响应变量，例如 y=a+bx+ϵy=a+bx+ϵy = a + bx +\epsilon。但是，在某些情况下，尤其是在临床数据中，结果变量可能是高维/多元变量。如Y=βx+ϵY=βx+ϵ\mathsf{Y} = \beta{x} + \mathsf{\epsilon}，在哪里 YY\mathsf{Y} 包含 Y1Y1Y_1， Y2Y2Y_2 和 Y3Y3Y_3变量与这些结果都相关。如果xxx 代表正在接受治疗（是/否），如何在R中模拟此类数据？ 一个真实的例子，每个患者接受两种类型的搭桥手术中的一种，研究人员在搭桥手术后对每个患者进行疼痛，肿胀，疲劳等测量（每个症状的发生率从0到10）。我“假设”结局（症状严重程度）是多元正常的。希望这个真实的例子可以澄清我的问题。提前谢谢了。

10 r  cross-validation 

例如，当执行5倍交叉验证时，通常针对5倍的每一个都计算一条单独的ROC曲线，通常乘以带有std的平均ROC曲线。开发。显示为曲线厚度。 但是，对于LOO交叉验证，每个折叠中只有一个测试数据点，为该单个数据点计算ROC“曲线”似乎并不明智。 我一直在获取所有测试数据点（连同它们单独计算的p值）并将它们汇总到一个大集合中，以计算单个ROC曲线，但这在统计学上是洁行的吗？ 当每个折叠中的数据点数为1时（如LOO交叉验证的情况），采用ROC分析的正确方法是什么？

10 cross-validation  roc 

我正在实施交叉验证并计算错误度量标准，例如RMSE，R2R2R^2，MAE，MSE等。 RMSE和MAE可以具有相同的值吗？

9 cross-validation  rms  mae 

在FrançoisChollet的Python深度学习中，它说： 结果，即使从未对模型进行过直接训练，根据其在验证集上的性能来调整模型的配置也可能很快导致对验证集的过度拟合。 这种现象的核心是信息泄漏的概念。每次根据模型在验证集上的性能来调整模型的超参数时，一些有关验证数据的信息都会泄漏到模型中。如果仅对一个参数执行一次此操作，那么将泄漏很少的信息，并且您的验证集将保持可靠以评估模型。但是，如果您重复多次（运行一个实验，对验证集进行评估并最终修改模型），那么您将把与验证集有关的越来越多的信息泄漏到模型中。 如果在调整超参数时评估验证数据的模型性能，为什么有关验证数据的信息会泄漏？

9 neural-networks  cross-validation  hyperparameter