Questions tagged «forecasting»

想象一下标准的机器学习场景： 您面临着庞大的多元数据集，并且您对它的理解很模糊。您需要做的是根据所拥有的东西对一些变量进行预测。像往常一样，您清理数据，查看描述性统计信息，运行某些模型，对其进行交叉验证等，但是经过几次尝试，来回尝试多个模型后，似乎没有任何效果，而且您​​的结果很可悲。您可能会花费数小时，数天或数周的时间解决此类问题... 问题是：何时停止？您怎么知道您的数据实际上是绝望的，所有花哨的模型对预测所有案例或其他琐碎解决方案的平均结果都不会带来什么好处？ 当然，这是一个可预测性问题，但是据我所知，在尝试对多变量数据进行评估之前很难评估它。还是我错了？ 免责声明：这个问题是受这个问题启发的。 我什么时候停止寻找模特儿了？并没有引起太多关注。对此问题有详细的答案以供参考是很好的。

207 machine-learning  forecasting  modeling  model-selection  forecastability 

我是机器学习的新手，我一直在尝试找出如何将神经网络应用于时间序列预测。我发现了与查询有关的资源，但似乎仍然有些迷茫。我认为没有太多细节的基本解释会有所帮助。 假设我在几年中每个月都有一些价格值，并且我想预测新的价格值。我可以获取过去几个月的价格列表，然后尝试使用K-Nearest-Neighbor查找过去的类似趋势。我可以让他们使用变化率或过去趋势的其他属性来尝试预测新价格。我正在尝试找出如何将神经网络应用于相同的问题。

83 time-series  forecasting  neural-networks 

我开始与使用的涉猎glmnet与LASSO回归那里我感兴趣的结果是二分。我在下面创建了一个小的模拟数据框： age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, 0.29, 0.88) m_edu <- c(0, 1, 1, 2, 2, 3, 2, 0, 1) p_edu <- c(0, 2, 2, …

77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 

我记得在统计课上读本科时曾听说过为什么外推是个坏主意。此外，在线上有各种来源对此发表了评论。还有它一提这里。 谁能帮我理解为什么外推是个坏主意？如果是这样，那么预测技术在统计上不是无效吗？

68 regression  time-series  forecasting 

在第 他的PRNN的第 34页Brian Ripley评论说：“ AIC被Akaike（1974）命名为“信息准则”，尽管似乎通常认为A代表Akaike。实际上，在介绍AIC统计信息时，Akaike（1974，p.719）解释说： "IC stands for information criterion and A is added so that similar statistics, BIC, DIC etc may follow". 将此报价视为1974年的预测，有趣的是，在短短的四年中，Akaike（1977，1978）和Schwarz（1978）提出了两种类型的BIC统计量（贝叶斯统计量）。Spiegelhalter等人。（2002）提出DIC（Deviance IC）的时间更长。尽管Akaike（1974）并没有预测CIC标准的出现，但相信从未考虑过这一点是天真的。它是由Carlos C. Rodriguez在2005年提出的。（请注意，R。Tibshirani和K. Knight的CIC（协方差通胀标准）是另一回事。） 我知道EIC（经验IC）是Monash大学的人们在2003年左右提出的。我刚刚发现了聚焦信息标准（FIC）。有些书将Hannan和Quinn IC称为HIC，请参阅例如本）。我知道应该有GIC（通用IC），而且我刚刚发现了信息投资标准（IIC）。有NIC，TIC等。 我想我可能会覆盖其余的字母，所以我不问序列AIC，BIC，CIC，DIC，EIC，FIC，GIC，HIC，IIC，...的停靠点，或字母表中的哪些字母未被使用或至少被使用过两次（例如，EIC中的E可以表示扩展的或经验的）。我的问题更简单，希望对实际更有用。我是否可以互换使用这些统计信息，而忽略它们所依据的特定假设，它们应适用的特定情况等等？ 这个问题部分是由Burnham＆Anderson（2001）提出的，其动机是： ...the comparison of AIC and BIC model selection ought to be based on their performance properties such as …

47 forecasting  model-selection  aic  bic 

我最近应用了多种预测方法（MEAN，RWF，ETS，ARIMA和MLP），发现MEAN的表现出奇的好。（均值：所有未来的预测均等于观测值的算术平均值。）在我使用的三个序列中，均值甚至优于ARIMA。 我想知道这是否不寻常？这是否意味着我使用的时间序列很奇怪？还是这表明我设置有误？

37 forecasting  arima 

我想知道预测和预测之间有什么区别和关系？特别是在时间序列和回归方面？ 例如，我是否纠正： 在时间序列中，预测似乎意味着在给定时间序列的过去值的情况下估计未来值。 在回归中，预测似乎意味着估计给定数据的值是未来，当前还是过去。 谢谢并恭祝安康！

37 regression  time-series  forecasting  terminology 

我有一个与短时间序列建模有关的问题。建模是否不是问题，而是如何建模。你会推荐建模（非常）短的时间序列（说长的什么方法）？“最好”是指最可靠的一种，即由于观察次数有限，因此最不容易出错。对于短序列，单个观测值可能会影响预测，因此该方法应提供谨慎的误差估计以及与预测相关的可能变异性。我通常对单变量时间序列感兴趣，但是了解其他方法也将很有趣。Ť≤ 20T≤20T \leq 20

35 time-series  forecasting  small-sample 

评论： 首先，我要非常感谢新的tsoutliers软件包的作者，该软件包实现了Chen和Liu的时间序列离群值检测，该软件包于1993年在《美国统计协会杂志》上的开源软件。[R[RR 程序包在时间序列数据中迭代检测5种不同类型的离群值： 附加异常值（AO） 创新离群值（IO） 电平转换（LS） 临时变更（TC） 季节性水平变动（SLS） 更妙的是，此程序包从预测程序包实现了auto.arima，因此可以无缝检测异常值。软件包还可以生成漂亮的图，以更好地了解时间序列数据。 以下是我的问题： 我尝试使用此程序包运行一些示例，但效果很好。加法离群值和电平移位很直观。但是，在处理临时更改离群值和创新离群值方面，我有两个问题，我无法理解。 临时更改异常值示例： 考虑以下示例： library(tsoutliers) library(expsmooth) library(fma) outlier.chicken <- tsoutliers::tso(chicken,types = c("AO","LS","TC"),maxit.iloop=10) outlier.chicken plot(outlier.chicken) 该程序正确地检测到以下位置的电平变化和临时变化。 Outliers: type ind time coefhat tstat 1 LS 12 1935 37.14 3.153 2 TC 20 1943 36.38 3.350 以下是情节和我的问题。 如何以等式格式写入临时更改？（电平移位可以很容易地写为二进制变量，在1935 / Obs 12之前的任何时候为0，在1935年之后和之后的任何时候为1。） 包装手册和本文中的临时更改公式为： L （B …

35 time-series  forecasting  arima  outliers 

我对向量错误校正模型（VECM）感到困惑。 技术背景： VECM提供了将向量自回归模型（VAR）应用于集成多元时间序列的可能性。在教科书中，他们列举了将VAR应用于集成时间序列时遇到的一些问题，其中最重要的是所谓的虚假回归（t统计量非常重要，R ^ 2很高，尽管变量之间没有关系）。 估计VECM的过程大致包括以下三个步骤，其中一个令人困惑的是我的第一个步骤： 集成多元时间序列的VAR模型的规范和估计 计算似然比检验以确定协整关系数 确定协整次数后，估算VECM 在第一步中，用适当的滞后数（使用通常的拟合优度）来估计VAR模型，然后检查残差是否与模型假设相对应，即没有序列相关性和异方差，并且残差呈正态分布。因此，可以检查VAR模型是否恰当地描述了多元时间序列，只有在这样做的情况下，才可以继续进行下一步。 现在我的问题是：如果VAR模型能够很好地描述数据，为什么我完全需要VECM？如果我的目标是生成预测，那么估计VAR和检查假设还不够，如果这些假设已实现，则仅使用此模型即可吗？

30 time-series  forecasting  var  cointegration  vecm 

我正在使用插入符号在数据集上运行交叉验证的随机森林。Y变量是一个因素。我的数据集中没有NaN，Inf或NA。但是，当运行随机森林时，我得到 Error in randomForest.default(m, y, ...) : NA/NaN/Inf in foreign function call (arg 1) In addition: There were 28 warnings (use warnings() to see them) Warning messages: 1: In data.matrix(x) : NAs introduced by coercion 2: In data.matrix(x) : NAs introduced by coercion 3: In data.matrix(x) : NAs introduced by …

29 r  random-forest  caret  regression  prediction  fitting  social-science  poisson-distribution  distributions  characteristic-function  bayesian  prior  regression  normal-distribution  interaction  nonparametric  skewness  svm  standard-deviation  standard-error  regression-coefficients  igraph  natural-language  word2vec  word-embeddings  regression  machine-learning  sampling  r  regression  machine-learning  random-forest  ensemble  sampling  unbiased-estimator  proof  estimators  mse  probability  conditional-probability  bayes  anova  missing-data  neural-networks  recommender-system  r  confidence-interval  sample  multiple-imputation  r  time-series  forecasting  mase 

当我使用GAM时，它给了我剩余的DF为（代码的最后一行）。这意味着什么？超越GAM示例，通常，自由度可以是非整数吗？26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees of freedom Residual Deviance: 177.4662 on 26.6 degrees of …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

Merkle＆Steyvers（2013）写道： 为了正式定义适当的评分规则，令为具有真正成功概率的伯努利试验的概率预测。正确的评分规则是如果其期望值最小的度量。FFfdddpppF= pF=pf = p 我认为这很好，因为我们希望鼓励预报员生成诚实地反映其真实信念的预报，而又不想给他们不利的动机以其他方式这样做。 在现实世界中，有没有适合使用不正确评分规则的示例？ 参考文献 Merkle，EC和Steyvers，M.（2013年）。选择严格正确的评分规则。决策分析，10（4），292-304

27 classification  forecasting  scoring-rules 

我以前曾使用Forecast Pro预测单变量时间序列，但将工作流程切换到R。R的预测程序包包含许多有用的功能，但它没有做的一件事是在运行auto之前进行了任何类型的数据转换。 .arima（）。在某些情况下，预测专家决定在进行预测之前记录转换数据，但是我还没有弄清楚为什么。 所以我的问题是：在尝试使用ARIMA方法之前，我应该何时对时间序列进行日志转换？ / edit：阅读答案后，我将使用类似x的时间序列： library(lmtest) if ((gqtest(x~1)$p.value < 0.10) { x<-log(x) } 这有意义吗？

26 r  time-series  data-transformation  forecasting  arima 

在我最近问的一个问题中，有人告诉我，用黄土推断是一个很大的“不可以”。但是，在Nate Silver在FiveThirtyEight.com上的最新文章中，他讨论了使用黄土做出选举预测。 他当时在讨论黄土侵略性与保守性预报的细节，但我对黄土做出未来预测的有效性感到好奇吗？ 我也对这次讨论以及对黄土可能有类似好处的其他替代方法感兴趣。

23 time-series  forecasting  predictive-models  loess  politics