Questions tagged «bootstrap»

我有一个关于在存在强集群的数据上使用适当的引导技术的问题。 我的任务是评估保险索赔数据的多元混合效应预测模型，方法是对最新的索赔数据评分当前的基线模型，以便确定该模型对哪些医疗事件包含最高诊治频率的预测效果如何（较高95％）。敏感性，特异性和阳性预测值（PPV）将用于评估模型的有效性。 自举似乎是建立敏感性，特异性和PPV百分比置信区间的正确方法。不幸的是，鉴于索赔数据是1）由护理提供者关联的，2）分组为护理事件的，并且在护理事件的前几个月中进行了更频繁的拜访（因此存在一些自相关性），因此不宜采用单纯的引导程序。在这里，对移动块自举技术的一种变化是否合适？ 或三步引导程序可能会起作用：1）从数据中的不同提供者处进行替换的样本，然后2）从所选提供者的不同护理阶段中进行替换的样本，然后3）每个内的不同主张所进行的替换样本选择的情节。 非常感谢您的任何建议！

16 bootstrap  random-effects-model  mixed-model 

排列检验（也称为随机检验，重新随机检验或精确检验）非常有用，并且在t-test未满足例如要求的正态分布的假设以及通过按等级对值进行转换时派上用场非参数测试之类的测试Mann-Whitney-U-test会导致丢失更多信息。但是，在使用这种检验时，一个假设且唯一一个假设应该是原假设下样本的可交换性假设。还值得注意的是，当有两个以上的示例（如在coinR包中实现的示例）时，也可以应用这种方法。 您能用简单的英语用一些比喻语言或概念直觉来说明这一假设吗？这对于在像我这样的非统计学家中阐明这个被忽视的问题非常有用。 注意： 提及在相同假设下应用置换测试不成立或无效的情况将非常有帮助。 更新： 假设我随机从我所在地区的当地诊所收集了50个受试者。他们被随机分配为接受药物或安慰剂的比例为1：1。分别Par1在V1（基准），V2（3个月后）和V3（1年后）时测量了参数1 。根据特征A，所有50个主题都可以分为2组；正值= 20，负值=30。它们也可以基于特征B细分为另外2组；B阳性= 15，B阴性=35。 现在，我具有Par1所有访问中所有受试者的值。在可交换性的假设下，如果可以，我是否可以在Par1使用置换测试的水平之间进行比较： -将接受药物治疗的受试者与接受V2安慰剂治疗的受试者进行比较？ -将具有特征A的对象与具有V2的特征B的对象进行比较？ -比较在V2具有特征A的对象与在V3具有特征A的对象？ -在哪种情况下，这种比较是无效的，并且违反了可交换性的假设？

15 hypothesis-testing  permutation-test  exchangeability  r  statistical-significance  loess  data-visualization  normal-distribution  pdf  ggplot2  kernel-smoothing  probability  self-study  expected-value  normal-distribution  prior  correlation  time-series  regression  heteroscedasticity  estimation  estimators  fisher-information  data-visualization  repeated-measures  binary-data  panel-data  mathematical-statistics  coefficient-of-variation  normal-distribution  order-statistics  regression  machine-learning  one-class  probability  estimators  forecasting  prediction  validation  finance  measurement-error  variance  mean  spatial  monte-carlo  data-visualization  boxplot  sampling  uniform  chi-squared  goodness-of-fit  probability  mixture  theory  gaussian-mixture  regression  statistical-significance  p-value  bootstrap  regression  multicollinearity  correlation  r  poisson-distribution  survival  regression  categorical-data  ordinal-data  ordered-logit  regression  interaction  time-series  machine-learning  forecasting  cross-validation  binomial  multiple-comparisons  simulation  false-discovery-rate  r  clustering  frequency  wilcoxon-mann-whitney  wilcoxon-signed-rank  r  svm  t-test  missing-data  excel  r  numerical-integration  r  random-variable  lme4-nlme  mixed-model  weighted-regression  power-law  errors-in-variables  machine-learning  classification  entropy  information-theory  mutual-information 

我是统计学的新手。自举的概念一直困扰着我。 我知道使用某些测试（例如t检验）需要抽样分布的正态性。如果数据不是正态分布的，则通过在SPSS的t测试中请求“引导”，是否可以解决非正态性问题？如果是这样，输出中报告的t统计量是否基于自举抽样分布？ 而且，在我拥有非正态数据的情况下，与使用非参数测试（例如，Mann-Whitney或Kruskal-Wallis）相比，这会是更好的测试吗？在数据不正常且正在使用引导程序的情况下，我不会报告t统计量：对吗？

15 nonparametric  bootstrap 

“ Bootstrap验证” /“重新采样交叉验证”对我来说是新手，但对此问题的答案进行了讨论。我收集到的数据涉及2种类型的数据：真实数据和模拟数据，其中通过替换重采样从真实数据生成给定的一组模拟数据，直到模拟数据的大小与真实数据相同。我可以想到两种使用此类数据类型的方法：（1）一次拟合模型，对许多模拟数据集进行多次评估；（2）使用许多模拟数据集中的每一个对模型进行多次拟合，每次针对实际数据进行评估。哪个（如果有）最好？

15 cross-validation  bootstrap  validation  resampling 

当使用自举进行模型评估时，我一直认为直接购买的样本可以直接用作测试集。但是，对于已弃用的 scikit-learnBootstrap方法来说似乎不是这种情况，该方法似乎是通过从图纸中提取测试数据来构建测试集，并替换了现成的数据子集。这背后的统计原因是什么？在某些特定情况下，该技术比仅对袋外样本进行评估更好，反之亦然吗？

15 cross-validation  bootstrap  random-forest  scikit-learn  bagging 

我只是想问一问，您认为哪本书是最好的自助书。因此，我并不一定只指其开发人员编写的内容。 您能否指出哪本教科书最适合您，并能满足以下条件？ 该技术的哲学/流行病学基础列出了适用范围，优点和缺点，对模型选择的重要性？ 一组很好的简单示例，显示了实现的基本原理，最好是在Matlab中？

14 sampling  model-selection  bootstrap  references  resampling 

假设一个人通过从原始n个观测值中替换得到每个大小为n的样本来执行所谓的非参数引导。我相信此过程等效于通过经验CDF估算累积分布函数：BBBnnnnnn http://en.wikipedia.org/wiki/Empirical_distribution_function 然后通过从估计的cdf B次连续模拟观察值来获得引导程序样本。nnnBBB 如果我对此是正确的，则必须解决过度拟合的问题，因为经验CDF具有大约N个参数。当然，它渐近收敛于总体cdf，但是有限样本呢？例如，如果我告诉你，我有100个观测，我会估计CDF为N(μ,σ2)N(μ,σ2)N(\mu, \sigma^2)有两个参数，你就不会惊慌。但是，如果参数数量增加到100，则似乎根本不合理。 同样地，当一个采用标准多元线性回归，误差项的分布被估计为。如果有人决定改用残差自举法，他必须意识到现在大约有nN(0,σ2)N(0,σ2)N(0, \sigma^2)nnn参数仅用于处理误差项分布。 您能否将我定向到一些明确解决此问题的消息源，或者告诉我如果您认为我做错了为什么这不是问题。

14 bootstrap  sample-size  sample  small-sample  finite-population 

我正在阅读凯文·墨菲（Kevin Murphy）的著作《机器学习-概率论》中有关频繁统计的章节。引导程序部分内容为： 引导程序是一种简单的蒙特卡洛技术，用于近似采样分布。这在估算器是真实参数的复杂函数的情况下特别有用。 这个想法很简单。如果我们知道真实参数，则对于s = 1，我们可以从真实分布x_i ^ s \ sim p（·|θ^ ∗）生成许多​​（例如）伪数据集，每个伪数据集的大小为N ： S，i = 1：N。然后，我们可以根据每个样本\ hat {\ theta ^ s} = f（x ^ s_ {1：N}）计算估计量，然后 将所得样本的经验分布用作我们对采样分布的估计。由于\ theta是未知的，因此参数引导程序的想法是改为使用\ hat {\ theta}（D）生成样本。小号Ñ X 小号我〜p（· | θ *）小号=1：小号，我=1：Ñ ^ θ 小号 =˚F（ X 小号1 ：Ñ）θθ∗θ∗θ^∗SSSNNNxsi∼p(⋅|θ∗)xis∼p(·|θ∗)x_i^s \sim p (·| θ^∗ )s=1:S,i=1:Ns=1:S,i=1:Ns = 1 …

14 bootstrap  frequentist 

我很难理解如何使用自举来计算线性回归模型的预测间隔。有人可以概述一下分步程序吗？我通过Google搜索，但对我来说真的没有任何意义。 我确实了解如何使用自举来计算模型参数的置信区间。

14 regression  bootstrap  prediction-interval 

我最近在寻找重新采样时间序列的方法， 大约保留长存储进程的自相关。 保留观测值的范围（例如，重新采样的整数时间序列仍然是整数的时间序列）。 如果需要，可能只影响某些比例尺。 我针对长度为的时间序列提出了以下排列方案：2N2N2^N 通过成对的连续观测值对时间序列进行分类（有这样的分类）。分别以概率翻转它们中的每一个（即，从索引到）。2N−12N−12^{N-1}1:22:11/21/21/2 通过连续的观察值对获得的时间序列进行分类（其中有这样的分类）。用概率反转它们中的每一个（即从索引到索引）独立性。2 N - 24442N−22N−22^{N-2}1:2:3:44:3:2:11/21/21/2 与尺寸的仓重复该步骤，，...，总是逆转与概率仓。16 2 Ñ - 1 1 / 28881616162N−12N−12^{N-1}1/21/21/2 这种设计纯粹是经验性的，我正在寻找已经针对这种排列发布的作品。我也乐于接受其他排列或重采样方案的建议。

14 time-series  bootstrap  resampling  permutation-test 

我想知道以下所述的过程是否有效/可以接受，并且有任何合理的理由。 想法：监督学习算法不假设数据的基础结构/分布。最终，他们输出点估计。我希望以某种方式量化估计的不确定性。现在，ML模型的建立过程本质上是随机的（例如，在用于超参数调整的交叉验证的采样中以及在随机GBM中的子采样中），因此建模管道将为每个具有不同种子的相同预测变量提供不同的输出。我的想法（天真）是一遍又一遍地运行此过程以得出预测的分布，我希望可以对预测的不确定性做出陈述。 如果重要的话，我使用的数据集通常很小（约200行）。 这有意义吗？ 需要说明的是，我实际上并没有按照传统意义引导数据（即，我没有对数据进行重新采样）。每次迭代都使用相同的数据集，我只是利用xval和随机GBM中的随机性。

14 machine-learning  confidence-interval  bootstrap  supervised-learning  gbm 

我目前正在设法弄清有关参数引导程序的一些事情。大多数事情可能都很琐碎，但我仍然认为我可能错过了一些东西。 假设我想使用参数引导程序获取数据的置信区间。 因此，我有此样本，并假设其为正态分布。那么我估计方差v和平均米，并得到我的分布估计P，这显然只是ñ （米，v）。v^v^\hat{v}m^m^\hat{m}P^P^\hat{P}N(m^,v^)N(m^,v^)N(\hat{m},\hat{v}) 除了从该分布中采样外，我还可以分析地计算分位数并完成。 a）我得出结论：在这种微不足道的情况下，参数引导程序是否与在正态分布假设中计算事物相同？ 因此，从理论上讲，只要我能处理计算，所有参数自举模型都是如此。 b）我得出结论：使用一定分布的假设将使我在参数引导程序上获得比非参数引导程序更高的准确性（如果正确的话）。但是除此之外，我之所以这样做，是因为我无法处理分析计算而无法尝试模拟我的分析方法吗？ c）如果计算通常是使用近似值完成的，我也将使用它，因为这可能会给我带来更高的准确性...？ 对我来说，（非参数）引导程序的好处似乎在于我不需要假设任何分布。对于参数引导程序，该优势已经消失了-还是我错过了某些事情，而参数引导程序在哪些方面提供了上述优势？

14 nonparametric  bootstrap  simulation  monte-carlo  parametric 

我有一个使用dput上传到这里的数字向量（... / code / MyData.Rdata）。 我想获得bca ci，所以我编写了以下代码： my.mean <- function(dat, idx){ return (mean(dat[idx], na.rm = TRUE)) } boot.out<-boot(data=my.data, statistic = my.mean, R=1000) 但是当我运行以下命令时，我得到了： > boot.ci(boot.out) Error in bca.ci(boot.out, conf, index[1L], L = L, t = t.o, t0 = t0.o, : estimated adjustment 'a' is NA In addition: Warning message: In …

14 r  bootstrap 

如果您所做的只是从经验分布中重新采样，为什么不仅仅研究经验分布呢？例如，为什么不仅仅通过经验分布来量化变异性，而不是通过重复采样研究变异性？

13 machine-learning  mathematical-statistics  sampling  bootstrap  resampling 

如果在标准OLS回归中违反了两个假设（误差的正态分布，均方差），自举标准误差和置信区间是否是一种适当的替代方法，以获得关于回归系数的重要性的有意义的结果？ 具有自举标准误差和置信区间的显着性测试是否仍可以“异方差”地“起作用”？ 如果是，在这种情况下可以使用的适用置信区间（百分位数，BC，BCA）是多少？ 最后，如果在这种情况下自举是合适的，那么需要阅读和引用哪些相关文献才能得出这个结论？任何提示将不胜感激！

13 regression  bootstrap  least-squares  heteroscedasticity