Questions tagged «bias»

在模型方差和偏差方面，不同的交叉验证方法如何比较？ 我的问题部分源于此线程：折交叉验证中的最佳折叠数：留一法CV始终是最佳选择吗？ķKK ķ。那里的答案表明，通过留一法交叉验证学习的模型具有比通过常规倍交叉验证法学习的模型更高的方差，这使得留一法CV成为较差的选择。ķKK 但是，我的直觉告诉我，在留一式CV中，模型之间的方差应该比折CV 中的方差小，因为我们仅跨折移动一个数据点，因此折之间的训练集实质上重叠。ķKK 或朝另一个方向发展，如果折CV 中的较低，则训练集的折折将完全不同，并且所得的模型更有可能不同（因此方差更高）。 ķķKKķKK 如果上述论点是正确的，为什么用留一法CV学习的模型会有更高的方差？

83 machine-learning  variance  cross-validation  bias  bias-variance-tradeoff 

《自然科学家评论》的标题与统计意义背道而驰，其开头为： 瓦伦丁·阿姆海因（Valentin Amrhein），桑德·格陵兰（Sander Greenland），布莱克·麦克沙恩（Blake McShane）和800多个签署国呼吁结束大肆宣传的主张，并取消可能产生的关键影响。 稍后包含如下语句： 再一次，我们不主张禁止使用P值，置信区间或其他统计指标，而只是禁止对它们进行分类。这包括在统计上是否有意义的二分法，以及基于其他统计量（例如贝叶斯因子）的分类。 我想我可以理解，下面的图像并不表示这两项研究不同意，因为其中一项“排除”了无效，而另一项则没有。但是这篇文章似乎比我理解的要深入得多。 到最后，似乎有四个要点。对于那些阅读统计数据而不是编写统计数据的人来说，是否可以用更简单的术语来概括这些内容？ 在谈论兼容性间隔时，请记住四件事。 首先，仅在给出假设的前提下，因为间隔给出的值与数据最兼容，这并不意味着其外的值是不兼容的。他们只是不太兼容... 其次，在给定假设的情况下，并非内部的所有值都与数据同等兼容... 第三，就像它产生的0.05阈值一样，用于计算间隔的默认95％本身就是一个任意约定... 最后，也是最重要的一点，要谦虚：兼容性评估取决于用于计算间隔的统计假设的正确性...

61 statistical-significance  p-value  bias 

我正在寻找关于偏差方差折衷的直观解释，无论是总体上还是特别是在线性回归的情况下。

46 regression  variance  bias 

我是经济/统计专业。我知道，经济学家试图通过确定人们行为不合理的情况来修改对人类行为和理性的假设。例如，假设我为您提供100％的损失1000 美元的机会或50％的2500 美元损失的机会，人们选择2500 美元的期权，即使后者的期望值比保证的1000 美元的损失更大失利。这被称为“损失厌恶”。行为经济学家现在研究这些模式，并试图确定人类偏离那些通常被认为构成“理性”行为的公理的方式。在这里，我认为选择损失最小的预期是合理的。 我想知道统计学家是否已识别出数据收集中的常见模式，从而在人们解释数据的方式上产生了偏颇的结果。如果本质上是一种“理性”的数据收集方式，那么我认为有些例子表明人类会偏离这种情况并表现出“偏见”。如果是这样，人类在收集或解释数据时最常犯的偏见是什么？

39 bias 

很明显，为什么人们更喜欢无偏估计量。但是，在任何情况下，我们实际上可能更喜欢偏向估计量而不是无偏估计量？

38 bias  unbiased-estimator  estimators 

我认为变量的系数越大，模型在该维度上“摆动”的能力就越强，从而增加了拟合噪声的机会。尽管我认为我对模型中的方差与大系数之间的关系有一个合理的认识，但是我对为什么它们出现在过拟合模型中却没有很好的认识。说它们是过度拟合的症状是不正确的，系数收缩更是一种减少模型方差的技术吗？通过系数收缩进行正则化的原理似乎是：大系数是过度拟合模型的结果，但也许我误解了该技术背后的动机。 我的直觉是大系数通常是过度拟合的症状，来自以下示例： 假设我们要拟合全部位于x轴上的个点。我们可以很容易地构造一个多项式，其解为这些点：。假设我们的点位于。该技术给出所有大于等于10的系数（一个系数除外）。随着我们添加更多点（从而增加多项式的次数），这些系数的大小将迅速增加。f （x ）= （x − x 1）（x − x 2）。。。。（X - X ñ - 1）（X - X Ñ）X = 1 ，2 ，3 ，4ññnF（x ）= （x − x1个）（x − x2）。。。。（x − xn − 1）（x − xñ）F（X）=（X-X1个）（X-X2）。。。。（X-Xñ-1个）（X-Xñ）f(x) = (x-x_1)(x-x_2)....(x-x_{n-1})(x-x_n)X = 1 ，2 ，3 ，4X=1个，2，3，4x=1,2,3,4 这个示例是我当前如何将模型系数的大小与生成的模型的“复杂性”联系起来的方式，但是我担心这种情况对于实际显示行为是不正确的。我特意建立了一个过拟合模型（对二次抽样模型生成的数据进行了10次多项式OLS拟合），并惊讶地发现模型中的系数很小： set.seed(123) xv = seq(-5,15,length.out=1e4) x=sample(xv,20) …

33 regression  variance  linear-model  bias  regularization 

人们通常认为自举可以在估计器中提供偏差的估计。 如果吨是一些统计的估计，以及是自举复制品（与），则偏压的自举估计是 似乎非常简单而强大，令人不安。t^t^\hat tt~it~i\tilde t_ii∈{1,⋯,N}i∈{1,⋯,N}i\in\{1,\cdots,N\}biast≈1N∑it~i−t^biast≈1N∑it~i−t^\begin{equation} \mathrm{bias}_t \approx \frac{1}{N}\sum_i \tilde{t}_i-\hat t \end{equation} 在没有对统计信息进行无偏估计的情况下，我无法理解如何做到这一点。例如，如果我的估计器简单地返回一个独立于观察值的常数，则上述偏差估计显然是无效的。 尽管此示例是病态的，但我看不到有关估计量和分布的合理假设，这些假设将保证自举估计是合理的。 我尝试阅读正式的参考书，但我既不是统计学家，也不是数学家，因此没有任何澄清。 谁能提供何时可以预期该估计有效的高级摘要？如果您知道关于该主题的好的参考文献，那也很好。 编辑： 估计器的平滑度通常被引用为引导程序正常工作的要求。难道还需要某种形式的局部可逆性转换吗？常量映射显然不满足于此。

31 bootstrap  bias 

我将用一个例子来解释我的问题。假设您要根据以下属性预测个人的收入：{年龄，性别，国家/地区，城市}。你有一个像这样的训练数据集 train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3), RegionID=c(1,1,1,2, 3,3,4,4, 5,5,5,5), CityID=c(1,1,2,3, 4,5,6,6, 7,7,7,8), Age=c(23,48,62,63, 25,41,45,19, 37,41,31,50), Gender=factor(c("M","F","M","F", "M","F","M","F", "F","F","F","M")), Income=c(31,42,71,65, 50,51,101,38, 47,50,55,23)) train CountryID RegionID CityID Age Gender Income 1 1 1 1 23 M 31 2 1 1 1 48 F 42 3 1 1 2 62 M 71 4 …

29 regression  machine-learning  multilevel-analysis  correlation  dataset  spatial  paired-comparisons  cross-correlation  clustering  aic  bic  dependent-variable  k-means  mean  standard-error  measurement-error  errors-in-variables  regression  multiple-regression  pca  linear-model  dimensionality-reduction  machine-learning  neural-networks  deep-learning  conv-neural-network  computer-vision  clustering  spss  r  weighted-data  wilcoxon-signed-rank  bayesian  hierarchical-bayesian  bugs  stan  distributions  categorical-data  variance  ecology  r  survival  regression  r-squared  descriptive-statistics  cross-section  maximum-likelihood  factor-analysis  likert  r  multiple-imputation  propensity-scores  distributions  t-test  logit  probit  z-test  confidence-interval  poisson-distribution  deep-learning  conv-neural-network  residual-networks  r  survey  wilcoxon-mann-whitney  ranking  kruskal-wallis  bias  loss-functions  frequentist  decision-theory  risk  machine-learning  distributions  normal-distribution  multivariate-analysis  inference  dataset  factor-analysis  survey  multilevel-analysis  clinical-trials 

当我使用GAM时，它给了我剩余的DF为（代码的最后一行）。这意味着什么？超越GAM示例，通常，自由度可以是非整数吗？26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees of freedom Residual Deviance: 177.4662 on 26.6 degrees of …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

我正在做一些数值实验，包括对对数正态分布进行采样，并尝试通过两种方法估算矩：ë [ X Ñ ]X∼LN(μ,σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma)E[Xn]E[Xn]\mathbb{E}[X^n] 看的样本均值XnXnX^n 通过使用的样本均值估算和，然后使用对数正态分布的事实，我们有。σ 2日志（X ），登录2（X ）é [ X Ñ ] = EXP （Ñ μ + （Ñ σ ）2 / 2 ）μμ\muσ2σ2\sigma^2log(X),log2(X)log⁡(X),log2⁡(X）\log(X), \log^2(X)E[Xn]=exp(nμ+(nσ)2/2)E[Xn]=exp⁡(nμ+(nσ)2/2)\mathbb{E}[X^n]=\exp(n \mu + (n \sigma)^2/2) 问题是： 从实验上我发现，当我固定样本数量并将增加某个因子T 时，第二种方法的性能要比第一种更好。对此有一些简单的解释吗？μ,σ2μ,σ2\mu, \sigma^2 我附上一个图，其中x轴为T，而y轴为的值，比较的真实值（橙色线），到估算值。方法1-蓝点，方法2-绿点。y轴为对数刻度E[X2]E[X2]\mathbb{E}[X^2]E[X2]=exp(2μ+2σ2)E[X2]=exp⁡(2μ+2σ2)\mathbb{E}[X^2] = \exp(2 \mu + 2 \sigma^2) 编辑： 下面是一个最小的Mathematica代码，可以产生一个T的结果，并输出： ClearAll[n,numIterations,sigma,mu,totalTime,data,rmomentFromMuSigma,rmomentSample,rmomentSample] (* Define variables *) n=2; …

25 estimation  bias  lognormal  moments 

我对有偏的最大似然（ML）估计量感到困惑。整个概念的数学知识对我来说很清楚，但我无法弄清其背后的直观原因。 给定某个数据集具有来自分布的样本，而该样本集本身是我们要估计的参数的函数，则ML估计器会得出最有可能产生该数据集的参数值。 我不能从以下角度直观地理解偏差ML估计器：参数的最可能值如何在偏向错误值的情况下预测参数的实际值？

25 maximum-likelihood  bias 

的中期分析是在一个或多个时间点的数据的分析之前研究的与意图的官方接近，例如，可能早终止研究。 根据Piantadosi，S.（临床试验-方法论的观点）：“ 当试验在早期阶段终止时，治疗效果的估计将有偏差。决定越早，偏差越大。 ” 你能解释一下这个说法吗？我很容易理解精度会受到影响，但是关于偏差的说法对我来说并不明显。

24 clinical-trials  bias 

假设我正在尝试使用某种正则化估计从一些高维数据中估计大量参数。正则化器在估计中引入了一些偏差，但这仍然是一个很好的权衡，因为方差的减少应足以弥补这一不足。 当我想估计置信区间时（例如使用拉普拉斯逼近法或自举法），问题就来了。具体来说，我的估算偏差会导致我的置信区间覆盖不良，这使得难以确定我的估算器的频繁性。 我已经找到了一些讨论此问题的论文（例如“基于Edgeworth展开的岭回归中的渐近置信区间”），但是数学大多超出了我的理解。在链接的论文中，方程式92-93似乎为通过岭回归进行正则化的估计值提供了校正因子，但我想知道是否存在适用于一系列不同正则化器的良好程序。 即使是一阶校正也将非常有帮助。

21 confidence-interval  bias  regularization  ridge-regression  coverage-probability 

我正在努力在线性回归分析的背景下掌握偏差的概念。 偏见的数学定义是什么？ 到底有什么偏见，为什么/如何？ 说明性的例子？

21 regression  terminology  bias  definition 

在神经网络术语方面（y =权重* x +偏差），我如何知道哪些变量比其他变量更重要？ 我有一个具有10个输入的神经网络，1个具有20个节点的隐藏层和1个具有1个节点的输出层。我不确定如何知道哪些输入变量比其他变量更有影响力。我在想的是，如果输入很重要，那么它将与第一层具有高度加权的连接，但是权重可能为正也可能为负。因此，我可能要做的是取输入权重的绝对值并将其求和。更重要的输入将具有更高的总和。 因此，例如，如果头发长度是输入之一，则它应该与下一层中的每个节点具有1个连接，因此有20个连接（因此有20个权重）。我可以仅取每个权重的绝对值并将它们相加吗？

20 machine-learning  neural-networks  bias  tensorflow  theano