Questions tagged «bias»

众所周知，自1950年代以来，国际象棋棋手成功获得大师级头衔的最年轻年龄已大大降低，目前有近30位棋手在15岁生日之前成为大师级棋手。但是，Chess Stack Exchange上有一个问题，询问成为大师的平均年龄是多少？。 有人发布了一个答案，他（我假设是他）查看了六个大师的子集，并得出以下结果： 对于1945年以后出生的球员，平均年龄略高于26岁。 对于1970年以后出生的球员，平均年龄略高于23岁。 对于1975年以后出生的球员，平均年龄略高于22岁。 对于1980年以后出生的玩家，平均年龄为21岁。 对于1985年以后出生的球员，平均年龄不到20岁。 对于1990年以后出生的球员，平均年龄为18.5岁。 （对我来说，尚不完全清楚，例如第一组是否包含1945年以后出生的所有大师（这使它成为下一组的超集）还是仅包含1945年至1970年之间（年龄段）的大师。我认为是前者和我的问题在两种情况下都适用。） 问题在于，在1990年之后出生的玩家在答案发布时（2015年7月）还不到26岁，因此平均“ GM年龄”为26岁是不可能的。答案中最年轻的子集自然会切断任何超过25，而“较旧”的子集则没有。这不歪曲或偏向结果吗？（这是一种选择偏见吗？我没有统计学背景，阅读一些相关的Wikipedia条目也无济于事。）如果是，应该（或可以）减轻这种情况？在“较老的”组中，是否应仅以GM头衔资格的平均计算来考虑在26岁之前获得该头衔的球员？

11 survival  bias  population  censoring  subset 

贝叶斯估计量是否不受选择偏差的影响？ 大多数讨论高维估计的论文，例如整个基因组序列数据，通常会提出选择偏见的问题。选择偏差是由于以下事实而产生的：尽管我们有成千上万的潜在预测变量，但只有很少的预测变量会被选择，并且对所选的少数变量进行推断。因此，该过程分两个步骤进行：（1）选择预测变量的子集（2）对选择集进行推断，例如估计比值比。戴维德（Dawid）在其1994年的悖论论文中重点研究了无偏估计量和贝叶斯估计量。他将问题简化为选择最大的效果，这可能是治疗效果。 然后他说，无偏估计量受选择偏差的影响。他使用了这个例子：假设 然后每个Z iZi∼N(δi,1),i=1,…,NZi∼N(δi,1),i=1,…,N Z_i\sim N(\delta_i,1),\quad i=1,\ldots,N ZiZiZ_i对于是无偏的。令 ，估计量 但是有偏见（肯定地）表示\ max \ {\ delta_1，\ delta_2，\ ldots，\ delta_N \}。用詹森的不等式可以很容易地证明这一说法。因此，如果我们知道i _ {\ max}，即最大\ delta_i的索引，我们将仅使用Z_ {i _ {\ max}}作为其估计量而无偏。但是因为我们不知道这一点，所以我们使用\ gamma_1（\ mathbf {Z}）来代替它（有偏）。ž = （Ž 1，Ž 2，... ，Ž Ñ ）Ť γ 1（ż）= 最大{ Ž 1，Ž 2，... ，ž Ñ } 最大值{ δ 1，δ 2，... …

11 bayesian  feature-selection  bias  unbiased-estimator  conjugate-prior 

这类似于Bootstrap：估算值超出置信区间 我有一些数据可以代表人群中基因型的数量。我想使用Shannon指数来估算遗传多样性，并且还要使用自举法生成一个置信区间。但是，我已经注意到，通过自举进行的估算往往会产生极大的偏差，并导致置信区间超出我观察到的统计数据。 下面是一个例子。 # Shannon's index H <- function(x){ x <- x/sum(x) x <- -x * log(x, exp(1)) return(sum(x, na.rm = TRUE)) } # The version for bootstrapping H.boot <- function(x, i){ H(tabulate(x[i])) } 资料产生 set.seed(5000) X <- rmultinom(1, 100, prob = rep(1, 50))[, 1] 计算方式 H(X) ## [1] 3.67948 …

11 r  confidence-interval  bootstrap  bias  diversity 

我想知道工具变量如何解决回归中的选择偏差。 这是我正在尝试的示例：在“ 大多数无害计量经济学”中，作者讨论了与服役和晚年收入有关的IV回归。问题是，“服兵役会增加还是减少未来的收入？” 他们在越南战争的背景下调查了这个问题。我知道不能随机分配兵役，这是因果推理的问题。 为了解决这个问题，研究人员使用了征兵资格（如“您的征兵号码被称为”）作为实际服兵役的工具。这是有道理的：越南选秀大会随机分配了年轻的美国士兵入伍（从理论上讲，选秀者是否真的对我的问题有所帮助）。我们的其他IV条件似乎是可靠的：征兵资格和实际服兵役之间有着密切的正相关关系。 这是我的问题。似乎您会出现自我选择偏见：也许较富有的孩子可以退出越南服务，即使他们的选秀号码被打电话了。（如果实际并非如此，为我的问题，让我们假装）。如果这种自我选择在我们的样本中造成系统性偏见，那么我们的工具变量如何解决这一偏见？我们是否必须将推论范围缩小到“无法逃脱草案的人的类型？” 还是IV以某种方式挽救了我们推论的那一部分？如果有人能解释它是如何工作的，我将非常感谢。

11 regression  econometrics  bias  causality  instrumental-variables 

我知道Ramsey重置测试可能会检测到非线性相关性。但是，如果只丢弃其中一个回归系数（仅是线性相关性），则可能会产生偏差，具体取决于相关性。重置测试显然未检测到这一点。 我没有找到针对这种情况的测试，而是这样声明：“除非包含潜在的省略变量，否则您无法测试OVB”。这可能是一个合理的陈述，不是吗？

11 regression  multiple-regression  bias  causality  diagnostic 

如果我们考虑一个完整的决策树（即未修剪的决策树），则它具有高方差和低偏差。 套袋和随机森林使用这些高方差模型并对其进行汇总，以减少方差，从而提高预测准确性。套袋和随机森林都使用Bootstrap采样，并且如“统计学习的要素”中所述，这会增加单个树中的偏差。 此外，由于随机森林方法限制了允许在每个节点上拆分的变量，因此单个随机森林树的偏差会进一步增加。 因此，如果套袋和随机森林中单棵树的偏差增加不会“过度”使变化减少，则只能提高预测精度。 这使我想到以下两个问题：1）我知道使用引导程序抽样时，（几乎总是）我们在引导程序样本中会有一些相同的观察结果。但是，为什么这会导致套袋/随机森林中单个树木的偏见增加？2）此外，为什么对每个拆分中要拆分的可用变量的限制会导致随机森林中各个树的偏倚更高？

11 variance  random-forest  cart  bias  bagging 

我刚刚了解了自举的概念，并且想到了一个幼稚的问题：如果我们总是可以生成大量的数据自举样本，为什么还要费心去获取更多的“真实”数据呢？ 我确实有一个解释，请告诉我我是否正确：我认为引导过程会减少方差，但是如果我的原始数据集是BIASED，那么无论有多少副本，我都将保持低方差和高偏差我在拿。

11 variance  bootstrap  bias 

我试图理解为什么OLS会给出AR（1）进程的有偏估计量。考虑 在此模型中，违反了严格的外生性，即和是相关的，而和是不相关的。但是，如果这是真的，那么为什么以下简单推导不成立？ ý吨ε吨ý吨-1ε吨头激动 βytϵt=α+βyt−1+ϵt,∼iidN(0,1).yt=α+βyt−1+ϵt,ϵt∼iidN(0,1). \begin{aligned} y_{t} &= \alpha + \beta y_{t-1} + \epsilon_{t}, \\ \epsilon_{t} &\stackrel{iid}{\sim} N(0,1). \end{aligned} ytyty_tϵtϵt\epsilon_tyt−1yt−1y_{t-1}ϵtϵt\epsilon_tplim β^=Cov(yt,yt−1)Var(yt−1)=Cov(α+βyt−1+ϵt,yt−1)Var(yt−1)=β+Cov(ϵt,yt−1)Var(yt−1)=β.plim β^=Cov(yt,yt−1)Var(yt−1)=Cov(α+βyt−1+ϵt,yt−1)Var(yt−1)=β+Cov(ϵt,yt−1)Var(yt−1)=β. \begin{aligned} \text{plim} \ \hat{\beta} &= \frac{\text{Cov}(y_{t},y_{t-1})}{\text{Var}(y_{t-1})} \\ &=\frac{\text{Cov}(\alpha + \beta y_{t-1}+\epsilon_{t}, y_{t-1})}{\text{Var}(y_{t-1})} \\ &= \beta+ \frac{\text{Cov}(\epsilon_{t}, y_{t-1})}{\text{Var}(y_{t-1})} \\ &=\beta. \end{aligned}

11 time-series  least-squares  bias  autoregressive  estimators 

假设是一个无偏估计。然后，当然是。 θë[ θ |θ]=θθ^θ^\hat{\theta}θθ\thetaE[θ^∣θ]=θE[θ^∣θ]=θ\mathbb{E}[\hat{\theta} \mid \theta] = \theta 一个人如何向外行人解释呢？过去，我所说的是，如果对一堆求平均值，则随着样本数量的增加，您会更好地逼近。 θθ^θ^\hat{\theta}θθ\theta 对我来说，这是有问题的。我认为我在这里实际描述的是这种渐近无偏的现象，而不是单纯地无偏的现象，即 其中\ hat {\ theta}可能取决于n。limn→∞E[θ^∣θ]=θ,limn→∞E[θ^∣θ]=θ,\lim_{n \to \infty}\mathbb{E}[\hat{\theta} \mid \theta] = \theta\text{,} Ñθ^θ^\hat{\theta}nnn 那么，如何向外行人解释什么是无偏估计呢？

10 bias  asymptotics  unbiased-estimator  estimators  communication 

据我了解，测试错误的k倍交叉验证估计通常会低估实际测试错误。我很困惑为什么会这样。我明白了为什么训练误差通常低于测试误差的原因-因为您正在使用与估计误差相同的数据来训练模型！但这不是交叉验证的情况-在训练过程中，您特别忽略了测量误差的折线。 另外，说测试误差的交叉验证估计向下偏是否正确？

10 cross-validation  bias 

例如，我经常遇到一些学生，他们知道“观察到的是“人口有偏估计。然后，在撰写报告时，他们会说：R 2[R2[R2R^2[R2[R2R^2 “我计算了观察到的和调整后的，它们非常相似，这表明我们获得的观察到的值仅有少量偏差。”R 2 R 2[R2[R2R^2[R2[R2R^2[R2[R2R^2 我通常会在谈论偏见时谈论的是估算器的属性，而不是特定的估算。但是，上面引用的语句是否滥用了术语，或者可以吗？

10 mathematical-statistics  terminology  bias  estimators 

我使用混合模型（带有交互作用的多个变量和一个随机变量）进行了引导。我得到了这个结果（只是部分）： > boot_out ORDINARY NONPARAMETRIC BOOTSTRAP Call: boot(data = a001a1, statistic = bootReg, R = 1000) Bootstrap Statistics : original bias std. error t1* 4.887383e+01 -1.677061e+00 4.362948e-01 t2* 3.066825e+01 1.264024e+00 5.328387e-01 t3* 8.105422e+01 2.368599e+00 6.789091e-01 t4* 1.620562e+02 4.908711e+00 1.779522e+00 ...... 现在，我想获取截距的置信区间： > boot.ci(boot_out,type=c("norm","basic","perc"), index=1) BOOTSTRAP CONFIDENCE INTERVAL CALCULATIONS Based on …

10 r  confidence-interval  bootstrap  bias 

好的-我的原始讯息未能引起回应；因此，让我将问题改写为另一个。我将从决策理论的角度解释我对估计的理解。我没有经过正规的培训，如果我的想法在某种程度上有缺陷，也不会感到惊讶。 假设我们有一些损失函数。预期的损失是（频繁发生的）风险：L （θ ，θ^（x ））L(θ,θ^(x))L(\theta,\hat\theta(x)) [R （θ ，θ^（x ））= ∫L （θ ，θ^（x ））L（θ ，θ^（x ））dX ，R(θ,θ^(x))=∫L(θ,θ^(x))L(θ,θ^(x))dx,R(\theta,\hat\theta(x))=\int L(\theta,\hat\theta(x))\mathcal{L}(\theta,\hat\theta(x))dx, 其中是可能性; 贝叶斯风险是预期的常客风险：L （θ ，θ^（x ））L(θ,θ^(x))\mathcal{L}(\theta,\hat\theta(x)) r （θ ，θ^（x ））= ∫∫[R （θ ，θ^（x ））π（θ ）dX dθ ，r(θ,θ^(x))=∫∫R(θ,θ^(x))π(θ)dxdθ,r(\theta,\hat\theta(x))=\int\int R(\theta,\hat\theta(x))\pi (\theta)dxd\theta, 其中是我们的先验。π（θ ）π(θ)\pi (\theta) 在一般情况下，我们发现了θ（X ），最大限度地减少[R而这一切工作地非常好; 而且富比尼定理适用，我们可以反向整合的顺序，使任何给定的θ（X ）最小化[R是独立于所有其他人。这样就不会违反似然性原则，并且让我们对成为贝叶斯等感到满意。θ^（x ）θ^(x)\hat\theta(x)[Rrrθ^（x ）θ^(x)\hat\theta(x)[Rrr 例如，给定大家熟悉的平方误差损失，我们的频率论风险是均方误差或平方偏差和方差和我们的总和贝叶斯风险是给定我们先前的即后验期望损失的期望偏差和方差的平方和。L （θ ，θ^（x ））= （θ - …

10 bias  loss-functions  frequentist  decision-theory  risk 

我想了解有关Logistic回归的最大似然估计器（MLE）的几个事实。 总的来说，逻辑回归的MLE是否存在偏见？我会说“是”。我知道，例如，样本维数与MLE的渐近偏差有关。 您知道这种现象的基本例子吗？ 如果MLE有偏差，那么MLE的协方差矩阵是否是最大似然函数的Hessian的逆是真的吗？ 编辑：我经常遇到这个公式，没有任何证据；在我看来，这是一个相当随意的选择。

10 logistic  maximum-likelihood  unbiased-estimator  bias 

Hastie等。“统计学习的要素”（2009年）考虑了数据生成过程 其中和。È（ε ）= 0 无功（ε ）= σ 2 εÿ= f（X）+ εY=f(X)+ε Y = f(X) + \varepsilon E(ε)=0E(ε)=0\mathbb{E}(\varepsilon)=0Var(ε)=σ2εVar(ε)=σε2\text{Var}(\varepsilon)=\sigma^2_{\varepsilon} 他们对点（第223页，公式7.9）处的期望平方预测误差进行了以下偏差方差分解： 在我的自己的工作我没有指定而是取一个任意的预测（如果相关）。问题：我正在寻找 或更确切地说 的术语 错误（x 0）x0x0x_0˚F（⋅） ÿErr(x0)=E([y−f^(x0)]2|X=x0)=…=σ2ε+Bias2(f^(x0))+Var(f^(x0))=Irreducible error+Bias2+Variance.Err(x0)=E([y−f^(x0)]2|X=x0)=…=σε2+Bias2(f^(x0))+Var(f^(x0))=Irreducible error+Bias2+Variance.\begin{aligned} \text{Err}(x_0) &= \mathbb{E}\left( [ y - \hat f(x_0) ]^2 | X = x_0 \right) \\ &= \dots \\ &= \sigma^2_{\varepsilon} + \text{Bias}^2(\hat f(x_0)) + …

9 variance  forecasting  prediction  terminology  bias