Questions tagged «bias»

我有兴趣在多元线性回归中获得的无偏估计。R2R2R^2 通过反思，我可以想到的无偏估计可能试图匹配的两个不同值。R2R2R^2 出样品的：R2R2R^2如果从样品获得的回归方程时得到的R平方（即）施加于外部的样本数据的无限量，但是从同一数据生成处理。β^β^\hat{\beta} 人口R2R2R^2：如果获得了一个无限样品并且装配到无穷大样品（即，模型时得到的R平方），或者只是R平方由已知数据生成处理暗示。ββ\beta 我知道调整后的R2R2R^2旨在补偿样品观察到的过拟合。尽管如此，现在还不清楚是否调整ř 2实际上是的无偏估计- [R 2，并且如果它是一个无偏估计，其中上述两个定义的R2R2R^2R2R2R^2R2R2R^2它的目标是估计。R2R2R^2 因此，我的问题是： 我对以上所说的样本的无偏估计是多少 ？R2R2R^2 我所说的高于人口的无偏估计是多少 ？R2R2R^2 有没有提供模拟或其他证明无偏见的参考文献？

14 estimation  multiple-regression  r-squared  bias 

根据该深度学习教程，权重衰减（正则化）通常不应用于偏见项b为什么？ 它背后的意义（直觉）是什么？

14 machine-learning  neural-networks  bias  regularization 

我试图对“一致”和“渐近无偏”一词之间的区别和实际区别获得直观的理解和感觉。我知道他们的数学/统计定义，但是我正在寻找直观的东西。在我看来，看看他们的个人定义，他们几乎是同一回事。我意识到差异一定很细微，但我看不到。我试图将差异可视化，但不能做到。有人可以帮忙吗？

14 bias  convergence  unbiased-estimator  asymptotics  intuition 

我已经向艺术家样本进行了调查。问题之一是要说明以下各项所产生的收入百分比：艺术活动，政府支持，私人养老金，与艺术无关的活动。大约有65％的人回答说百分数之和是100。其他人则没有：例如，有人回答说，他们收入的70％来自他/她的艺术活动，而60％来自收入政府。 ， 等等。我的问题是：我应该如何对待这些观察？我应该删除，修改或保留它们吗？谢谢！

13 survey  bias 

如果省略了同时影响和变量，则在上的回归不必是因果的。但是，如果不是因为遗漏变量和测量误差，是否存在回归因果关系？也就是说，回归中是否包括所有可能的变量？ÿyyXxxXxxÿyy

13 regression  bias  causality 

所以，我有一个随机过程生成数正态分布随机变量XXX。这是相应的概率密度函数： 我想估计分配是原始分配的几个时刻，让我们说第一次的时刻：算术平均值。为此，我绘制了100个随机变量10000次，以便可以计算10000次算术平均值估计。 有两种不同的方法可以估算均值（至少，这是我的理解：我可能是错的）： 通过清楚地计算的算术平均值以通常的方式： X¯= ∑我= 1ñX一世ñ。X¯=∑i=1NXiN.\bar{X} = \sum_{i=1}^N \frac{X_i}{N}. 或先根据基本正态分布估算和μ：μ = N ∑ i = 1 log （X i）σσ\sigmaμμ\mu然后平均值作为 ˉ X =EXP（μ+1μ = ∑我= 1ñ日志（X一世）ñσ2= ∑我= 1ñ（日志（X一世）- μ ）2ñμ=∑i=1Nlog⁡(Xi)Nσ2=∑i=1N(log⁡(Xi)−μ)2N\mu = \sum_{i=1}^N \frac{\log (X_i)}{N} \quad \sigma^2 = \sum_{i=1}^N \frac{\left(\log (X_i) - \mu\right)^2}{N}X¯= 经验（μ + 12σ2）。X¯=exp⁡(μ+12σ2).\bar{X} = \exp(\mu + \frac{1}{2}\sigma^2). 问题在于，与每个这些估计相对应的分布在系统上是不同的： …

13 estimation  bias  fitting  lognormal  moments 

在Bishop的模式识别和机器学习的 3.2节中，他讨论了偏差方差分解，指出对于平方损失函数，预期损失可以分解为平方偏差项（它描述了平均预测与真实预测之间的距离。模型），方差项（描述了平均值周围的预测范围）和噪声项（给出了数据的固有噪声）。 可以使用除平方损失以外的损失函数执行偏差方差分解吗？ 对于给定的模型数据集，是否有多个模型的预期损失在所有模型中均是最小的，如果是这样，是否意味着可能会有不同的偏差和方差组合产生相同的最小预期损失？ 如果模型涉及正则化，则偏差，方差和正则化系数之间是否存在数学关系？λλ\lambda 如果您不知道真实的模型，如何计算偏差？ 在某些情况下，将偏差或方差最小化而不是预期损失（偏差和方差的平方和）更有意义吗？

13 self-study  variance  bias  regularization  loss-functions 

在在大气科学的统计方法，丹尼尔·威尔克斯指出，多元线性回归可以，如果有该预测结果中很强的互关联（第3版，559-560页）导致的问题： 多重线性回归中可能出现的一种病理现象是，一组具有强互相关性的预测变量会导致计算不稳定的回归关系。 （...） 然后，他介绍了主成分回归： 解决此问题的方法是先将预测变量转换为其主成分，其相关系数为零。 到目前为止，一切都很好。但是接下来，他发表了一些他不解释的声明（或者至少没有足够详细的信息让我理解）： 如果所有主成分都保留在主成分回归中，则与整个预测变量集的常规最小二乘拟合没有任何关系。 （..）和： 可以根据原始预测变量重新表达主成分回归，但是即使只使用了一个或几个主成分预测变量，结果通常也将包含所有原始预测变量。尽管通常方差要小得多，但这种重构的回归将是有偏差的，从而导致总体MSE较小。 我不明白这两点。 当然，如果保留了所有主要成分，我们将使用与在原始空间中使用预测变量时相同的信息。但是，通过在主成分空间中进行操作，可以消除互相关的问题。我们可能仍然过拟合，但这是唯一的问题吗？为什么什么都得不到？ 其次，即使我们确实截断了主要成分（也许是为了降低噪声和/或防止过度拟合），为什么以及如何导致偏向的重构回归？偏向哪种方式？ 本书出处：Daniel S. Wilks，《大气科学中的统计方法》，第三版，2011年。《国际地球物理学丛书》第100卷，学术出版社。

13 regression  pca  bias 

我想对“均方根误差（RMSE）”和“均值偏差（MBD）”有一个概念上的理解。在为我自己的数据比较计算了这些度量之后，我常常感到困惑，发现RMSE高（例如100千克），而MBD低（例如小于1％）。 更具体地说，我正在寻找参考（而非在线参考），其中列出并讨论了这些度量的数学原理。计算这两种度量的通常可接受的方法是什么，我应该如何在期刊论文中报告它们？ 在这篇文章的背景下，拥有一个“玩具”数据集可以用来描述这两种量度的计算是非常有帮助的。 例如，假设我要查找装配线生产的200个小部件的质量（以千克为单位）。我也有一个数学模型，它将尝试预测这些小部件的质量。该模型不必是经验模型，也可以基于物理模型。我在实际测量值和模型之间计算了RMSE和MBD，发现RMSE为100千克，MBD为1％。这在概念上意味着什么，我将如何解释这一结果？ 现在假设我从该实验的结果中发现，RMSE为10千克，MBD为80％。这是什么意思，关于这个实验我能说些什么？ 这些措施的含义是什么，两者（合起来）意味着什么？与RMSE一起考虑时，MBD还提供哪些其他信息？

13 standard-deviation  bias 

在学习采样过程时，我遇到以下两个陈述： 1）采样误差主要导致可变性，非采样误差导致偏差。 2）由于存在非抽样误差，因此抽样通常比人口普查更准确。 我不知道如何理解这两个陈述。获取这两个语句的基本逻辑是什么？

13 estimation  sampling  survey  bias 

我负责介绍我公司的A / B测试结果（在网站上运行）。我们进行了一个月的测试，然后定期检查p值，直到达到显着性为止（或者，如果长时间运行后未达到显着性，则放弃），我现在发现这是一种错误的做法。 我现在想停止这种做法，但是要这样做，我想了解为什么这是错误的。我知道效果大小，样本大小（N），α显着性标准（α）和统计功效，或选择或隐含的β（β）在数学上都是相关的。但是，在达到所需样本量之前停止测试会发生什么变化呢？ 我在这里阅读了几篇文章（即this，this和this），他们告诉我，我的估计会有所偏差，并且我的Type 1错误的发生率急剧增加。但是那是怎么发生的呢？我正在寻找数学解释，这种解释可以清楚地显示出样本量对结果的影响。我想这与我上面提到的因素之间的关系有关，但是我无法找出确切的公式并自行解决。 例如，过早停止测试会增加类型1的错误率。好的。但为什么？如何增加类型1的错误率？我想念这里的直觉。 请帮忙。

13 hypothesis-testing  statistical-significance  bias  ab-test  optimal-stopping 

我创建了这个学习曲线，我想知道我的SVM模型是否存在偏差或方差？我怎么能从这张图得出结论呢？

12 machine-learning  svm  bias  train 

已关闭。这个问题需要细节或说明。它当前不接受答案。 想改善这个问题吗？添加细节并通过编辑此帖子来澄清问题。 4年前关闭。 我已经看到许多地方都有输入/输出数据集，它们首先创建线性回归线，更正了偏差，然后仅将该数据用于他们的模型。我没有得到这个偏差校正是什么？

12 bias  bias-correction 

我最近问了一个问题，要求在与样品均值和方差有关的基本方程式后面寻求数学解释/直觉：E[X2]=Var(X)+(E[X])2E[X2]=Var(X)+(E[X])2 E[X^2] = Var(X) +(E[X])^2，是几何的还是其他的。 但是现在，我对表面上相似的偏差-方差折衷方程式感到好奇。 MSE(θ^)=E[(θ^−θ)2]==E[(θ^−E[θ^])2]+(E[θ^]−θ)2Var(θ^)+Bias(θ^,θ)2MSE(θ^)=E[(θ^−θ)2]=E[(θ^−E[θ^])2]+(E[θ^]−θ)2=Var(θ^)+Bias(θ^,θ)2 \begin{eqnarray} \text{MSE}(\hat{\theta}) = E [(\hat{\theta}-\theta)^2 ] &=& E[(\hat{\theta} - E[\hat\theta])^2] + (E[\hat\theta] - \theta)^2\\ &=& \text{Var}(\hat\theta) + \text{Bias}(\hat\theta,\theta)^2 \\ \end{eqnarray} （选自式维基百科） 对我来说，与偏差-方差折衷方程的回归有一个表面上的相似之处：三个具有平方的项，两个相加。非常毕达哥拉斯的外观。是否所有这些项目都有相似的矢量关系，包括正交性？还是有其他适用的数学解释？ 我正在寻找与其他一些可能会有所启发的数学对象的数学类比。我不是在找精确精度的类比，这里已经介绍了很多。但是，如果人们可以在偏差方差折衷与更基本的均值方差关系之间给出非技术类比，那也将是巨大的。

12 variance  bias 

彼此暗示吗？如果不是，是否意味着另一个？为什么/为什么不呢？ 这个问题是针对我在此处发布的答案的评论而提出的。 尽管google搜索相关术语并没有产生看起来特别有用的东西，但我确实注意到了数学stackexchange 的答案。但是，我认为这个问题也适用于该网站。 阅读评论后进行编辑 相对于math.stackexchange答案，我正在做更深入的研究，涵盖了@whuber注释线程中处理的一些问题。另外，正如我所看到的，math.stackexchange问​​题表明一致性并不意味着渐近地无偏见，但是对于原因却没有太多解释。那里的OP还理所当然地认为渐近无偏并不意味着一致性，因此到目前为止，唯一的回答者并没有解决为什么这样做。

12 mathematical-statistics  bias  unbiased-estimator  estimators  consistency