Questions tagged «bias»

假定以下线性关系： Yi=β0+β1Xi+uiYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_i，其中YiYiY_i是因变量，XiXiX_i的单个自变量和uiuiu_i误差项。 根据Stock＆Watson（《计量经济学概论》；第4章），第三个最小二乘假设是XiXiX_i和的第四矩是uiuiu_i非零且有限的(0&lt;E(X4i)&lt;∞ and 0&lt;E(u4i)&lt;∞)(0&lt;E(Xi4)&lt;∞ and 0&lt;E(ui4)&lt;∞)(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)。 我有三个问题： 我不完全理解此假设的作用。如果该假设不成立，或者我们需要此假设进行推断，OLS是否有偏见且不一致？ Stock和Watson写道：“这种假设限制了使用XiXiX_i或极大值进行观察的可能性uiuiu_i。” 但是，我的直觉是这种假设是极端的。如果我们有较大的离群值（例如第四矩很大），但是如果这些值仍然有限，我们会遇到麻烦吗？顺便说一句：离群值的基础定义是什么？ 我们可以重新定义为：“ XiXiX_i和的峰度uiuiu_i是非零且有限的吗？”

9 regression  least-squares  assumptions  bias  consistency 

我正在做决策树作业，我必须回答的问题之一是：“为什么从树中建立的估算器有偏见，而装袋如何帮助减少它们的差异？”。 现在，我知道过度拟合的模型倾向于具有非常低的偏差，因为它们试图拟合所有数据点。而且，我用Python编写了一个脚本，该脚本将树拟合到某些数据集（具有一个功能。它只是一个正弦曲线，带有一些偏离点，如下图所示）。因此，我想知道“好吧，如果我再次过度拟合数据，是否可以将偏差设为零？”。而且，事实证明，即使深度为10000，仍然有一些点无法通过曲线。 我尝试搜索原因，但找不到真正的解释。我猜想可能有些树可以完美地贯穿所有要点，而我得到的只是“运气不好”。或不同的数据集可能给了我无偏见的结果（也许是完美的正弦曲线？）。甚至可以说，也许在一开始就进行了切割，所以进一步切割不可能完全分离所有要点。 因此，考虑到此数据集（由于其他数据集可能有所不同），我的问题是：是否可能使树过度拟合到偏差变为零的点，或者是否总是会有一些偏差，即使实际上小？如果总是至少存在一些偏见，为什么会发生？ PS我不知道它是否可能相关，但是我使用DecisionTreeRegressorfrom sklearn将模型拟合到数据中。

9 cart  bias 

在本文中（仅使用误差对比度进行方差分量的贝叶斯推断，Harville，1974年），作者声称 成为“众所周知的线性回归 其中 （y- Xβ）′H− 1（y- Xβ）= （y- Xβ^）′H− 1（y- Xβ^）+ （β- β^）′（X′H− 1X）（β- β^）（ÿ-Xβ）′H-1个（ÿ-Xβ）=（ÿ-Xβ^）′H-1个（ÿ-Xβ^）+（β-β^）′（X′H-1个X）（β-β^）(y-X\beta)'H^{-1}(y-X\beta)=(y-X\hat\beta)'H^{-1}(y-X\hat\beta)+(\beta-\hat\beta)'(X'H^{-1}X)(\beta-\hat\beta)ε 〜ñÿ= Xβ+ϵ,y=Xβ+ϵ,y=X\beta+\epsilon,ϵ∼N(0,H).ϵ∼N(0,H).\epsilon\sim\mathcal{N}(0, H). 这个怎么知名的？证明这一点的最简单方法是什么？

9 regression  regression-coefficients  heteroscedasticity  bias  linear-algebra 

《统计学习的元素》（在线提供PDF版本）讨论了最佳偏差（7.21，第229页）。它指出，乐观偏差是训练误差与样本误差（如果我们在每个原始训练点采样新的结果值时观察到的误差）之间的差（见下）。 接下来，它声明这种乐观偏差（）等于我们的估计y值与实际y值的协方差（公式如下）。我很难理解为什么这个公式表示乐观偏见。天真的，我会认为实际与预测之间的强协方差仅描述准确性，而不是乐观。让我知道是否有人可以帮助您推导公式或分享直觉。 ωω\omegayyyyyy

9 error  bias  validation 

是否有任何方法可以纠正由非随机选择的样本引起的Cox比例风险模型中的偏差（类似于Heckman校正）？ 背景：可以 说情况如下： -在最初的两年中，所有客户都被接受。 -两年后，建立了Cox PH模型。模型预测客户将使用我们的服务多长时间。 -根据公司的政策，从现在开始，只有生存3个月大于0.5的客户被接受，其他客户则被拒绝。 -再过两年，需要建立一个新模型。问题在于我们仅将目标客户指定为接受的客户，并且仅使用这些客户可能会导致一些严重的偏差。

9 bias  cox-model