Questions tagged «regression»

用于分析一个(或多个)“因变量”和“因变量”之间的关系的技术。



2
线性回归中预测值的置信区间形状
我注意到,线性回归中预测值的置信区间在预测器的平均值附近趋于狭窄,在预测器的最小值和最大值附近趋于胖。这可以从以下4个线性回归的图中看出: 我最初认为这是因为大多数预测变量的值都集中在预测变量的均值附近。但是,我然后注意到,即使许多的值集中在预测变量的极值附近,也会出现置信区间的狭窄中间,如左下方线性回归所示,预测变量的哪些值集中在预测值的最小值附近。预测变量。 有谁能解释为什么线性回归预测值的置信区间在中间趋于狭窄而在极端处趋于肥胖?

7
在回归模型中,所有交互项都需要它们各自的项吗?
我实际上正在审阅作者将5-6 logit回归模型与AIC进行比较的手稿。但是,某些模型具有交互项,但不包括各个协变量项。这样做有意义吗? 例如(不特定于logit模型): M1: Y = X1 + X2 + X1*X2 M2: Y = X1 + X2 M3: Y = X1 + X1*X2 (missing X2) M4: Y = X2 + X1*X2 (missing X1) M5: Y = X1*X2 (missing X1 & X2) 我一直给人的印象是,如果您有交互项X1 * X2,则还需要X1 + X2。因此,模型1和2会很好,但模型3-5会有问题(即使AIC较低)。这个对吗?它是准则还是更多准则?有没有人有很好的参考资料来解释其背后的原因?我只是想确保我不会在评价中传达任何重要信息。 谢谢您的任何想法,丹

10
外推有什么问题?
我记得在统计课上读本科时曾听说过为什么外推是个坏主意。此外,在线上有各种来源对此发表了评论。还有它一提这里。 谁能帮我理解为什么外推是个坏主意?如果是这样,那么预测技术在统计上不是无效吗?

1
什么相关使矩阵奇异?奇异或接近奇异意味着什么?
我在不同的矩阵上进行一些计算(主要是在逻辑回归中),并且通常会收到错误“矩阵是奇异的”,我必须返回并删除相关变量。我的问题是,您认为“高度”相关的矩阵是什么?有相关阈值来表示这个词吗?就像某个变量与另一个变量相关联是0.97一样,这是否足以使矩阵奇异? 如果问题很基本,我很抱歉,我找不到任何谈论此问题的参考文献(对任何参考文献的提示将是一个很大的加分!)。

5
关于收缩的统一观点:斯坦因悖论,岭回归和混合模型中的随机效应之间有什么关系(如果有)?
考虑以下三种现象。 斯坦因悖论:给定一些来自多元正态分布的数据,样本均值并不是真实均值的很好估计。如果将样本均值的所有坐标都缩小为零(或者如果我理解正确的话,实际上是缩小为任何值),则可以获得具有较低均方误差的估计。Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 注意:通常斯坦因悖论是通过仅考虑单个数据点而得出的;如果这很关键并且我上面的说法不正确,请纠正我。RnRn\mathbb R^n Ridge回归:给定一些因变量和一些自变量,标准回归趋于过度拟合数据并导致糟糕的样本外性能。通常可以通过将缩小为零来减少过度拟合:。X β = (X ⊤ X )- 1 X ⊤ Ŷ β β = (X ⊤ X + λ 我)- 1 X ⊤ ÿyy\mathbf yXX\mathbf Xβ=(X⊤X)−1X⊤yβ=(X⊤X)−1X⊤y\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf yββ\betaβ=(X⊤X+λI)−1X⊤yβ=(X⊤X+λI)−1X⊤y\beta = (\mathbf X^\top \mathbf X + \lambda …

4
如何添加第二IV才能使第一IV重要?
我可能有一个简单的问题,但是现在让我感到困惑,所以希望您能帮助我。 我有一个最小二乘回归模型,其中有一个自变量和一个因变量。关系并不重要。现在,我添加第二个自变量。现在,第一个自变量和因变量之间的关系变得很重要。 这是如何运作的?这可能表明我的理解存在一些问题,但是对我而言,但我看不到添加第二个独立变量如何使第一个有意义。


7
具有多个因变量的回归?
是否可能有一个(多个)具有两个或多个因变量的回归方程?当然,您可以运行两个单独的回归方程,每个DV对应一个回归方程,但这似乎无法捕获两个DV之间的任何关系?
61 regression 



3
为什么通过向对角线添加一个常数来使岭估计比OLS更好?
据我所知,岭回归估计是ββ\beta最小化上的大小的平方残余总和和惩罚ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] 但是,我不完全理解与不同的事实的重要性,因为它仅向的对角线添加一个小常数。确实,β OLS X ' Xβridgeβridge\beta_\text{ridge}βOLSβOLS\beta_\text{OLS}X′XX′XX'X βOLS=(X′X)−1X′yβOLS=(X′X)−1X′y\beta_\text{OLS} = (X'X)^{-1}X'y 我的书中提到,这使估算值在数值上更稳定-为什么? 数值稳定性与向岭估计值的趋近于0的收缩有关还是仅仅是巧合?

6
分解类别变量具有多个级别的原则方法?
有哪些技术可用于将多个类别折叠(或合并)成几个类别,以便在统计模型中将它们用作输入(预测变量)? 考虑像大学生专业这样的变量(由本科生选择的学科)。它是无序的和绝对的,但它可能具有许多不同的层次。假设我想在回归模型中使用major作为预测变量。 按原样使用这些级别进行建模会导致各种问题,因为存在的问题太多了。使用它们会丢弃很多统计精度,并且结果难以解释。我们很少对特定专业感兴趣-我们更可能对广泛的专业类别(子组)感兴趣。但是,并不总是很清楚如何将这些级别划分为这些更高级别的类别,或者甚至要使用多少个更高级别的类别。 对于典型数据,我很乐意使用因子分析,矩阵分解或离散的潜在建模技术。但是专业是互斥的类别,因此我不愿意在任何事情上利用它们的协方差。 此外,我自己并不关心主要类别。我关心产生与我的回归结果相关的更高层次的类别。在二元结果的情况下,对我而言,这建议使用诸如线性判别分析(LDA)之类的方法来生成可最大化判别性能的高级类别。但是LDA是一种受限制的技术,感觉像是肮脏的数据正在挖给我。而且,任何连续的解决方案都将难以解释。 同时,在这种情况下,基于协方差的东西(如多重对应分析(MCA))在我看来是令人怀疑的,因为互斥的虚拟变量之间存在内在的依赖关系-它们更适合用于研究多个类别变量,而不是研究多个类别变量相同的变量。 编辑:要清楚,这是关于折叠类别(不选择它们),并且类别是预测变量或自变量。事后看来,这个问题似乎是“正规化所有事物并让上帝整理出它们的合适时机”。很高兴看到这个问题对很多人都感兴趣!


By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.