Questions tagged «shrinkage»

我正在寻找套索的非技术定义及其用途。

81 regression  lasso  regularization  shrinkage 

考虑以下三种现象。 斯坦因悖论：给定一些来自多元正态分布的数据，样本均值并不是真实均值的很好估计。如果将样本均值的所有坐标都缩小为零（或者如果我理解正确的话，实际上是缩小为任何值），则可以获得具有较低均方误差的估计。Rn,n≥3Rn,n≥3\mathbb R^n, \: n\ge 3 注意：通常斯坦因悖论是通过仅考虑单个数据点而得出的；如果这很关键并且我上面的说法不正确，请纠正我。RnRn\mathbb R^n Ridge回归：给定一些因变量和一些自变量，标准回归趋于过度拟合数据并导致糟糕的样本外性能。通常可以通过将缩小为零来减少过度拟合：。X β = （X ⊤ X ）- 1 X ⊤ Ŷ β β = （X ⊤ X + λ 我）- 1 X ⊤ ÿyy\mathbf yXX\mathbf Xβ=(X⊤X)−1X⊤yβ=(X⊤X)−1X⊤y\beta = (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf yββ\betaβ=(X⊤X+λI)−1X⊤yβ=(X⊤X+λI)−1X⊤y\beta = (\mathbf X^\top \mathbf X + \lambda …

64 regression  mixed-model  ridge-regression  shrinkage  steins-phenomenon 

假期的来临使我有机会借助“统计学习的要素”在火炉旁next 缩。从计量经济学的角度来看，我在掌握收缩方法（如岭回归，套索和最小角度回归（LAR））的使用方面遇到了麻烦。通常，我对参数估计值本身以及实现无偏见或至少一致感兴趣。收缩方法不能做到这一点。 在我看来，当统计人员担心回归函数对预测变量过于敏感时，会使用这些方法，因为它认为预测变量比实际更为重要（通过系数的大小来衡量）。换句话说，过度拟合。 但是，OLS通常会提供无偏且一致的估计。（脚注）我一直认为过拟合的问题不是给出太大的估计，而是给出过小的置信区间，因为未考虑选择过程（ ESL提到了后者。 无偏/一致的系数估计会导致对结果的无偏/一致的预测。收缩方法使预测比OLS更接近平均结果，似乎在桌上留下了信息。 重申一下，我没有看到收缩方法试图解决什么问题。我想念什么吗？ 脚注：我们需要完整的列级条件来识别系数。误差的外生性/零条件均值假设和线性条件期望假设决定了我们可以对系数进行的解释，但是即使这些假设不成立，我们也可以得到无偏或一致的估计值。

61 lasso  ridge-regression  shrinkage  lars 

据我所知，岭回归估计是ββ\beta最小化上的大小的平方残余总和和惩罚ββ\beta βridge=(λID+X′X)−1X′y=argmin[RSS+λ∥β∥22]βridge=(λID+X′X)−1X′y=argmin⁡[RSS+λ‖β‖22]\beta_\mathrm{ridge} = (\lambda I_D + X'X)^{-1}X'y = \operatorname{argmin}\big[ \text{RSS} + \lambda \|\beta\|^2_2\big] 但是，我不完全理解与不同的事实的重要性，因为它仅向的对角线添加一个小常数。确实，β OLS X ' Xβridgeβridge\beta_\text{ridge}βOLSβOLS\beta_\text{OLS}X′XX′XX'X βOLS=(X′X)−1X′yβOLS=(X′X)−1X′y\beta_\text{OLS} = (X'X)^{-1}X'y 我的书中提到，这使估算值在数值上更稳定-为什么？ 数值稳定性与向岭估计值的趋近于0的收缩有关还是仅仅是巧合？

59 regression  least-squares  ridge-regression  shrinkage 

为了解决模型选择的问题，许多方法（LASSO，岭回归等）会将预测变量的系数缩​​小为零。我正在寻找一个直观的解释，为什么这会提高预测能力。如果变量的真实影响实际上很大，为什么不缩小参数会导致更糟的预测呢？

55 lasso  regularization  ridge-regression  intuition  shrinkage 

考虑一个具有预测变量和样本大小旧回归问题。通常的看法是，OLS估计量将过拟合，并且通常会比岭回归估计量好：通常使用交叉验证来找到最佳正则化参数。在这里，我使用10倍CV。澄清更新：当，通过“ OLS估计器”，我理解给出的“最小范数OLS估计器”pppβ = （X ⊤ X + λ 我）- 1 X ⊤ ÿ 。λ Ñ &lt; p β OLS = （X ⊤ X ）+ X ⊤ Ŷ = X + ý 。nnnβ^=(X⊤X+λI)−1X⊤y.β^=(X⊤X+λI)−1X⊤y.\hat\beta = (X^\top X + \lambda I)^{-1}X^\top y.λλ\lambdan&lt;pn&lt;pn1000yyyp=50&lt;np=50&lt;np=50npppp=1000p=1000p=1000λ→0λ→0\lambda\to 0与最佳岭回归效果一样好。λλ\lambda 这怎么可能？它对我的数据集有何影响？我是否遗漏了一些明显的东西，或者确实违反直觉？假设和都大于，则在质上有什么区别？p = 1000 np=100p=100p=100p=1000p=1000p=1000nnn 在什么条件下最小范数OLS解决方案不会过拟合？n&lt;pn&lt;pn<p 更新：注释中有些令人难以置信，因此这是使用的可复制示例glmnet。我使用Python，但是R用户可以轻松修改代码。 %matplotlib notebook import numpy …

50 cross-validation  regularization  overfitting  ridge-regression  shrinkage 

调整后的R平方在R中使用的确切公式是什么lm() ？我该怎么解释？ 调整后的r平方公式 似乎存在一些公式来计算调整后的R平方。 Wherry的公式：1−(1−R2)(n−1)(n−v)1−(1−R2)(n−1)(n−v)1-(1-R^2)\frac{(n-1)}{(n-v)} 麦克尼马尔公式：1−(1−R2)(n−1)(n−v−1)1−(1−R2)(n−1)(n−v−1)1-(1-R^2)\frac{(n-1)}{(n-v-1)} 洛德公式：1−(1−R2)(n+v−1)(n−v−1)1−(1−R2)(n+v−1)(n−v−1)1-(1-R^2)\frac{(n+v-1)}{(n-v-1)} 斯坦因公式：1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1−[(n−1)(n−k−1)(n−2)(n−k−2)(n+1)n](1−R2)1-\big[\frac{(n-1)}{(n-k-1)}\frac{(n-2)}{(n-k-2)}\frac{(n+1)}{n}\big](1-R^2) 教科书说明 根据菲尔德的教科书《使用R发现统计信息》（2012年，第273页），R使用了Wherry方程，“告诉我们如果该模型是从采样样本中得出的，则Y可以解释多少差异”。他没有给出Wherry的配方。他建议（手动）使用Stein的公式来检查模型的交叉验证程度。 Kleiber / Zeileis，《应用计量经济学与R》（2008年，第59页）声称它是“ Theil的R平方调整后的值”，并且没有确切说明其解释与多个R平方的差异。 Dalgaard在Introductory Statistics with R（2008，p。113）中写道：“如果[调整后的R平方]乘以100％，则可以解释为'％方差减少'”。他没有说这对应哪个公式。 我以前曾想并广泛地读到R平方会给模型增加其他变量而受到惩罚。现在，使用这些不同的公式似乎需要不同的解释。我还研究了有关堆栈溢出的一个相关问题（在单变量最小二乘回归中，多个R平方和调整R平方之间有什么区别？），以及UPenn的Wharton学校统计词典。 问题 哪个公式用于通过R调整的r平方 lm()？ 我该怎么解释？

35 r  regression  r-squared  lm  shrinkage 

我已经了解了在进行诸如Lasso回归之类的操作之前标准化变量的三个主要原因： 1）系数的可解释性。 2）能够根据收缩后系数估计值的相对大小对系数重要性进行排名。 3）无需拦截。 但是我想知道最重要的一点。我们是否有理由认为标准化会改善模型的样本外推广？而且我不在乎我是否不需要模型中的拦截器。加一个不会伤害我。

28 normalization  lasso  standardization  regularization  shrinkage 

L=1n∥∥y−Xβ∥∥2+λ1∥β∥1+λ2∥β∥22,L=1n‖y−Xβ‖2+λ1‖β‖1+λ2‖β‖22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗=(1+λ2)β^.β^∗=(1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. 但是，随后的glmnet论文Friedman，Hastie，＆Tibshirani（2010）通过坐标下降的广义线性模型的正则化路径没有使用这种重新缩放，只是有一个简短的脚注说 Zou和Hastie（2005）将此惩罚称为幼稚的弹性网，并且更喜欢重新缩放的版本，他们称之为弹性网。我们在这里放弃这种区别。 那里（或在Hastie等人的任何教科书中）没有给出进一步的解释。我觉得有些困惑。难道作者离开了重新调节，因为他们认为这是过于特设？因为它在一些进一步的实验中表现更差？因为不清楚如何将其归纳为GLM案例？我不知道。但是无论如何，此glmnet软件包从那时起变得非常受欢迎，所以我的印象是，如今没有人使用Zou＆Hastie的重新缩放，并且大多数人甚至都没有意识到这种可能性。 问题：毕竟，这是一个好主意还是一个坏主意？ 使用glmnet参数化后，Zou＆Hastie重缩放比例应为β^∗=(1+λ(1−α))β^.β^∗=(1+λ(1−α))β^.\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta.

27 regression  regularization  glmnet  elastic-net  shrinkage 

我曾经听过两次使用套索的方法（如双套索），在这种方法中，对原始变量集（例如S1）执行套索，获得稀疏集S2，然后再次对集合S2执行套索以获得集合S3 。为此有方法论上的术语吗？另外，做套索两次有什么好处？

26 regression  lasso  regularization  shrinkage  lars 

LASSO回归将系数缩小为零，从而有效地提供了模型选择。我相信在我的数据中，名义协变量和连续协变量之间存在有意义的相互作用。但是，真实模型的“主要影响”不一定有意义（非零）。当然我不知道，因为真正的模型是未知的。我的目标是找到真实的模型并尽可能地预测结果。 我了解到，在建立交互之前，经典的建模方法总是会包含主要效果。因此，如果在同一模型中存在协变量的交互作用，那么就不会有没有两个协变量和的主效应的模型。因此，该功能会 仔细选择模型术语（例如，基于后向或前向AIC）以遵守该规则。XXXžžZX* ZX∗žX*ZstepR LASSO的工作方式似乎有所不同。由于所有参数都是不利的，因此毫无疑问会发生这样的情况，即主效应缩小为零，而最佳（例如，交叉验证）模型的交互作用为非零。这是我特别为我的数据发现当使用R的glmnet软件包。 我收到了基于上面引用的第一条规则的批评，即，我最终的交叉验证的套索模型不包括一些非零交互的相应主效应项。但是，在这种情况下，此规则似乎有些奇怪。最终的问题是真实模型中的参数是否为零。假设它是，但交互作用为非零，则LASSO可能会识别出这一点，从而找到正确的模型。实际上，由于该模型不包含真正为零的主效应（实际上是噪声变量），因此根据该模型进行的预测似乎更为精确。 我是否可以基于此理由驳斥批评，还是应该采取一些预防措施，使LASSO在交互作用术语之前确实包含主要作用？

25 machine-learning  lasso  glmnet  shrinkage  penalized 

对于线性模型，收缩项始终为。P （β ）ÿ= β0+ X β+ εy=β0+xβ+εy=\beta_0+x\beta+\varepsilonP（β）P(β)P(\beta) 我们不缩小偏差（拦截）项的原因是什么？我们是否应该在神经网络模型中缩小偏差项？β0β0\beta_0

21 regression  neural-networks  ridge-regression  intercept  shrinkage 

精度定义为： p = true positives / (true positives + false positives) 对不对，作为true positives和false positives做法0，精度接近1？ 召回相同的问题： r = true positives / (true positives + false negatives) 我目前正在实施统计测试，需要计算这些值，有时分母为0，我想知道在这种情况下应返回哪个值。 PS：请原谅，不恰当的标签，我想用recall，precision和limit，但我不能创造新的标签呢。

20 precision-recall  data-visualization  logarithm  references  r  networks  data-visualization  standard-deviation  probability  binomial  negative-binomial  r  categorical-data  aggregation  plyr  survival  python  regression  r  t-test  bayesian  logistic  data-transformation  confidence-interval  t-test  interpretation  distributions  data-visualization  pca  genetics  r  finance  maximum  probability  standard-deviation  probability  r  information-theory  references  computational-statistics  computing  references  engineering-statistics  t-test  hypothesis-testing  independence  definition  r  censoring  negative-binomial  poisson-distribution  variance  mixed-model  correlation  intraclass-correlation  aggregation  interpretation  effect-size  hypothesis-testing  goodness-of-fit  normality-assumption  small-sample  distributions  regression  normality-assumption  t-test  anova  confidence-interval  z-statistic  finance  hypothesis-testing  mean  model-selection  information-geometry  bayesian  frequentist  terminology  type-i-and-ii-errors  cross-validation  smoothing  splines  data-transformation  normality-assumption  variance-stabilizing  r  spss  stata  python  correlation  logistic  logit  link-function  regression  predictor  pca  factor-analysis  r  bayesian  maximum-likelihood  mcmc  conditional-probability  statistical-significance  chi-squared  proportion  estimation  error  shrinkage  application  steins-phenomenon 

我一直在阅读有关James-Stein估计器的信息。在本注释中，其定义为 θ^=(1−p−2∥X∥2)Xθ^=(1−p−2‖X‖2)X \hat{\theta}=\left(1 - \frac{p-2}{\|X\|^2}\right)X 我已经阅读了证明，但不理解以下说法： 在几何上，James–Stein估计器将每个分量向原点方向收缩。XXX “将每个分量缩小到原点”到底是什么意思？我在想类似 在这种情况下，只要，因为 XXX∥θ^−0∥2&lt;∥X−0∥2,‖θ^−0‖2&lt;‖X−0‖2,\|\hat{\theta} - 0\|^2 < \|X - 0\|^2,(p+2)&lt;∥X∥2(p+2)&lt;‖X‖2(p+2) < \|X\|^2∥θ^∥=∥X∥2−(p+2)∥X∥2∥X∥.‖θ^‖=‖X‖2−(p+2)‖X‖2‖X‖.\|\hat{\theta}\| = \frac{\|X\|^2 - (p+2)}{\|X\|^2} \|X\|. 人们说“缩小为零”是什么意思，因为从范式来看，JS估计量比X更接近零？L2L2L^2XXX 截至2017年9月22日的更新：今天我意识到也许我使事情变得过于复杂。似乎人们真的是说，一旦将乘以小于，即，X的每个分量都将比以前小。1 ‖ X ‖ 2 - （p + 2 ）XXX111 X∥X∥2−(p+2)∥X∥2‖X‖2−(p+2)‖X‖2\frac{\|X\|^2 - (p + 2)}{\|X\|^2}XXX

19 estimation  terminology  shrinkage  steins-phenomenon 

在1977年《科学美国人》的布拉德利·埃夫隆（Bradley Efron）和卡尔·莫里斯（Carl Morris）发表的“统计中的斯坦因悖论”一文中，我对计算詹姆斯-斯坦因收缩因子有疑问。 我收集了棒球选手的数据，数据如下： Name, avg45, avgSeason Clemente, 0.400, 0.346 Robinson, 0.378, 0.298 Howard, 0.356, 0.276 Johnstone, 0.333, 0.222 Berry, 0.311, 0.273 Spencer, 0.311, 0.270 Kessinger, 0.289, 0.263 Alvarado, 0.267, 0.210 Santo, 0.244, 0.269 Swoboda, 0.244, 0.230 Unser, 0.222, 0.264 Williams, 0.222, 0.256 Scott, 0.222, 0.303 Petrocelli, 0.222, 0.264 Rodriguez, …

18 estimation  shrinkage  steins-phenomenon