Questions tagged «regression»

如果省略了同时影响和变量，则在上的回归不必是因果的。但是，如果不是因为遗漏变量和测量误差，是否存在回归因果关系？也就是说，回归中是否包括所有可能的变量？ÿyyXxxXxxÿyy

13 regression  bias  causality 

我正在阅读《统计学习的元素》一书中有关最佳子集选择的内容。如果我有3个预测变量，则创建个子集：2 3 = 8x1,x2,x3x1,x2,x3x_1,x_2,x_323=823=82^3=8 无预测子集 具有预测变量子集x1x1x_1 具有预测变量子集x2x2x_2 具有预测值子集x3x3x_3 具有预测变量子集x1,x2x1,x2x_1,x_2 具有预测变量子集x1,x3x1,x3x_1,x_3 具有预测变量子集X2，X3x2,x3x_2,x_3 具有预测变量子集X1个，X2，X3x1,x2,x3x_1,x_2,x_3 然后，我在测试数据上测试所有这些模型，以选择最佳模型。 现在我的问题是为什么与套索相比，最好的子集选择不受欢迎？ 如果我比较最佳子集和套索的阈值函数，我会看到最佳子集将某些系数设置为零，例如套索。但是，其他系数（非零）仍将具有ols值，它们将是无偏的。而在套索中，一些系数将为零，而其他系数（非零）将具有一些偏差。下图更好地显示了它： 从图片中，最佳子集情况下的红线部分位于灰色部分。另一部分位于x轴上，其中某些系数为零。灰线定义了无偏解。在套索中，引入了一些偏差。从该图可以看出，最好的子集比套索更好！使用最佳子集的缺点是什么？λλ\lambda

13 regression  feature-selection  lasso  bias-variance-tradeoff 

最近，我不得不阅读几篇经济学方面的论文（我不太熟悉这一领域）。我注意到的一件事是，即使响应变量是二进制的，使用OLS拟合的线性回归模型也无处不在。因此，我的问题是： 为什么在经济学领域，线性回归优于逻辑回归？这是简单的普遍做法，还是（在论文，教师等中）积极倡导的程序？ 请注意，我并不是在问为什么将线性回归与二元响应一起使用可能不是一个好主意，或者是什么替代方法。相反，我问为什么人们在这种情况下使用线性回归，因为我知道这两个问题的答案。

13 regression  logistic  econometrics 

我正在阅读有关大规模回归（link）的问题，whuber指出了一个有趣的观点，如下所示： “几乎所有运行的统计测试都将非常强大，以至于几乎可以确定“显着”的影响。您必须更加关注统计的重要性，例如影响的大小，而不是重要性。” ---胡布 我想知道这是可以证明的东西还是在实践中只是一些常见现象？ 任何指向证明/讨论/模拟的指针都将非常有用。

13 regression  statistical-significance 

一个规范是唯一的（至少部分），因为是在间非凸和凸的边界。一个范数是“最稀疏”凸模（右？）。 p = 1 L 1L1L1L_1p=1p=1p=1L1L1L_1 我了解欧几里得范数源于几何，当维数具有相同单位时，它具有清晰的解释。但是我不明白为什么它优先于其他实数：？吗？为什么不将整个连续范围用作超参数？p > 1 p = 1.5 p = πp=2p=2p=2p>1p>1p>1p=1.5p=1.5p=1.5p=πp=πp=\pi 我想念什么？

13 regression  regularization  sparse 

我知道线性回归中的响应变量必须是连续的，但是为什么会这样呢？我似乎无法在网上找到任何东西来解释为什么我不能将离散数据用于响应变量。

13 regression  linear 

我从事回归分析解释的工作很少，但是我对r，r平方和残差标准偏差的含义感到非常困惑。我知道定义： 表征 r测量散点图上两个变量之间线性关系的强度和方向 R平方是数据与拟合回归线的接近程度的统计量度。 残留标准偏差是用于描述围绕线性函数形成的点的标准偏差的统计术语，并且是对被测量因变量的准确性的估计。（不知道单位是什么，这里有关单位的任何信息都将有所帮助） （来源：此处） 问题 尽管我“理解”了这些特征，但我确实理解了这些术语如何共同得出关于数据集的结论。我将在此处插入一个小示例，也许这可以作为回答我的问题的指南（随时使用您自己的示例！） 示例 这不是howework问题，但是我在书中进行搜索以获得一个简单示例（我正在分析的当前数据集过于复杂和庞大，无法在此处显示） 在一个大玉米田中随机选择了20个地块，每个地块10 x 4米。对于每个样地，观察植物密度（样地中的植物数量）和平均穗轴重量（每穗轴的谷物克数）。下表给出了结果：（来源：生命科学统计） ╔═══════════════╦════════════╦══╗ ║ Platn density ║ Cob weight ║ ║ ╠═══════════════╬════════════╬══╣ ║ 137 ║ 212 ║ ║ ║ 107 ║ 241 ║ ║ ║ 132 ║ 215 ║ ║ ║ 135 ║ 225 ║ ║ ║ 115 ║ …

13 r  regression  regression-coefficients  linear  pearson-r 

给定两个随机变量和我们可以计算它们的“相关系数”，并在这两个随机变量之间形成最佳拟合线。我的问题是为什么？η Çξξ\xiηη\etaCcc 1）有随机变量和以最坏的方式依赖，即且尽管。如果只考虑线性回归，那么人们将完全不知道这一点。η ξ = ˚F （η ）C ^ = 0ξξ\xiηη\etaξ= f（η）ξ=f(η)\xi = f(\eta)c = 0c=0c=0 2）为什么要线性？随机变量之间还可以存在其他类型的关系。为什么要从其他所有人中选出那个？

13 regression 

在Bishop的机器学习书中，它讨论了将多项式函数曲线拟合到一组数据点的问题。 令M为多项式拟合的阶数。它指出 我们看到，随着M的增加，系数的大小通常会变大。特别是对于M = 9的多项式，通过产生较大的正值和负值，系数已经微调到数据，因此相应的多项式函数恰好与每个数据点匹配，但与数据点之间（尤其是在数据点的末端附近）匹配范围）功能显示出较大的振荡。 我不明白为什么大值意味着更紧密地拟合数据点。我认为这些值会在小数点后变得更精确，而不是为了更好地拟合。

13 regression  least-squares  curve-fitting  polynomial 

在在大气科学的统计方法，丹尼尔·威尔克斯指出，多元线性回归可以，如果有该预测结果中很强的互关联（第3版，559-560页）导致的问题： 多重线性回归中可能出现的一种病理现象是，一组具有强互相关性的预测变量会导致计算不稳定的回归关系。 （...） 然后，他介绍了主成分回归： 解决此问题的方法是先将预测变量转换为其主成分，其相关系数为零。 到目前为止，一切都很好。但是接下来，他发表了一些他不解释的声明（或者至少没有足够详细的信息让我理解）： 如果所有主成分都保留在主成分回归中，则与整个预测变量集的常规最小二乘拟合没有任何关系。 （..）和： 可以根据原始预测变量重新表达主成分回归，但是即使只使用了一个或几个主成分预测变量，结果通常也将包含所有原始预测变量。尽管通常方差要小得多，但这种重构的回归将是有偏差的，从而导致总体MSE较小。 我不明白这两点。 当然，如果保留了所有主要成分，我们将使用与在原始空间中使用预测变量时相同的信息。但是，通过在主成分空间中进行操作，可以消除互相关的问题。我们可能仍然过拟合，但这是唯一的问题吗？为什么什么都得不到？ 其次，即使我们确实截断了主要成分（也许是为了降低噪声和/或防止过度拟合），为什么以及如何导致偏向的重构回归？偏向哪种方式？ 本书出处：Daniel S. Wilks，《大气科学中的统计方法》，第三版，2011年。《国际地球物理学丛书》第100卷，学术出版社。

13 regression  pca  bias 

一个令人尴尬的简单问题-但似乎之前尚未在Cross Validated上问过： 回归模型的定义是什么？ 还有一个支持问题 什么不是回归模型？ 关于后者，我对棘手的示例感兴趣，这些示例的答案不是立即显而易见的，例如ARIMA或GARCH。

13 regression  linear-model  model  terminology  definition 

这个问题的灵感来自长期的评论讨论： 线性回归如何使用正态分布？ 在通常的线性回归模型中，为了简单此处写入只有一个预测器： ÿ一世= β0+ β1个X一世+ ϵ一世Yi=β0+β1xi+ϵi Y_i = \beta_0 + \beta_1 x_i + \epsilon_i 其中X一世xix_i是已知的常数，ϵ一世ϵi\epsilon_i是零均值独立误差项。如果我们除了承担的误差正态分布，则通常的最小二乘估计和最大似然估计β0，β1个β0,β1\beta_0, \beta_1是相同的。 因此，我的问题很简单：误差项是否存在其他分布，以使mle与普通最小二乘方估计量相同？一种含义很容易显示，另一种则不然。

13 regression  normal-distribution  mathematical-statistics  maximum-likelihood  least-squares 

什么是偏F统计量？这和部分F检验一样吗？什么时候计算偏F统计量？我假设这与比较回归模型有关，但是我没有关注（？）

13 regression  multiple-regression 

我正在研究“误差中的误差”模型的一些句法数据，以进行一些研究。目前，我只有一个自变量，并且假设我知道因变量的真实值的方差。 因此，利用这些信息，我可以实现因变量系数的无偏估计。 该模型： Ŷ=0.5X-10+ë2其中： ë1〜Ñ（0，σ2）对于一些σë2〜Ñ（0，1x~=x+e1x~=x+e1\tilde{x} = x + e_1 y=0.5x−10+e2y=0.5x−10+e2y = 0.5x -10 + e_2 e1~N(0,σ2)e1~N(0,σ2)e_1\text{~}N(0,\sigma^2)σσ\sigma e2~N(0,1)e2~N(0,1)e_2\text{~}N(0,1) 其中的值是已知的对于每个样品只，并且还的实际价值的标准偏差X为已知样品：σ Xy,x~y,x~y,\tilde{x}xxxσxσx\sigma_x。 我得到的偏向（β使用OLS，然后进行使用调整）系数：β^β^\hat{\beta} β′= β^* σ^2X〜σ2Xβ′=β^∗σ^x~2σx2\beta' = \hat{\beta} * \frac{\hat{\sigma}_\tilde{x}^2}{\sigma_x^2} 我看到，使用该模型，新的系数的无偏估计器要好得多（更接近于实际值），但是MSE比使用有偏估计器要差得多。 怎么了？我期望一个普遍的估计器会比有偏估计器产生更好的结果。 Matlab代码： reg_mse_agg = []; fixed_mse_agg = []; varMult = 1; numTests = 60; for dataNumber=1:8 reg_mses = []; fixed_mses = []; …

13 regression  matlab  unbiased-estimator  errors-in-variables 

在模型y=Xβ+ϵy=Xβ+ϵ{y} = X \beta + \epsilon，我们可以使用正态方程估算ββ\beta： β^=(X′X)−1X′y,β^=(X′X)−1X′y,\hat{\beta} = (X'X)^{-1}X'y,我们可以得到y^=Xβ^.y^=Xβ^.\hat{y} = X \hat{\beta}. 残差向量可通过 ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,ϵ^=y−Xβ^=(I−X(X′X)−1X′)y=Qy=Q(Xβ+ϵ)=Qϵ,\hat{\epsilon} = y - X \hat{\beta} = (I - X (X'X)^{-1} X') y = Q y = Q (X \beta + \epsilon) = Q \epsilon, 其中Q=I−X(X′X)−1X′.Q=I−X(X′X)−1X′.Q = I - X (X'X)^{-1} X'. 我的问题是如何得出\ textrm {tr}（Q）= n-p的结论tr(Q)=n−p.tr(Q)=n−p.\textrm{tr}(Q) = …

13 regression  least-squares  inference