Questions tagged «regression»

L=1n∥∥y−Xβ∥∥2+λ1∥β∥1+λ2∥β∥22,L=1n‖y−Xβ‖2+λ1‖β‖1+λ2‖β‖22,\mathcal L = \frac{1}{n}\big\lVert y - X\beta\big\rVert^2 + \lambda_1\lVert \beta\rVert_1 + \lambda_2 \lVert \beta\rVert^2_2,β^∗=(1+λ2)β^.β^∗=(1+λ2)β^.\hat\beta^* = (1+\lambda_2)\hat\beta. 但是，随后的glmnet论文Friedman，Hastie，＆Tibshirani（2010）通过坐标下降的广义线性模型的正则化路径没有使用这种重新缩放，只是有一个简短的脚注说 Zou和Hastie（2005）将此惩罚称为幼稚的弹性网，并且更喜欢重新缩放的版本，他们称之为弹性网。我们在这里放弃这种区别。 那里（或在Hastie等人的任何教科书中）没有给出进一步的解释。我觉得有些困惑。难道作者离开了重新调节，因为他们认为这是过于特设？因为它在一些进一步的实验中表现更差？因为不清楚如何将其归纳为GLM案例？我不知道。但是无论如何，此glmnet软件包从那时起变得非常受欢迎，所以我的印象是，如今没有人使用Zou＆Hastie的重新缩放，并且大多数人甚至都没有意识到这种可能性。 问题：毕竟，这是一个好主意还是一个坏主意？ 使用glmnet参数化后，Zou＆Hastie重缩放比例应为β^∗=(1+λ(1−α))β^.β^∗=(1+λ(1−α))β^.\hat\beta^* = \big(1+\lambda(1-\alpha)\big)\hat\beta.

27 regression  regularization  glmnet  elastic-net  shrinkage 

当我使用GAM时，它给了我剩余的DF为（代码的最后一行）。这意味着什么？超越GAM示例，通常，自由度可以是非整数吗？26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call: gam(formula = mpg ~ lo(wt), data = mtcars) Deviance Residuals: Min 1Q Median 3Q Max -4.1470 -1.6217 -0.8971 1.2445 6.0516 (Dispersion Parameter for gaussian family taken to be 6.6717) Null Deviance: 1126.047 on 31 degrees of freedom Residual Deviance: 177.4662 on 26.6 degrees of …

27 r  degrees-of-freedom  gam  machine-learning  pca  lasso  probability  self-study  bootstrap  expected-value  regression  machine-learning  linear-model  probability  simulation  random-generation  machine-learning  distributions  svm  libsvm  classification  pca  multivariate-analysis  feature-selection  archaeology  r  regression  dataset  simulation  r  regression  time-series  forecasting  predictive-models  r  mean  sem  lavaan  machine-learning  regularization  regression  conv-neural-network  convolution  classification  deep-learning  conv-neural-network  regression  categorical-data  econometrics  r  confirmatory-factor  scale-invariance  self-study  unbiased-estimator  mse  regression  residuals  sampling  random-variable  sample  probability  random-variable  convergence  r  survival  weibull  references  autocorrelation  hypothesis-testing  distributions  correlation  regression  statistical-significance  regression-coefficients  univariate  categorical-data  chi-squared  regression  machine-learning  multiple-regression  categorical-data  linear-model  pca  factor-analysis  factor-rotation  classification  scikit-learn  logistic  p-value  regression  panel-data  multilevel-analysis  variance  bootstrap  bias  probability  r  distributions  interquartile  time-series  hypothesis-testing  normal-distribution  normality-assumption  kurtosis  arima  panel-data  stata  clustered-standard-errors  machine-learning  optimization  lasso  multivariate-analysis  ancova  machine-learning  cross-validation 

我正在阅读有关非线性回归SAS Non Linear的以下链接。通过阅读第一部分“非线性回归与线性回归”，我的理解是下面的方程实际上是线性回归，对吗？如果可以，为什么？ y=b1x3+b2x2+b3x+cy=b1x3+b2x2+b3x+cy = b_1x^3 + b_2x^2 + b_3x + c 我是否也了解非线性回归中的多重共线性不是问题？我知道多重共线性可能是线性回归中的一个问题，因此，如果上述模型实际上是线性回归，那么肯定会存在多重共线性吗？

27 regression  multiple-regression  nonlinear-regression  multicollinearity 

也许这个问题很幼稚，但是： 如果线性回归与Pearson相关系数密切相关，那么是否有任何与Kendall和Spearman相关系数紧密相关的回归技术？

27 regression  correlation  pearson-r  spearman-rho  kendall-tau 

我正在反思有关该问题的讨论，尤其是弗兰克·哈雷尔（Frank Harrell）的评论，即简化模型（即已测试并拒绝了许多解释变量的模型）中的方差估计应使用Ye的广义自由度。哈雷尔教授指出，与最终模型（其中许多变量已被拒绝）相比，这将更接近原始“完全”模型（包含所有变量）的剩余自由度。 问题1。如果我想对简化模型中的所有标准摘要和统计数据使用适当的方法（但未全面实施广义自由度），一种合理的方法是仅使用来自以下模型的剩余自由度：我的剩余方差估算中的完整模型等？ 问题2。如果上述情况是正确的，并且我想在中进行操作R，那么它可能像设置一样简单 finalModel$df.residual <- fullModel$df.residual 在模型拟合练习中的某个时刻，使用lm（）或类似函数创建了finalModel和fullModel。之后，诸如summary（）和confint（）之类的函数似乎可以与所需的df.residual一起使用，尽管返回的错误消息表明有人显然已经对finalModel对象进行了修改。

27 r  regression  model-selection  regression-strategies 

当我在某些软件包（例如Mathematica）中执行线性回归时，我得到与模型中各个参数关联的p值。例如，产生结果的线性回归的结果将具有与a关联的p值，以及与b关联的p值。ax+bax+bax+baaabbb 这些p值对这些参数分别意味着什么？ 有没有一种通用方法可以为任何回归模型计算参数？ 是否可以将与每个参数关联的p值组合为整个模型的p值？ 为了使这个问题本质上保持数学性质，我仅在概率方面寻求对p值的解释。

27 probability  regression 

我所有的变量都是连续的。没有级别。变量之间是否甚至可能相互作用？

27 regression  modeling  interaction 

我已经在许多参考文献中读取为回归参数向量套索估计相当于后模式，其中，每个所述先验分布是双指数分布（也称为拉普拉斯分布）。BBBBBBBiBiB_i 我一直在试图证明这一点，有人可以充实细节吗？

27 regression  bayesian  lasso  prior  regularization 

大约一年前，我完成了Andrew Ng的机器学习课程，现在正在写我的高中数学探索性知识，介绍Logistic回归的工作原理和优化性能的技术。这些技术之一当然是正则化。 正则化的目的是通过扩展成本函数以包括模型简化的目标来防止过度拟合。我们可以通过将权重的每一个乘以平方，再乘以一些正则化参数，来对权重的大小进行惩罚，从而实现这一目标。 现在，机器学习算法将旨在减小权重的大小，同时保持训练集的准确性。我们的想法是，我们将到达中间的某个点，在这里我们可以生成一个模型，该模型可以对数据进行泛化，而不会因为复杂度降低而无法适应所有随机噪声。 我的困惑是为什么我们要惩罚砝码的大小？为什么较大的权重创建更复杂的模型，为什么较小的权重创建更简单/平滑的模型？吴安德（Andrew Ng）在他的演讲中声称，这种解释很难讲，但我想我现在正在寻找这种解释。 Ng教授确实给出了一个示例，说明新的成本函数如何使要素的权重（即x ^ 3和x ^ 4）趋于零，从而降低了模型的程度，但这并不能创建一个完整的模型。说明。 我的直觉是，具有较小指数的特征将比具有较小指数的特征更易于接受（因为具有较小权重的特征就像函数的基础一样）。较小的权重意味着对高阶特征的较小“贡献”。但是这种直觉不是很具体。

27 regression  machine-learning  optimization  regularization  overfitting 

我正在尝试解决回归任务。我发现3个模型对于不同的数据子集运行良好：LassoLARS，SVR和Gradient Tree Boosting。我注意到，当我使用所有这三个模型进行预测，然后制作“真实输出”和这3个模型的输出的表格时，我看到每次至少有一个模型确实接近真实输出，尽管另外两个可能相对较远。 当我计算出最小可能的误差时（如果我从每个测试示例的“最佳”预测变量中获取预测结果），我得到的误差要比任何模型的误差都要小得多。因此，我考虑过尝试将这3种不同模型的预测结合到某种整体中。问题是，如何正确执行此操作？我的所有3个模型都是使用scikit-learn构建和调整的，是否提供了某种可用于将模型打包到集合中的方法？这里的问题是，我不想只是对所有三个模型的平均预测，我想通过加权来做到这一点，应该根据特定示例的属性确定加权。 即使scikit-learn不提供此类功能，如果有人知道如何解决该任务-为数据中的每个示例计算每种模型的权重，也将是一件很好的事情。我认为这可以通过在所有这三个模型之上构建一个单独的回归器来完成，该回归器将尝试为这三个模型中的每个模型输出最佳权重，但是我不确定这是否是最佳方法。

27 regression  scikit-learn  ensemble 

假设我们要f = x * y使用标准深层神经网络来简化回归。 我记得有一些重述，告诉我们带有一个隐藏层的NN可以近似任何函数，但是我尝试过并且没有规范化，即使是这种简单的乘法，NN也无法近似。只有数据的对数归一化才有帮助，m = x*y => ln(m) = ln(x) + ln(y). 但这看起来像个骗子。NN是否可以在没有对数归一化的情况下做到这一点？显然，（对我来说）是坚定的人-是的，所以问题是这种NN的类型/配置/布局应该是什么？

27 regression  machine-learning  neural-networks  deep-learning 

什么是消融研究？有没有系统的方法来执行它？例如，我在线性回归中有预测变量，我将其称为模型。nnn 我将如何对此进行消融研究？我应该使用什么指标？ 全面的资料或教科书将不胜感激。

27 regression  machine-learning  neural-networks 

在原假设下，线性单变量多元回归中的确定系数或R平方的分布是什么？R2R2R^2H0:β=0H0:β=0H_0:\beta=0 它如何取决于预测变量数量和样本数量？此分布方式是否有封闭形式的表达式？kkkn&gt;kn&gt;kn>k 特别是，我有一种感觉，对于简单回归（具有一个预测变量），此分布的众数为零，但对于多重回归，其众数为非零正值。如果确实是这样，是否对这种“相变”有直观的解释？xxx 更新资料 如下@Alecos所示，当和时，分布确实在零处达到峰值，而当时，分布则不在零处。我觉得应该对这种相变有一个几何的看法。考虑OLS的几何视图：是的向量，在此处定义一个维子空间。OLS等于将投影到该子空间上，并且是和其投影之间的角度的平方余弦。k=2k=2k=2k=3k=3k=3k&gt;3k&gt;3k>3yy\mathbf yRnRn\mathbb R^nXX\mathbf Xkkkyy\mathbf yR2R2R^2ÿyy\mathbf yy^y^\hat{\mathbf y} 现在，从@Alecos的答案可以得出结论，如果所有向量都是随机的，则对于和，该角度的概率分布将在处达到峰值，但在对于。为什么？！90∘90∘90^\circk=2k=2k=2k=3k=3k=3&lt;90∘&lt;90∘<90^\circk&gt;3k&gt;3k>3 更新2：我接受@Alecos的回答，但仍然感觉我在这里缺少一些重要的见解。如果有人对这种现象提出任何其他（无论是几何还是非几何）观点，使它变得“显而易见”，我将很乐意提供悬赏。

26 regression  mathematical-statistics  r-squared  intuition 

我正在尝试在中执行多元回归R。但是，我的因变量具有以下曲线： 这是一个散点图矩阵，其中包含我所有的变量（WAR是因变量）： 我知道我需要对此变量（可能还有自变量？）执行转换，但是我不确定所需的确切转换。有人可以指出我正确的方向吗？我很高兴提供有关自变量和因变量之间关系的任何其他信息。 通过回归分析得出的诊断图形如下： 编辑 使用Yeo-Johnson转换对因变量和自变量进行转换后，诊断图如下所示： 如果我将GLM与日志链接一起使用，则诊断图形为：

26 r  regression  multiple-regression  data-transformation 

尽管我读了这篇文章，但我仍然不知道如何将其应用于我自己的数据，并希望有人能帮助我。 我有以下数据： y &lt;- c(11.622967, 12.006081, 11.760928, 12.246830, 12.052126, 12.346154, 12.039262, 12.362163, 12.009269, 11.260743, 10.950483, 10.522091, 9.346292, 7.014578, 6.981853, 7.197708, 7.035624, 6.785289, 7.134426, 8.338514, 8.723832, 10.276473, 10.602792, 11.031908, 11.364901, 11.687638, 11.947783, 12.228909, 11.918379, 12.343574, 12.046851, 12.316508, 12.147746, 12.136446, 11.744371, 8.317413, 8.790837, 10.139807, 7.019035, 7.541484, 7.199672, 9.090377, 7.532161, 8.156842, 9.329572, 9.991522, …

26 r  regression  fitting