Questions tagged «regression»

当我估算两个时间段的差异模型的差异时，等效回归模型为 一种。 Yist=α+γs∗Treatment+λdt+δ∗(Treatment∗dt)+ϵistYist=α+γs∗Treatment+λdt+δ∗(Treatment∗dt)+ϵistY_{ist} = \alpha +\gamma_s*Treatment + \lambda d_t + \delta*(Treatment*d_t)+ \epsilon_{ist} 其中TreatmentTreatmentTreatment是一个虚设它等于1，如果观察是从治疗组 和 ddd是伪，其等于1的时间段发生处理后 因此，该公式采用以下值。 对照组，治疗前：αα\alpha 对照组，治疗后：α+λα+λ\alpha +\lambda 治疗组，治疗前：α+γα+γ\alpha +\gamma 治疗组，治疗后： α+γ+λ+δα+γ+λ+δ\alpha+ \gamma+ \lambda+ \delta 因此，在两周期模型中，差异估计的差异为δδ\delta。 但是，如果我有多个治疗前后，关于d_t会发生什么dtdtd_t？我仍然使用假人来指示一年是在治疗之前还是之后？ 还是在不指定每年是否属于治疗前或治疗后期间的情况下添加年份假人？像这样： b。Yist=α+γs∗Treatment+yeardummy+δ∗(Treatment∗dt)+ϵistYist=α+γs∗Treatment+yeardummy+δ∗(Treatment∗dt)+ϵistY_{ist} = \alpha +\gamma_s*Treatment + yeardummy + \delta*(Treatment*d_t)+ \epsilon_{ist} 还是可以同时包含两者（即ÿË 一个[R dü 中号米ÿ+ λ dŤyeardummy+λdtyeardummy +\lambda d_t）？ C。ÿ我小号Ť= α + γs* …

20 regression  modeling  econometrics  panel-data  difference-in-difference 

我从我的OLS回归开始： 其中D是虚拟变量，估计值与p值低的零不同。然后，我进行了Ramsey RESET测试，发现我对该方程有一些误称，因此我将平方x包括在内： ÿ = β 0 + β 1 X 1 + β 2 X 2 1 + β 3 d + εy=β0+β1x1+β2D+εy=β0+β1x1+β2D+ε y = \beta _0 + \beta_1x_1+\beta_2 D + \varepsilon y=β0+β1x1+β2x21+β3D+εy=β0+β1x1+β2x12+β3D+ε y = \beta _0 + \beta_1x_1+\beta_2x_1^2+\beta_3 D + \varepsilon 平方项解释了什么？（Y非线性增加？） 通过这样做，我的D估计值不再从零变化，而具有较高的p值。我如何解释方程式中的平方项（通常）？ 编辑：改善问题。

20 regression  multiple-regression  interpretation  least-squares  polynomial 

我最近分析了一个使用ANCOVA操纵2个类别变量和1个连续变量的实验。但是，一位审阅者建议，将分类变量编码为虚拟变量的多元回归是对分类变量和连续变量进行实验的更合适的测试。 什么时候使用带有虚拟变量的ANCOVA与多元回归比较合适？在两次测试之间进行选择时应考虑哪些因素？ 谢谢。

20 regression  multiple-regression  ancova  categorical-encoding 

假设我想建立一个模型来预测某种比率或百分比。例如，假设我要预测参加聚会的男孩与女孩的数量，并且我可以在模型中使用的聚会功能包括诸如聚会广告的数量，场地的大小，是否有将是聚会上的任何酒类，等等。（这只是一个虚构的示例；功能并不是很重要。） 我的问题是：预测比率与百分比之间有什么区别，并且根据选择的模型，我的模型如何变化？这个比那个好吗？其他功能是否比其中任何一个更好？（我并不真正在乎比率与百分比的具体数字；我只想能够确定哪些政党更有可能是“男孩政党”还是“女孩政党”。）例如，我思维： 如果我要预测百分比（例如，# boys / (# boys + # girls)则为0，则由于我的依存特征被限制在1与1之间，我可能应该使用逻辑回归而不是线性回归）。 如果我想预测比率（例如，# boys / # girls或# boys / (1 + # girls)避免除以零的误差），那么我的从属特征为正，那么在使用线性回归之前，我是否应该应用某种（log？）变换？（或其他一些模型？对于正的非计数数据使用哪种回归模型？） 通常最好预测（说）百分比而不是比率，如果是，为什么？

20 regression  logistic 

我是否正确理解，在多元ANOVA中指定变量的顺序会有所不同，但是在进行多元线性回归时顺序并不重要？ 因此，假设存在诸如测得的失血量 y和两个分类变量之类的结果 增殖腺切除术的方法 a， 扁桃体切除方法 b。 该模型y~a+b不同于该模型y~b+a（或因此我在R中的实现似乎表明了这一点）。 我是否正确理解这里的术语是方差分析是一种层次模型，因为它在尝试将剩余方差归因于第二因素之前首先将尽可能多的方差归因于第一因素？ 在上面的示例中，层次结构是有道理的，因为我总是在进行扁桃体切除术之前先进行腺样体切除术，但是如果一个人有两个没有内在顺序的变量会怎样？

20 regression  hypothesis-testing  anova  unbalanced-classes  sums-of-squares 

在许多统计数据包中，包括SAS，SPSS甚至更多，都有“抑制拦截”的选项。你为什么想这么做？

20 regression 

Angrist和Pischke已建议将稳健（即对异方差或不等方差具有鲁棒性）的标准误差报告为理所当然的事情，而不是对其进行测试。两个问题： 当存在同方差时，对标准误差有何影响？ 有人在工作中实际这样做吗？

20 regression  standard-error  heteroscedasticity  robust-standard-error 

我是优化新手。我一直看到在范数的右侧具有上标2和下标2的方程式。例如，这是最小二乘方程 分钟| | Ax−b | |22||一种X-b||22 ||Ax-b||^2_2 我想我理解上标2：这意味着对准则的价值求平方。但是下标2是什么？我应该如何阅读这些方程式？

20 regression  optimization  notation 

我正在努力理解低于预期（ESL）的预期预测误差的推导，尤其是在2.11和2.12的推导上（条件，即逐步达到最小点）。任何指针或链接，不胜感激。 我在下面报告ESL pg的摘录。18.前两个公式按顺序是公式2.11和2.12。 让X∈RpX∈RpX \in \mathbb{R}^p分别表示实值随机输入向量，并Y∈RY∈RY \in \mathbb{R}实值随机输出变量，与联合分布Pr(X,Y)Pr(X,Y)\text{Pr}(X,Y)。我们追求的是功能f(X)f(X)f(X)预测YYY输入的给定值XXX。该理论要求损失函数 L(Y,f(X))L(Y,f(X))L(Y,f(X))用于惩罚预测误差，到目前为止，最常见和最方便的方法是平方误差损失：L(Y,f(X))=(Y−f(X))2L(Y,f(X))=(Y−f(X))2L(Y,f(X))=(Y-f(X))^2。这使我们得出选择fff的标准， EPE(f)=E(Y−f(X))2=∫[y−f(x)]2Pr(dx,dy)EPE(f)=E(Y−f(X))2=∫[y−f(x)]2Pr(dx,dy) \begin{split} \text{EPE}(f) &= \text{E}(Y - f(X))^2\\ & = \int [y - f(x)]^2 \text{Pr}(dx, dy) \end{split} 预期（平方）的预测误差。通过以XXX条件，我们可以将EPE编写为 EPE(f)=EXEY|X([Y−f(X)]2|X)EPE(f)=EXEY|X([Y−f(X)]2|X) \text{EPE}(f) = \text{E}_X \text{E}_{Y|X}([Y-f(X)]^2|X) 并且我们看到足以将EPE逐点最小化： f(x)=argmincEY|X([Y−c]2|X)f(x)=argmincEY|X([Y−c]2|X) f(x) = \text{argmin}_c \text{E}_{Y|X}([Y-c]^2|X) 解决方法是 f(x)=E(Y|X=x)f(x)=E(Y|X=x) f(x) = \text{E}(Y|X=x) 条件期望，也称为回归函数。

20 regression  prediction  error 

我一直在思考，实施和使用极限学习机（ELM）范例已有一年多了，而且我做的时间越长，就越怀疑这确实是一件好事。但是，我的观点似乎与科学界形成鲜明对比，在科学界，当使用引文和新出版物作为衡量标准时，这似乎是一个热门话题。 ELM已由Huang等人介绍。等 大概在2003年左右。基本思想很简单：从2层人工神经网络开始，并在第一层随机分配系数。这将通常通过反向传播处理的非线性优化问题转换为简单的线性回归问题。更详细的，用于x∈RDx∈RD\mathbf x \in \mathbb R^D，该模型是 f(x)=∑i=1Nhiddenwiσ(vi0+∑k=1Dvikxk).f(x)=∑i=1Nhiddenwiσ(vi0+∑k=1Dvikxk). f(\mathbf x) = \sum_{i=1}^{N_\text{hidden}} w_i \, \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,. 现在，仅对wiwiw_i进行调整（以使平方误差损失最小），而对vikvikv_{ik}均进行随机选择。作为对自由度损失的补偿，通常的建议是使用大量隐藏节点（即自由参数wiwiw_i）。 从另一个角度看（而不是一个通常在文献中推广，这是从神经网络侧），整个过程是简单的线性回归，而是一个你选择你的基础函数ϕϕ\phi随机，例如 ϕi(x)=σ(vi0+∑k=1Dvikxk).ϕi(x)=σ(vi0+∑k=1Dvikxk). \phi_i(\mathbf x) = \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,. （对于S形函数，除了S形函数外，还有许多其他选择。例如，使用径向基函数也应用了相同的原理。） 从这个角度来看，整个方法变得过于简单了，这也是我开始怀疑该方法确实是一种好的方法的观点（...而科学营销肯定是这样）。所以，这是我的问题： 在我看来，使用随机基函数对输入空间进行栅格化的想法对于低尺寸而言是有益的。在高维中，我认为使用具有合理数量基函数的随机选择是不可能找到好的选择的。因此，ELM是否会在高维度上退化（由于维数的诅咒）？ 您是否知道实验结果支持/矛盾这一观点？在链接的论文中，只有一个27维回归数据集（PYRIM），其中该方法的执行效果与SVM类似（而我希望与反向传播ANN进行比较） 更笼统地说，我想在这里发表您对ELM方法的评论。

20 regression 

回归中的正则化（线性，逻辑...）是减少过度拟合的最流行方法。 当目标是预测准确性（不作解释）时，是否有正则化的良好替代方法，特别适合于大数据集（百万分之十亿的观测值和数百万的特征）？

19 regression  regularization  overfitting 

我正在尝试使用风速数据（0，359）和一天中的时间（0，23）拟合模型，但是我担心它们不能很好地拟合线性回归，因为它们本身不是线性参数。我想使用Python对其进行转换。我看到有人提到过至少在风速情况下通过取度的正弦和余弦来计算向量均值的方法，但不是很多。 有没有可能有用的Python库或相关方法？

19 regression  python  circular-statistics 

以下是使用mtcarsR中设置的数据mpg作为DV以及其他变量作为预测变量的具有默认alpha（1，因此为lasso）的glmnet的图。 glmnet(as.matrix(mtcars[-1]), mtcars[,1]) 我们可以从这个图得出什么结论对于不同的变量，尤其是am，cyl和wt（红色，黑色和淡蓝色线）？我们将如何用输出表达要发布的报告中的内容？ 我想到了以下几点： wt是的最重要的预测指标mpg。它对产品产生负面影响mpg。 cyl是的弱否定指标mpg。 am可能是的积极预测指标mpg。 其他变量不是的可靠预测指标mpg。 感谢您对此的想法。 （注意：cyl是黑线，直到非常接近它才达到0。） 编辑：以下是plot（mod，xvar ='lambda'），它按与上图相反的顺序显示x轴： （附言：如果您发现此问题有趣/重要，请对其进行投票；）

19 regression  feature-selection  lasso  glmnet 

我从这里检查Logistic回归的实现。 在我阅读了这篇文章之后，似乎重要的部分是找到确定S形函数的最佳系数。因此，我只是想知道为什么将此方法称为“逻辑回归”。它与对数函数有关吗？也许我需要一些历史背景信息才能更好地理解它。

19 regression  machine-learning  logistic 

我记得在网络上的某个地方阅读过岭回归（具有正则化）和PCA回归之间的联系：在使用带超参数正则回归时，如果，则回归等同于删除特征值最小的PC变量。ℓ 2 λ λ →交通0ℓ2ℓ2\ell_2ℓ2ℓ2\ell_2λλ\lambdaλ→0λ→0\lambda \to 0 为什么会这样呢？ 这与优化过程有关吗？天真的，我希望它等同于OLS。 有人为此提供参考吗？

19 regression  pca  regularization  ridge-regression