Questions tagged «regression»

当您执行OLS回归并绘制结果残差时，如何判断残差是否自相关？我知道已经对此进行了测试（Durbin，Breusch-Godfrey），但我想知道是否可以仅查看一个图来衡量自相关是否会成为问题（因为异方差性很容易做到）。

12 regression  autocorrelation  residuals 

我获得了一个数据集，其中包含一所高中学生获得的奖励数量，其中预测的奖励数量包括该学生注册的课程类型以及他们的数学期末考试成绩。 我想知道是否有人可以告诉我为什么线性回归模型在这种情况下可能不合适，以及为什么使用泊松回归会更好？谢谢。

12 regression  generalized-linear-model  poisson-distribution  count-data 

我想比较两个线性回归模型，它们表示在两种不同条件下，mRNA随时间的降解速率。每个模型的数据都是独立收集的。 这是数据集。 时间（小时）日志（处理A）日志（处理B） 0 2.02 1.97 0 2.04 2.06 0 1.93 1.96 2 2.02 1.91 2 2.00 1.95 2 2.07 1.82 4 1.96 1.97 4 2.02 1.99 4 2.02 1.99 6 1.94 1.90 6 1.94 1.97 6 1.86 1.88 8 1.93 1.97 8 2.12 1.99 8 2.06 1.93 12 1.71 …

12 regression  model-comparison 

我有具有数千个功能的数据，并且我想进行递归功能选择（RFE）以删除无信息的功能。我使用插入符号和RFE 进行此操作。但是，我开始思考，如果我想获得最佳的回归拟合（例如，随机森林），什么时候应该执行参数调整（mtry针对RF）？也就是说，据我所知，插入符号使用固定的mtry在不同的特征子集上反复训练RF。我想mtry应该在特征选择完成后找到最佳mtry值，但是插入符号使用的值会影响特征的所选子集吗？使用插入符号低mtry的速度要快得多，当然。 希望有人可以向我解释。

12 regression  feature-selection  random-forest  caret 

给定以下两个时间序列（x，y；见下文），在此数据中长期趋势之间的关系建模的最佳方法是什么？ 当作为时间的函数进行建模时，两个时间序列都具有显着的Durbin-Watson检验，而且都不是平稳的（据我所知，这是否意味着它只需要在残差中保持平稳？）。有人告诉我，这意味着我应该先取每个时间序列的一阶差（至少，甚至是二阶），然后才能将一个模型建模为另一个函数，本质上是利用arima（1,1,0 ），arima（1,2,0）等。 我不明白为什么您需要在建模之前就下降趋势。我知道需要对自相关建模，但我不明白为什么需要进行微分。对我而言，似乎通过差分进行的去趋势消除了我们感兴趣的数据中的主要信号（在这种情况下为长期趋势），并留下了高频“噪声”（宽松地使用噪声）。确实，在模拟中，我在一个时间序列与另一个时间序列之间建立了几乎完美的关系，并且没有自相关关系，对时间序列求差使我得到的结果对于关系检测而言是违反直觉的，例如， a = 1:50 + rnorm(50, sd = 0.01) b = a + rnorm(50, sd = 1) da = diff(a); db = diff(b) summary(lmx <- lm(db ~ da)) 在这种情况下，b与a密切相关，但是b具有更多的噪声。对我来说，这表明在检测低频信号之间的关系的理想情况下，差分并不起作用。我了解到，差分通常用于时间序列分析，但是对于确定高频信号之间的关系似乎更有用。我想念什么？ 示例数据 df1 <- structure(list( x = c(315.97, 316.91, 317.64, 318.45, 318.99, 319.62, 320.04, 321.38, 322.16, 323.04, 324.62, 325.68, …

12 regression  time-series  arima 

我有看起来像的数据： 我尝试在其上应用正态分布（内核密度估计效果更好，但我不需要这么高的精度），并且效果很好。密度图为椭圆形。 我需要获取该椭圆函数来确定一个点是否位于椭圆区域内。怎么做？ 欢迎使用R或Mathematica代码。

12 r  regression  pdf  bivariate 

我继承了一些数据分析代码，尽管我不是计量经济学家，但我一直难以理解。一个模型使用以下Stata命令运行工具变量回归 ivreg my_dv var1 var2 var3 (L.my_dv = D2.my_dv D3.my_dv D4.my_dv) 该数据集是一个针对该组变量具有多个顺序观察值的面板。 为什么此代码将DV的滞后值用作工具？据我了解（从深入研究旧教科书中），当由于回归变量与误差项相关而出现问题时，使用了IV估计。但是，没有提到选择DV的滞后作为工具。 此行代码的注释中提到“因果关系”。欢迎大家弄清楚这里的目标是什么。

12 regression  stata  instrumental-variables 

我正在阅读python scikit-learn 手册中有关回归指标的内容，尽管每个指标都有其自己的公式，但我无法直观地告诉我们和方差得分之间的区别是什么，因此什么时候使用一个或另一个来评估我的模特。[R2[R2R^2

12 regression  variance  scikit-learn  r-squared  model-evaluation 

几个月前，我通过Coursera上了Andrew Ng的课程“机器学习”，没有关注大多数的数学/派生，而是专注于实现和实用性。从那时起，我开始回头研究一些基础理论，并重新审视了吴教授的一些演讲。我正在阅读他关于“正则化线性回归”的演讲，发现他给出了以下成本函数： Ĵ（θ ）= 12 米[ ∑我= 1米（小时θ（x（我））- ÿ（我））2+ λ ＆Sigma;j = 1ñθ2Ĵ]J(θ)=12m[∑i=1m(hθ(x(i))−y(i))2+λ∑j=1nθj2]J(\theta) = \frac{1}{2m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})^2 + \lambda\sum_{j=1}^n\theta^2_j] 然后，他为此成本函数给出了以下梯度： ∂∂θĴĴ（θ ）= 1米[ ∑我= 1米（小时θ（x（我））- ÿ（我））x（我）Ĵ- λ θĴ]∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))−y(i))xj(i)−λθj]\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) - y^{(i)})x^{(i)}_j - \lambda\theta_j] 我对他如何从一个人到另一个人感到困惑。当我尝试进行自己的推导时，结果如下： ∂∂θĴĴ（θ ）= 1米[ ∑我= 1米（小时θ（x（我））+ y（我））x（我）Ĵ+ λ θĴ]∂∂θjJ(θ)=1m[∑i=1m(hθ(x(i))+y(i))xj(i)+λθj]\frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}[\sum_{i=1}^m(h_\theta (x^{(i)}) …

12 regression  self-study 

我执行了多元逻辑回归分析，因变量Y是进入某特定时期内在疗养院中的死亡，并得到以下结果（请注意，变量开始于A连续值，而变量开始于连续值B）： Call: glm(Y ~ A1 + B2 + B3 + B4 + B5 + A6 + A7 + A8 + A9, data=mydata, family=binomial) Deviance Residuals: Min 1Q Median 3Q Max -1.0728 -0.2167 -0.1588 -0.1193 3.7788 Coefficients: Estimate Std. Error z value Pr(>|z|) (Intercept) 20.048631 6.036637 3.321 0.000896 *** A1 0.051167 …

12 r  regression  logistic 

我正在阅读《统计学习的要素》，在第12页（第2.3节）中，将线性模型表示为： Yˆ=XTβˆY^=XTβ^\widehat{Y} = X^{T} \widehat{\beta} ...其中是预测变量/自变量/输入的列向量的转置。（它前面指出“所有矢量都假定为列矢量”，所以这不是使成为行矢量，而成为列矢量吗？） X 牛逼βXTXTX^{T}XTXTX^{T}βˆβ^\widehat{\beta} 包含一个“ ”，将其与对应的系数相乘，得出（恒定）截距。1XXX111 它继续说： 在维输入-输出空间中，表示一个超平面。如果常量包含在，则超平面包括原点，并且是子空间；如果不是，则为仿射集，在点处切割轴 。（X ，ÿ）X Ý （0 ，^ β 0）(p+1)(p+1)(p + 1)(X, Yˆ)(X, Y^)(X,\ \widehat{Y})XXXYYY(0, β0ˆ)(0, β0^)(0,\ \widehat{\beta_0}) “ ”是否描述了由预测变量，截距的“ ”和串联而成的向量？为什么在中包含“ ”会迫使超平面通过原点，并确保将“ ”与相乘？1 Ÿ 1 X 1 ^ β 0(X, Yˆ)(X, Y^)(X,\ \widehat{Y})111YˆY^\widehat{Y}111XXX111β0ˆβ0^\widehat{\beta_0} 我听不懂这本书。任何帮助/建议/资源链接将不胜感激。

12 regression  references  statistical-learning 

我已经读过，对时间序列使用R平方是不合适的，因为在时间序列上下文中（我知道还有其他上下文），R平方不再是唯一的。为什么是这样？我试图进行查找，但没有找到任何东西。通常，在评估模型时，我不会对R平方（或调整R平方）进行任何评估，但是我的许多同事（例如，商务专业）绝对喜欢R平方，因此我希望能够向他们解释为什么R-Squared在时间序列的背景下不合适。

12 regression  time-series  r-squared 

我正在做多元线性回归。我有21个观察值和5个变量。我的目的只是找到变量之间的关系 我的数据是否足以进行多元回归？ t检验结果显示我的3个变量不显着。我是否需要对重要变量再次进行回归（或者我的第一次回归足以得出结论）？我的相关矩阵如下 var 1 var 2 var 3 var 4 var 5 Y var 1 1.0 0.0 0.0 -0.1 -0.3 -0.2 var 2 0.0 1.0 0.4 0.3 -0.4 -0.4 var 3 0.0 0.4 1.0 0.7 -0.7 -0.6 var 4 -0.1 0.3 0.7 1.0 -0.7 -0.9 var 5 -0.3 -0.4 …

12 regression  t-test  multiple-regression 

两者的R文档并没有太多说明。我从此链接可以得到的所有信息是，使用其中任何一个都可以。我不明白的是为什么他们不平等。 事实：R中的逐步回归函数step()使用extractAIC()。 有趣的是，在R的“ mtcars”数据集上运行lm()模型和glm()“空”模型（仅截距）会得出AIC和的不同结果extractAIC()。 > null.glm = glm(mtcars$mpg~1) > null.lm = lm(mtcars$mpg~1) > AIC(null.glm) [1] 208.7555 > AIC(null.lm) [1] 208.7555 > extractAIC(null.glm) [1] 1.0000 208.7555 > extractAIC(null.lm) [1] 1.0000 115.9434 鉴于上述两个模型相同，并且AIC()两者给出的结果相同，这很奇怪。 谁能在这个问题上有所启发？

11 r  regression  aic  stepwise-regression 

当我们计算回归系数的标准误差时，我们没有考虑设计矩阵的随机性。例如，在OLS中，我们将为XXXVAR （β^）变种（β^）\text{var}(\hat{\beta})var （（XŤX）− 1XŤÿ）= σ2（XŤX）− 1变种（（XŤX）-1个XŤÿ）=σ2（XŤX）-1个\text{var}((X^TX)^{-1}X^TY) = \sigma^2(X^TX)^{-1} 如果将视为随机数，则总方差定律在某种意义上也将要求的方差也有其他贡献。即XXXXXX VAR （β^）= var （E（β^| X））+ E（var （β^| X））。变种（β^）=变种（Ë（β^|X））+Ë（变种（β^|X））。\text{var}(\hat{\beta}) = \text{var}(E(\hat{\beta}|X)) + E(\text{var}(\hat{\beta}|X)). 如果OLS估计量确实是无偏的，则第一项就消失了，因为期望是一个常数。第二项实际上变为：。σ2COV （X）− 1σ2冠状病毒（X）-1个\sigma^2 \text{cov}(X)^{-1} 如果已知的参数模型，为什么不用实际的协方差估计替换。例如，如果是随机治疗分配，则二项式方差应该是更有效的估计？XXXXŤXXŤXX^TXXXXË（X）（1 − E（X））Ë（X）（1个-Ë（X））E(X)(1-E(X)) 我们为什么不考虑使用灵活的非参数模型来估计OLS估计中可能的偏差来源，并适当考虑第一个总定律方差项设计敏感性（即的分布）”吗？XXXVAR （è（β^| X））变种（Ë（β^|X））\text{var}(E(\hat{\beta}|X))

11 regression  probability  variance  inference