Questions tagged «regression»

用于分析一个(或多个)“因变量”和“因变量”之间的关系的技术。

2
高斯过程中的观测合并
我正在使用高斯过程(GP)进行回归。 在我的问题中,两个或多个数据点相对于长度彼此接近是很常见的问题的规模。此外,观察结果可能会非常嘈杂。为了加快计算速度并提高测量精度,只要我关心更大范围的预测,合并/积分彼此接近的点的群集就显得很自然。x⃗ (1),x⃗ (2),…x→(1),x→(2),…\vec{x}^{(1)},\vec{x}^{(2)},\ldots 我想知道什么是快速但半原则的方法。 如果两个数据点完全重叠,则,并且观察噪声(即似然性)是高斯分布,可能是异方差但已知,处理的自然方式似乎是将它们合并到一个数据点中:x⃗ (1)=x⃗ (2)x→(1)=x→(2)\vec{x}^{(1)} = \vec{x}^{(2)} x¯⃗ ≡x⃗ (k)x¯→≡x→(k)\vec{\bar{x}} \equiv \vec{x}^{(k)},其中。k=1,2k=1,2k=1,2 观测值是观测值平均值,以其相对精度加权:。y¯y¯\bar{y}y(1),y(2)y(1),y(2)y^{(1)}, y^{(2)}y¯=σ2y(x⃗ (2))σ2y(x⃗ (1))+σ2y(x⃗ (2))y(1)+σ2y(x⃗ (1))σ2y(x⃗ (1))+σ2y(x⃗ (2))y(2)y¯=σy2(x→(2))σy2(x→(1))+σy2(x→(2))y(1)+σy2(x→(1))σy2(x→(1))+σy2(x→(2))y(2)\bar{y} = \frac{\sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(1)} + \frac{\sigma_y^2(\vec{x}^{(1)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} y^{(2)} 与观察相关的噪声等于:。σ2y(x¯)=σ2y(x⃗ (1))σ2y(x⃗ (2))σ2y(x⃗ (1))+σ2y(x⃗ (2))σy2(x¯)=σy2(x→(1))σy2(x→(2))σy2(x→(1))+σy2(x→(2))\sigma_y^2(\bar{x}) = \frac{\sigma_y^2(\vec{x}^{(1)}) \sigma_y^2(\vec{x}^{(2)})}{\sigma_y^2(\vec{x}^{(1)}) + \sigma_y^2(\vec{x}^{(2)})} 但是,如何合并两个相近但不重叠的点呢? 我认为应该仍然是两个位置的加权平均值,再次使用相对可靠性。理由是质量中心论证(即,将非常精确的观察视为一堆不太精确的观察)。x¯⃗ x¯→\vec{\bar{x}} 对于与上述公式相同。y¯y¯\bar{y} 对于与观测相关的噪声,我想知道是否除了上面的公式之外,还应该在噪声中添加一个校正项,因为我正在移动数据点。本质上,我会得到与和有关的不确定性增加(分别是信号方差和协方差函数的长度尺度)。我不确定这个术语的形式,但是在给定协方差函数的情况下,我对如何计算它有一些初步的想法。σ2fσf2\sigma_f^2ℓ2ℓ2\ell^2 在继续之前,我想知道那里是否已经有东西。如果这似乎是明智的处理方法,或者有更好的快速方法。 我在文献中能找到的最接近的东西是这篇论文:E. …

2
贝叶斯logit模型-直观的解释?
我必须承认,我以前从未在本科或研究生班上听说过该词。 Logistic回归为贝叶斯是什么意思?我正在寻找从常规物流到贝叶斯物流的过渡解释,类似于以下内容: 这是线性回归模型的方程:E(y)=β0+β1x1+...+βnxnË(ÿ)=β0+β1个X1个+。。。+βñXñE(y) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n。 这是逻辑回归模型中的方程式:。当y是绝对值时完成此操作。ln(E(y)1−E(y))=β0+β1x1+...+βnxnln⁡(Ë(ÿ)1个-Ë(ÿ))=β0+β1个X1个+。。。+βñXñ\ln(\frac{E(y)}{1-E(y)}) = \beta_0 + \beta_1x_1 + ... + \beta_nx_n 我们要做的是将更改为。E(y)Ë(ÿ)E(y)ln(E(y)1−E(y))ln⁡(Ë(ÿ)1个-Ë(ÿ))\ln(\frac{E(y)}{1-E(y)}) 那么在贝叶斯逻辑回归中对逻辑回归模型做了什么?我猜想这与方程式无关。 这本书的预览似乎定义了,但我不太了解。这些先前的可能性是什么?是什么?有人可以用另一种方式解释本书的这一部分或贝叶斯逻辑模型吗?αα\alpha 注意:这是我之前问过的,但回答得不是很好。

2
使用R的glmnet的Ridge回归和Python的scikit-learn有什么区别?
我正在阅读James,Witten,Hastie,Tibshirani(2013)写的《 R语言中的统计学习及其应用入门》一书中关于Ridge回归/套索的LAB部分§6.6 。 更具体地说,我尝试将scikit-learn Ridge模型应用于R包“ ISLR”中的“ Hitters”数据集。我已经创建了与R代码所示相同的一组功能。但是,我无法接近glmnet()模型的结果。我选择了一个L2调整参数进行比较。(scikit-learn中的“ alpha”参数)。 蟒蛇: regr = Ridge(alpha=11498) regr.fit(X, y) http://nbviewer.ipython.org/github/JWarmenhoven/ISL-python/blob/master/Notebooks/Chapter%206.ipynb R: 请注意,alpha=0in 参数glmnet()表示应采用L2惩罚(Ridge回归)。文档警告不要为输入单个值lambda,但结果与使用向量的ISL中的结果相同。 ridge.mod <- glmnet(x,y,alpha=0,lambda=11498) 是什么导致差异? 编辑:从R中的惩罚包 使用时penalized(),系数与scikit-learn相同。 ridge.mod2 <- penalized(y,x,lambda2=11498) 也许问题可能还会是:“ 进行Ridge回归glmnet()与penalized()进行回归时有什么区别? 用于R包glmnet中的实际Fortran代码的新python包装器 https://github.com/civisanalytics/python-glmnet

2
通过逻辑回归和对数线性回归估计的系数何时有所不同?
在对连续比例建模时(例如,在调查样方上的比例植被覆盖,或从事某项活动的时间比例),逻辑回归被认为是不合适的(例如,Warton&Hui(2011)反正弦是精氨酸:生态学中比例的分析)。相反,对数转换比例后的OLS回归或beta回归更为合适。 使用R lm和时,在什么条件下对数线性回归和对数回归的系数估计不同glm? 以下面的模拟数据集为例,我们可以假定它们p是我们的原始数据(即连续比例,而不是表示):ñS ^ ü ç ç è 小号小号Ë 小号ñ吨ř 我一升小号ñsüCCËssËsñŤ[R一世一种升s{n_{successes}\over n_{trials}} set.seed(1) x <- rnorm(1000) a <- runif(1) b <- runif(1) logit.p <- a + b*x + rnorm(1000, 0, 0.2) p <- plogis(logit.p) plot(p ~ x, ylim=c(0, 1)) 拟合对数线性模型,我们获得: summary(lm(logit.p ~ x)) ## ## Call: ## lm(formula = …
11 r  regression  logistic 

1
R-套索回归-每个回归者的Lambda不同
我要执行以下操作: 1)OLS回归(无惩罚项)以获得beta系数;代表用于回归的变量。我这样做 Ĵb∗jbj∗b_{j}^{*}jjj lm.model = lm(y~ 0 + x) betas = coefficients(lm.model) 2)带惩罚项的套索回归,选择标准应为贝叶斯信息标准(BIC),由 λj=log(T)T|b∗j|λj=log⁡(T)T|bj∗|\lambda _{j} = \frac{\log (T)}{T|b_{j}^{*}|} 其中代表变量/回归数,代表观察数,代表步骤1)中获得的初始beta。我想获得此特定值的回归结果,该值对于使用的每个回归变量都不同。因此,如果存在三个变量,则将存在三个不同的值。Ť b * Ĵ λ Ĵ λ ĴjjjTTTb∗jbj∗b_{j}^{*}λjλj\lambda_jλjλj\lambda_j 然后通过以下公式给出OLS-Lasso优化问题 中号我Ñb ε - [Rñ= { ∑t = 1Ť(yŤ− b⊤XŤ)2+ T∑j = 1米(λŤ| bĴ| ) }minbϵRn={∑t=1T(yt−b⊤Xt)2+T∑j=1m(λt|bj|)}\underset{b\epsilon \mathbb{R}^{n} }{min} = \left \{ \sum_{t=1}^{T}(y_{t}-b^{\top} X_{t} )^{2} …
11 r  regression  glmnet  lars 

1
负二项式/泊松回归中的过度分散和分散不足
我在SAS中执行Poisson回归,发现Pearson卡方值除以自由度约为5,表明存在明显的过度分散。因此,我使用proc genmod拟合了负二项式模型,发现皮尔逊卡方值除以自由度是0.80。现在认为这是分散的吗?如果是这样,该如何处理呢?我已经阅读了很多有关过度分散的知识,并且相信我知道如何处理此问题,但是关于如何处理或确定是否存在分散不足的信息很少。有人可以协助吗? 谢谢。


1
在左侧删节的数据上使用标准的机器学习工具
我正在开发一个预测应用程序,其目的是允许进口商预测其分销商客户网络对其产品的需求。只要有足够的库存来满足需求,销售数字就可以很好地满足需求。但是,当库存减少到零时(我们正在努力帮助客户避免这种情况),我们对错过目标的了解并不多。如果客户有足够的供应量,他们将进行多少次销售?使用Sales作为简单目标变量的基于标准回归的ML方法将对时间,我的描述性变量和需求之间的关系产生不一致的估计。 Tobit建模是解决该问题的最明显方法:http : //en.wikipedia.org/wiki/Tobit_model。我想知道随机森林,GBMS,SVM和神经网络的ML适应性也占数据的左手检查结构的原因。 简而言之,如何将机器学习工具应用于左删失的回归数据,以获得对因变量和自变量之间关系的一致估计?首先是R中可用的解决方案,其次是Python。 干杯, 亚伦

2
二次编程和套索
我正在尝试执行套索回归,其格式如下: 在最小化(Y - X w )'(Y - X w )+ λwww(是- Xw)′(是- Xw )+ λ| w |1个(Y−Xw)′(Y−Xw)+λ|w|1(Y - Xw)'(Y - Xw) + \lambda \;|w|_1 给定,建议我借助二次编程来找到最佳,二次编程采用以下形式:w ^λλ\lambdawww 最小化在,受1Xxx甲X≤b。1个2X′Q X + C ^′X12x′Qx+c′x\frac{1}{2} x'Qx + c'x甲X ≤ b 。Ax≤b.Ax \le b. 现在,我意识到应该将项转换为约束项,这非常简单。但是,我以某种方式看不到如何将第一个方程式的第一项转换为第二个方程式的第一项。我在网上找不到很多,所以决定在这里问。甲X ≤ bλλ\lambda一个X ≤ bAx≤bAx \le b

1
对数建模时的逆变换回归结果
我正在上拟合回归。通过求幂来支持变换点估计(以及置信度/预测间隔)是否有效?我不这么认为,因为但想要别人的意见。E [ f (X )] ≠ f (E [ X ] )log(y)log⁡(y)\log(y)E[f(X)]≠f(E[X])E[f(X)]≠f(E[X])E[f(X)] \ne f(E[X]) 我下面的示例显示了与反向转换的冲突(.239与.219)。 set.seed(123) a=-5 b=2 x=runif(100,0,1) y=exp(a*x+b+rnorm(100,0,.2)) # plot(x,y) ### NLS Fit f <- function(x,a,b) {exp(a*x+b)} fit <- nls(y ~ exp(a*x+b), start = c(a=-10, b=15)) co=coef(fit) # curve(f(x=x, a=co[1], b=co[2]), add = TRUE,col=2,lwd=1.2) predict(fit,newdata=data.frame(x=.7)) [1] 0.2393773 ### …

3
在线性回归中使用百分比结果有什么问题?
我有一项研究,其中许多结果都以百分比表示,并且我正在使用多个线性回归来评估某些类别变量对这些结果的影响。 我想知道,由于线性回归假设结果是连续分布,因此将这种模型应用于百分比(限制在0到100之间)是否存在方法上的问题?

3
ARIMA干预传递函数-如何可视化效果
我有一个干预措施的每月时间序列,我想量化此干预措施对结果的影响。我意识到该系列非常短,效果尚未得出结论。 数据 cds <- structure(c(2580L, 2263L, 3679L, 3461L, 3645L, 3716L, 3955L, 3362L, 2637L, 2524L, 2084L, 2031L, 2256L, 2401L, 3253L, 2881L, 2555L, 2585L, 3015L, 2608L, 3676L, 5763L, 4626L, 3848L, 4523L, 4186L, 4070L, 4000L, 3498L), .Dim=c(29L, 1L), .Dimnames=list(NULL, "CD"), .Tsp=c(2012, 2014.33333333333, 12), class="ts") 方法论 1)该auto.arima功能使用了干预前系列(直到2013年10月)。建议的模型为ARIMA(1,0,0),均值非零。ACF图看起来不错。 pre <- window(cds, start=c(2012, 01), end=c(2013, 09)) …

1
测试两个回归系数是否显着不同(理想情况下为R)
如果这是一个重复的问题,请指出正确的方法,但是我在这里发现的相似问题还不够相似。假设我估计模型Y=α+βX+uY=α+βX+uY=\alpha + \beta X + u 并找到。但是,事实证明,我怀疑,尤其是。因此,我估计了模型并找到了重要证据。然后如何测试是否?我考虑过运行另一个回归并测试。这是最好的方法吗?X = X 1 + X 2 ∂ ý / ∂ X 1 ≠ ∂ ý / ∂ X 2 ∂ ý / ∂ X 1 > ∂ ý / ∂ X 2 Ŷ = α + β 1 X 1 + β 2 …

1
工具变量如何解决选择偏见?
我想知道工具变量如何解决回归中的选择偏差。 这是我正在尝试的示例:在“ 大多数无害计量经济学”中,作者讨论了与服役和晚年收入有关的IV回归。问题是,“服兵役会增加还是减少未来的收入?” 他们在越南战争的背景下调查了这个问题。我知道不能随机分配兵役,这是因果推理的问题。 为了解决这个问题,研究人员使用了征兵资格(如“您的征兵号码被称为”)作为实际服兵役的工具。这是有道理的:越南选秀大会随机分配了年轻的美国士兵入伍(从理论上讲,选秀者是否真的对我的问题有所帮助)。我们的其他IV条件似乎是可靠的:征兵资格和实际服兵役之间有着密切的正相关关系。 这是我的问题。似乎您会出现自我选择偏见:也许较富有的孩子可以退出越南服务,即使他们的选秀号码被打电话了。(如果实际并非如此,为我的问题,让我们假装)。如果这种自我选择在我们的样本中造成系统性偏见,那么我们的工具变量如何解决这一偏见?我们是否必须将推论范围缩小到“无法逃脱草案的人的类型?” 还是IV以某种方式挽救了我们推论的那一部分?如果有人能解释它是如何工作的,我将非常感谢。

4
逻辑回归和拐点
我们有带有二进制结果和一些协变量的数据。我使用逻辑回归对数据进行建模。只是简单的分析,没什么特别的。最终输出应该是剂量响应曲线,在该曲线中,我们显示了特定协变量的概率如何变化。像这样: 我们从内部审核员(不是纯粹的统计学家)那里收到一些批评,选择逻辑回归。逻辑回归假设(或定义)S形曲线在概率标度上的拐点处于概率0.5。他认为,没有理由假定拐点确实在0.5的概率上,我们应该选择一个不同的回归模型,该模型允许拐点发生变化,以使实际位置受数据驱动。 起初我因为他的论点而措手不及,因为我从未考虑过这一点。我没有任何论点说明为什么将拐点设为0.5是合理的。经过研究后,我仍然没有这个问题的答案。 我遇到了5参数逻辑回归,其中拐点是一个附加参数,但似乎在产生具有连续结果的剂量反应曲线时通常使用此回归模型。我不确定是否以及如何将其扩展为二进制响应变量。 我想我的主要问题是为什么或何时可以确定逻辑回归的拐点为0.5?有关系吗 我从未见过有人适合逻辑回归模型并明确讨论拐点问题。是否有其他方法可以创建拐点不一定为0.5的剂量反应曲线? 为了完整起见,用于生成上面图片的R代码: dat <- read.csv("http://www.ats.ucla.edu/stat/data/binary.csv") dat$rank <- factor(dat$rank) logit <- glm(admit ~ gre + gpa + rank, family = binomial(link = "logit"), data = dat) newdata <- data.frame(gre = seq(-2000,8000,1), gpa = 2.5, rank = factor(1,c(1,2,3,4))) pp <- predict(logit, newdata, type = "response", se.fit = …

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.