Questions tagged «least-squares»

如果我有回归模型： 其中 和，ÿ= Xβ+ εY=Xβ+ε Y = X\beta + \varepsilon V [ε]=Id∈ [Rn × nV[ε]=Id∈Rn×n\mathbb{V}[\varepsilon] = Id \in \mathcal{R} ^{n \times n}E [ε]=（0，…，0）E[ε]=(0,…,0)\mathbb{E}[\varepsilon]=(0, \ldots , 0) 什么时候使用（的普通最小二乘估计量）对估计量而言是一个糟糕的选择？β最小二乘βOLS\beta_{\text{OLS}}ββ\beta 我试图找出一个最小二乘效果不好的例子。因此，我正在寻找能够满足先前假设但产生不良结果的错误分布。如果分布族由均值和方差决定，那将是很大的。如果没有，也可以。 我知道“不好的结果”有点模糊，但我认为这个想法是可以理解的。 为了避免混淆，我知道最小二乘不是最佳的，并且有更好的估算器，例如岭回归。但这不是我的目标。我想要一个最小二乘不自然的例子。 我可以想象，误差向量位于的非凸区域中，但是我不确定。ϵϵ\epsilon[RñRn\mathbb{R}^n 编辑1：作为帮助答案的想法（我想不出进一步的方法）。为蓝色。因此，考虑线性无偏估计量何时不是一个好主意可能会有所帮助。β最小二乘βOLS\beta_{\text{OLS}} 编辑2：正如Brian指出的那样，如果的条件不好，则是一个坏主意，因为方差太大，应改用Ridge回归。我更感兴趣的是知道应该采用哪种分布，以使最小二乘无效。XX′XX′XX'β最小二乘βOLS\beta_{\text{OLS}}εε\varepsilon β最小二乘〜β+（X′X）− 1X′εβOLS∼β+(X′X)−1X′ε\beta_{\text{OLS}} \sim \beta+(X'X)^{-1}X'\varepsilon是否与零均值和方差的身份矩阵分布，使这个估计不是有效？εε\varepsilon

11 regression  distributions  least-squares 

我试图理解为什么OLS会给出AR（1）进程的有偏估计量。考虑 在此模型中，违反了严格的外生性，即和是相关的，而和是不相关的。但是，如果这是真的，那么为什么以下简单推导不成立？ ý吨ε吨ý吨-1ε吨头激动 βytϵt=α+βyt−1+ϵt,∼iidN(0,1).yt=α+βyt−1+ϵt,ϵt∼iidN(0,1). \begin{aligned} y_{t} &= \alpha + \beta y_{t-1} + \epsilon_{t}, \\ \epsilon_{t} &\stackrel{iid}{\sim} N(0,1). \end{aligned} ytyty_tϵtϵt\epsilon_tyt−1yt−1y_{t-1}ϵtϵt\epsilon_tplim β^=Cov(yt,yt−1)Var(yt−1)=Cov(α+βyt−1+ϵt,yt−1)Var(yt−1)=β+Cov(ϵt,yt−1)Var(yt−1)=β.plim β^=Cov(yt,yt−1)Var(yt−1)=Cov(α+βyt−1+ϵt,yt−1)Var(yt−1)=β+Cov(ϵt,yt−1)Var(yt−1)=β. \begin{aligned} \text{plim} \ \hat{\beta} &= \frac{\text{Cov}(y_{t},y_{t-1})}{\text{Var}(y_{t-1})} \\ &=\frac{\text{Cov}(\alpha + \beta y_{t-1}+\epsilon_{t}, y_{t-1})}{\text{Var}(y_{t-1})} \\ &= \beta+ \frac{\text{Cov}(\epsilon_{t}, y_{t-1})}{\text{Var}(y_{t-1})} \\ &=\beta. \end{aligned}

11 time-series  least-squares  bias  autoregressive  estimators 

标题说明了一切。我知道，如果模型的误差呈正态分布，则最小二乘和最大似然将为回归系数提供相同的结果。但是，如果错误不是正态分布的，会发生什么？为什么这两种方法不再等效？

10 regression  normal-distribution  maximum-likelihood  least-squares  error 

线性回归中w的闭合形式可以写成 w^=(XTX)−1XTyw^=(XTX)−1XTy\hat{w}=(X^TX)^{-1}X^Ty 我们如何直观地解释在此等式中的作用？(XTX)−1(XTX)−1(X^TX)^{-1}

10 regression  least-squares  matrix  intuition  matrix-inverse 

我一直在使用Matlab来执行无约束的最小二乘（普通最小二乘），它会自动输出系数，检验统计量和p值。 我的问题是，在执行约束最小二乘法（严格为非负系数）时，它仅输出系数，而无检验统计量，p值。 可以计算这些值以确保重要性吗？为何不能直接在软件（或与此相关的任何其他软件）上使用它？

10 regression  statistical-significance  least-squares  constrained-regression 

我正在使用R中的一些简单模拟试验误差和残差之间的关系。我发现一件事是，无论样本大小或误差方差如何，当您拟合模型时，斜率始终为111 errors∼β0+β1×residualserrors∼β0+β1×residuals {\rm errors} \sim \beta_0 + \beta_1 \times {\rm residuals} 这是我正在做的模拟： n <- 10 s <- 2.7 x <- rnorm(n) e <- rnorm(n,sd=s) y <- 0.3 + 1.2*x + e model <- lm(y ~ x) r <- model$res summary( lm(e ~ r) ) e并且r即使是小样本也具有高度（但不是完美）的相关性，但我不知道为什么会自动发生这种情况。数学或几何解释将是可理解的。

10 regression  least-squares  residuals 

我看到这个符号对于普通最小二乘这里。 minw∥Xw−y∥22minw‖Xw−y‖22 \min_w \left\| Xw - y \right\|^2_2 我从未见过双杠和底部的2。这些符号是什么意思？他们有针对他们的特定术语吗？

10 regression  least-squares  linear-model  linear-algebra  notation 

考虑以下多元回归模型：Y=Xβ+Zδ+U.(1)(1)Y=Xβ+Zδ+U.Y=X\beta+Z\delta+U.\tag{1} 这里是列向量； a矩阵; a列向量; Z a n \ times l矩阵；\增量一升\次1个的列向量; 和U，误差项，n \ times1列向量。YYYn×1n×1n\times 1XXXn×(k+1)n×(k+1)n\times (k+1)ββ\beta(k+1)×1(k+1)×1(k+1)\times 1ZZZn×ln×ln\times lδδ\deltal×1l×1l\times 1UUUn×1n×1n\times1 题 我的讲师是《计量经济学概论》教科书，第三版。 詹姆斯·H·斯托克（James H. Stock）和马克·沃森（Mark W.Watson）281，和《计量经济学：荣誉考试复习会》（PDF），第2页。7，向我表达了以下内容。 如果我们假设所谓的条件平均独立性，根据定义，这意味着E(U|X,Z)=E(U|Z),(2)(2)E(U|X,Z)=E(U|Z),E(U|X,Z)=E(U|Z),\tag{2} 并且如果满足最小二乘假设，但条件均值零假设（因此，我们假设）（请参阅1 -3以下），E(U|X,Z)=0E(U|X,Z)=0E(U|X,Z)=0E(U|X,Z)=E(U|Z)≠0E(U|X,Z)=E(U|Z)≠0E(U|X,Z)=E(U|Z) \neq 0 然后，在这个较弱的假设集合下，中的OLS估计量保持无偏且一致。β^β^\hat{\beta}ββ\beta(1)(1)(1) 我如何证明这一主张？即，1和2以上意味着OLS估计给了我们一个公正的和一致的估计？是否有任何研究文章证明这一主张？ββ\betaββ\beta 评论 最简单的情况是通过考虑线性回归模型给出并证明了OLS估计的如果每个，则是无偏的。Yi=β0+β1Xi+β2Zi+ui,i=1,2,…,n,Yi=β0+β1Xi+β2Zi+ui,i=1,2,…,n,Y_i=\beta_0+\beta_1X_i+\beta_2Z_i+u_i,\quad i=1,2,\ldots,n,β 1 β 1 È （û 我| X 我，Ž 我）= È （û 我| Ž 我）我β^1β^1\hat{\beta}_1β1β1\beta_1E(ui|Xi,Zi)=E(ui|Zi)E(ui|Xi,Zi)=E(ui|Zi)E(u_i|X_i,Z_i)=E(u_i|Z_i)iii 证明无偏的假设和共同正态分布UiUiU_iZiZiZ_i 定义，然后和因此，可以重写为通过，得出现在，由于和共同为正态分布，因此正态分布的理论请参见。推导多元正态分布的条件分布，表示（实际上，我们不需要假设联合正态性，而只需假设此同一性）对于某乘矢量V=U−E(U|X,Z)V=U−E(U|X,Z)V=U-E(U|X,Z)U=V+E(U|X,Z)U=V+E(U|X,Z)U=V+E(U|X,Z)E(V|X,Z)=0.(*)(*)E(V|X,Z)=0.E(V|X,Z)=0\tag{*}.(1)(1)(1)Y=Xβ+Zδ+E(U|X,Z)+V.(3)(3)Y=Xβ+Zδ+E(U|X,Z)+V.Y=X\beta+Z\delta+E(U|X,Z)+V.\tag{3}(2)(2)(2)Y=Xβ+Zδ+E(U|Z)+V.(4)(4)Y=Xβ+Zδ+E(U|Z)+V.Y=X\beta+Z\delta+E(U|Z)+V.\tag{4}UiUiU_iZiZiZ_i …

10 regression  multiple-regression  econometrics  least-squares  nonlinear-regression 

对于具有一个预测变量的最小二乘法： y=βx+ϵy=βx+ϵy = \beta x + \epsilon 如果和在拟合之前已标准化（即），则：xxxyyy∼N(0,1)∼N(0,1)\sim N(0,1) ββ\beta与皮尔逊相关系数。rrr ββ\beta在反射回归中相同：x=βy+ϵx=βy+ϵx = \beta y + \epsilon 对于广义最小二乘（GLS），是否同样适用？即，如果我将数据标准化，是否可以直接从回归系数中获得相关系数？ 通过对数据的实验，反射的GLS得出不同的系数，而且我不确定我是否认为回归系数与我的相关期望值相符。我知道人们引用了GLS相关系数，所以我想知道他们是如何得出的，它们的真正含义是什么？ββ\beta

10 regression  correlation  least-squares  generalized-least-squares 

我正在处理数据集。使用一些模型识别技术后，我得出了一个ARIMA（0,2,1）模型。 我使用R detectIO包TSA中的函数在对原始数据集进行第48次观察时检测到创新的离群值（IO）。 如何将这个离群值合并到模型中，以便将其用于预测？我不想使用ARIMAX模型，因为我可能无法根据R中的模型做出任何预测。还有其他方法可以做到吗？ 以下是我的价值观： VALUE <- scan() 4.6 4.5 4.4 4.5 4.4 4.6 4.7 4.6 4.7 4.7 4.7 5.0 5.0 4.9 5.1 5.0 5.4 5.6 5.8 6.1 6.1 6.5 6.8 7.3 7.8 8.3 8.7 9.0 9.4 9.5 9.5 9.6 9.8 10.0 9.9 9.9 9.8 9.8 9.9 9.9 9.6 9.4 …

10 r  time-series  arima  outliers  hypergeometric  fishers-exact  r  time-series  intraclass-correlation  r  logistic  glmm  clogit  mixed-model  spss  repeated-measures  ancova  machine-learning  python  scikit-learn  distributions  data-transformation  stochastic-processes  web  standard-deviation  r  machine-learning  spatial  similarities  spatio-temporal  binomial  sparse  poisson-process  r  regression  nonparametric  r  regression  logistic  simulation  power-analysis  r  svm  random-forest  anova  repeated-measures  manova  regression  statistical-significance  cross-validation  group-differences  model-comparison  r  spatial  model-evaluation  parallel-computing  generalized-least-squares  r  stata  fitting  mixture  hypothesis-testing  categorical-data  hypothesis-testing  anova  statistical-significance  repeated-measures  likert  wilcoxon-mann-whitney  boxplot  statistical-significance  confidence-interval  forecasting  prediction-interval  regression  categorical-data  stata  least-squares  experiment-design  skewness  reliability  cronbachs-alpha  r  regression  splines  maximum-likelihood  modeling  likelihood-ratio  profile-likelihood  nested-models 

关于OLS回归的的一个非常基本的问题R2R2R^2 运行OLS回归y〜x1，我们有一个，例如0.3R2R2R^2 运行OLS回归y〜x2，我们还有另一个，比如0.4R2R2R^2 现在我们运行回归y〜x1 + x2，该回归的R平方可以是什么值？ 我认为很明显，多元回归的应该不小于0.4，但是否有可能大于0.7？R2R2R^2

10 regression  multiple-regression  least-squares  r-squared 

帽子矩阵的重要性是什么， H=X(X′X)−1X′H=X（X′X）-1个X′H=X(X^{\prime}X )^{-1}X^{\prime}，在回归分析中？ 只是为了更容易计算吗？

10 regression  multiple-regression  least-squares 

我正在尝试在R中拟合离散时间模型，但不确定如何执行。 我读过您可以将因变量组织在不同的行中，每个时间观察行一个，并将该glm函数与logit或cloglog链接一起使用。从这个意义上讲，我有三列：ID，Event（在每个时间范围内为1或0）和Time Elapsed（自观察开始以来）以及其他协变量。 如何编写适合模型的代码？哪个因变量？我想我可以将其Event用作因变量，并将其包括Time Elapsed在协变量中。但是，会发生什么ID呢？我需要吗？ 谢谢。

10 r  survival  pca  sas  matlab  neural-networks  r  logistic  spatial  spatial-interaction-model  r  time-series  econometrics  var  statistical-significance  t-test  cross-validation  sample-size  r  regression  optimization  least-squares  constrained-regression  nonparametric  ordinal-data  wilcoxon-signed-rank  references  neural-networks  jags  bugs  hierarchical-bayesian  gaussian-mixture  r  regression  svm  predictive-models  libsvm  scikit-learn  probability  self-study  stata  sample-size  spss  wilcoxon-mann-whitney  survey  ordinal-data  likert  group-differences  r  regression  anova  mathematical-statistics  normal-distribution  random-generation  truncation  repeated-measures  variance  variability  distributions  random-generation  uniform  regression  r  generalized-linear-model  goodness-of-fit  data-visualization  r  time-series  arima  autoregressive  confidence-interval  r  time-series  arima  autocorrelation  seasonality  hypothesis-testing  bayesian  frequentist  uninformative-prior  correlation  matlab  cross-correlation 

这只是我多次遇到的示例，因此我没有任何示例数据。在R中运行线性回归模型： a.lm = lm(Y ~ x1 + x2) x1是一个连续变量。x2是分类的，具有三个值，例如“低”，“中”和“高”。但是，R给出的输出将类似于： summary(a.lm) Estimate Std. Error t value Pr(>|t|) (Intercept) 0.521 0.20 1.446 0.19 x1 -0.61 0.11 1.451 0.17 x2Low -0.78 0.22 -2.34 0.005 x2Medium -0.56 0.45 -2.34 0.005 我知道R在这种因素（x2是一个因素）上引入了某种虚拟编码。我只是想知道，如何解释x2“高”值？例如，x2在此处给出的示例中，“ High” 对响应变量有什么影响？ 我在其他地方（例如这里）已经看到了这样的示例，但是还没有找到我能理解的解释。

10 r  regression  categorical-data  regression-coefficients  categorical-encoding  machine-learning  random-forest  anova  spss  r  self-study  bootstrap  monte-carlo  r  multiple-regression  partitioning  neural-networks  normalization  machine-learning  svm  kernel-trick  self-study  survival  cox-model  repeated-measures  survey  likert  correlation  variance  sampling  meta-analysis  anova  independence  sample  assumptions  bayesian  covariance  r  regression  time-series  mathematical-statistics  graphical-model  machine-learning  linear-model  kernel-trick  linear-algebra  self-study  moments  function  correlation  spss  probability  confidence-interval  sampling  mean  population  r  generalized-linear-model  prediction  offset  data-visualization  clustering  sas  cart  binning  sas  logistic  causality  regression  self-study  standard-error  r  distributions  r  regression  time-series  multiple-regression  python  chi-squared  independence  sample  clustering  data-mining  rapidminer  probability  stochastic-processes  clustering  binary-data  dimensionality-reduction  svd  correspondence-analysis  data-visualization  excel  c#  hypothesis-testing  econometrics  survey  rating  composite  regression  least-squares  mcmc  markov-process  kullback-leibler  convergence  predictive-models  r  regression  anova  confidence-interval  survival  cox-model  hazard  normal-distribution  autoregressive  mixed-model  r  mixed-model  sas  hypothesis-testing  mediation  interaction 

Hastie和Tibshirani在其书的第4.3.2节中提到，在线性回归设置中，最小二乘法实际上是最大似然的一种特殊情况。我们如何证明这个结果？ PS：不保留任何数学细节。

9 regression  maximum-likelihood  least-squares