Questions tagged «least-squares»

指选择参数值以最小化两个量(例如变量的观测值)和该观测值的期望值取决于参数值之间的平方差的一般估计技术。高斯线性模型由最小二乘法拟合,而最小二乘则是使用均方误差(MSE)作为评估估计量的基础。

2
最小二乘假设
假定以下线性关系: Yi=β0+β1Xi+uiYi=β0+β1Xi+uiY_i = \beta_0 + \beta_1 X_i + u_i,其中YiYiY_i是因变量,XiXiX_i的单个自变量和uiuiu_i误差项。 根据Stock&Watson(《计量经济学概论》;第4章),第三个最小二乘假设是XiXiX_i和的第四矩是uiuiu_i非零且有限的(0&lt;E(X4i)&lt;∞ and 0&lt;E(u4i)&lt;∞)(0&lt;E(Xi4)&lt;∞ and 0&lt;E(ui4)&lt;∞)(0<E(X_i^4)<\infty \text{ and } 0<E(u_i^4)<\infty)。 我有三个问题: 我不完全理解此假设的作用。如果该假设不成立,或者我们需要此假设进行推断,OLS是否有偏见且不一致? Stock和Watson写道:“这种假设限制了使用XiXiX_i或极大值进行观察的可能性uiuiu_i。” 但是,我的直觉是这种假设是极端的。如果我们有较大的离群值(例如第四矩很大),但是如果这些值仍然有限,我们会遇到麻烦吗?顺便说一句:离群值的基础定义是什么? 我们可以重新定义为:“ XiXiX_i和的峰度uiuiu_i是非零且有限的吗?”

1
数据具有不确定性的线性模型,使用R
假设我有一些不确定性的数据。例如: X Y 1 10±4 2 50±3 3 80±7 4 105±1 5 120±9 不确定度的性质可以是重复测量或实验,或例如测量仪器不确定度。 我想使用R拟合曲线,通常我会这样做lm。但是,当它给我拟合系数的不确定性以及预测间隔的不确定性时,就没有考虑数据的不确定性。查看文档,lm页面具有以下内容: 权重可以用来表示不同的观察结果具有不同的方差 因此,我认为也许这与它有关。我知道手动执行操作的原理,但是我想知道是否可以使用该lm功能执行操作。如果没有,是否还有其他功能(或包装)能够做到这一点? 编辑 看到一些评论,这里有一些澄清。举个例子: x &lt;- 1:10 y &lt;- c(131.4,227.1,245,331.2,386.9,464.9,476.3,512.2,510.8,532.9) mod &lt;- lm(y ~ x + I(x^2)) summary(mod) 给我: Residuals: Min 1Q Median 3Q Max -32.536 -8.022 0.087 7.666 26.358 Coefficients: Estimate Std. Error t …

1
加权最小二乘方权重定义:R lm函数与
谁能告诉我为什么我从R加权最小二乘法和矩阵运算的手动解中得到不同的结果? 具体来说,我正在尝试手动求解,其中是权重的对角矩阵,是数据矩阵,是响应向量。 WAx=WbWAx=Wb\mathbf W \mathbf A\mathbf x=\mathbf W \mathbf bWW\mathbf WAA\mathbf Abb\mathbf b 我正在尝试R lm使用weights参数将结果与函数进行比较。

1
普通的最小二乘是什么?
我的一个朋友最近问什么是普通的,关于普通最小二乘。我们似乎没有在讨论中取得任何进展。我们都同意OLS是线性模型的特例,它具有许多用途,众所周知,并且是许多其他模型的特例。但这真的是全部吗? 因此,我想知道: 名字的真正来源是什么? 谁是第一个使用这个名字的人?

2
在异方差下OLS渐近有效
我知道在线性回归设置下,OLS是无偏的,但在异方差下效率不高。 在维基百科 http://en.wikipedia.org/wiki/Minimum_mean_square_error MMSE估计量是渐近无偏的,并且其分布收敛到正态分布: ,其中I(x)是x的Fisher信息。因此,MMSE估计器是渐近有效的。n−−√(x^−x)→dN(0,I−1(x))ñ(X^-X)→dñ(0,一世-1个(X))\sqrt{n}(\hat{x} - x) \xrightarrow{d} \mathcal{N}\left(0 , I^{-1}(x)\right) MMSE被认为是渐近有效的。我在这里有些困惑。 这是否意味着OLS在有限样本中无效,但在异方差下渐近有效? 对当前答案的批评:到目前为止,提出的答案还没有解决限制分布的问题。 提前致谢

2
残差与潜在的干扰有何关系?
在最小二乘法中,我们要估计模型中的未知参数: Yj=α+βxj+εj(j=1...n)Yj=α+βxj+εj(j=1...n)Y_j = \alpha + \beta x_j + \varepsilon_j \enspace (j=1...n) 一旦完成(对于某些观测值),我们将获得拟合的回归线: Yj=α^+β^x+ej(j=1,...n)Yj=α^+β^x+ej(j=1,...n)Y_j = \hat{\alpha} + \hat{\beta}x +e_j \enspace (j =1,...n) 现在显然我们想检查一些图以确保满足假设。假设您要检查均方差,但是,实际上我们正在检查残差。假设您检查了残差与预测值的关系图,如果这表明我们看到了明显的异方差性,那么这与干扰项什么关系?残差中的异方差是否表示扰动方面的异方差? ejeje_jεjεj\varepsilon_j

1
将岭回归应用于欠定方程组?
当,对值施加球形限制最小二乘问题可以写成 对于超定系统,。\ | \ cdot \ | _2是向量的欧几里得范数。y=Xβ+ey=Xβ+ey = X\beta + eδδ\deltaββ\betamin ∥y−Xβ∥22s.t. ∥β∥22≤δ2min⁡ ‖y−Xβ‖22s.t.⁡ ‖β‖22≤δ2\begin{equation} \begin{array} &\operatorname{min}\ \| y - X\beta \|^2_2 \\ \operatorname{s.t.}\ \ \|\beta\|^2_2 \le \delta^2 \end{array} \end{equation}∥⋅∥2‖⋅‖2\|\cdot\|_2 \ beta的对应解ββ\beta由 β^=(XTX+λI)−1XTy ,β^=(XTX+λI)−1XTy ,\begin{equation} \hat{\beta} = \left(X^TX + \lambda I\right)^{-1}X^T y \ , \end{equation} 可以从拉格朗日乘数的方法得出(λλ\lambda是乘数): L(β,λ)=∥y−Xβ∥22+λ(∥β∥22−δ2)L(β,λ)=‖y−Xβ‖22+λ(‖β‖22−δ2)\begin{equation} \mathcal{L}(\beta,\lambda) = …


2
高斯-马尔可夫定理:BLUE和OLS
我正在阅读Wikipedia上的Guass-Markov定理,并且希望有人可以帮助我确定该定理的要点。 我们假设矩阵形式的线性模型由下式给出: 并且我们正在寻找BLUE,。y=Xβ+ηy=Xβ+η y = X\beta +\eta βˆβ^ \widehat\beta 按照此,我会标注 “残余”和 “错误”。(即与高斯-马尔可夫页面上用法相反)。η=y−Xβη=y−Xβ\eta = y - X\betaε=βˆ−βε=β^−β\varepsilon = \widehat\beta - \beta 可以将OLS(普通最小二乘)估计器导出为。||residual||22=||η||22||residual||22=||η||22||\text{residual}||_2^2 = ||\eta||_2^2 现在,让表示期望运算符。据我了解,高斯-马尔可夫定理告诉我们的是,如果且,则argmin线性,无偏估计量由与OLS估算器。EE\mathbb{E}E(η)=0E(η)=0\mathbb{E}(\eta) = 0Var(η)=σ2IVar(η)=σ2I\text{Var}(\eta) = \sigma^2 I E(||error||22)=E(||ε||22)E(||error||22)=E(||ε||22)\mathbb{E}(||\text{error}||_2^2) = \mathbb{E} (||\varepsilon||_2^2) 即 argminβˆ(y)||η||22=(X′X)−1X′y=argminlinear, unbiased βˆ(y)E(||ε||22)argminβ^(y)||η||22=(X′X)−1X′y=argminlinear, unbiased β^(y)E(||ε||22) \text{argmin}_{\text{} \widehat\beta(y)} \, ||\eta||_2^2 \;=\; (X'X)^{-1}X'y \;=\; \text{argmin}_{\text{linear, unbiased } \widehat\beta(y)} …

2
混合模型的参数,半参数和非参数引导
接下来的嫁接摘自本文。我是新手,要引导并尝试为带有R boot包的线性混合模型实现参数,半参数和非参数自举。 R代码 这是我的R代码: library(SASmixed) library(lme4) library(boot) fm1Cult &lt;- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=Cultivation) fixef(fm1Cult) boot.fn &lt;- function(data, indices){ data &lt;- data[indices, ] mod &lt;- lmer(drywt ~ Inoc + Cult + (1|Block) + (1|Cult), data=data) fixef(mod) } set.seed(12345) Out &lt;- boot(data=Cultivation, statistic=boot.fn, R=99) Out 问题 …
9 r  mixed-model  bootstrap  central-limit-theorem  stable-distribution  time-series  hypothesis-testing  markov-process  r  correlation  categorical-data  association-measure  meta-analysis  r  anova  confidence-interval  lm  r  bayesian  multilevel-analysis  logit  regression  logistic  least-squares  eda  regression  notation  distributions  random-variable  expected-value  distributions  markov-process  hidden-markov-model  r  variance  group-differences  microarray  r  descriptive-statistics  machine-learning  references  r  regression  r  categorical-data  random-forest  data-transformation  data-visualization  interactive-visualization  binomial  beta-distribution  time-series  forecasting  logistic  arima  beta-regression  r  time-series  seasonality  large-data  unevenly-spaced-time-series  correlation  statistical-significance  normalization  population  group-differences  demography 
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.