加权最小二乘方权重定义:R lm函数与


9

谁能告诉我为什么我从R加权最小二乘法矩阵运算的手动解中得到不同的结果?

具体来说,我正在尝试手动求解,其中是权重的对角矩阵,是数据矩阵,是响应向量。 WAx=WbWAb

我正在尝试R lm使用weights参数将结果与函数进行比较。

在此处输入图片说明


我编辑过标签:这绝对不是[自学]。它也不是真正意义上的GLS(而是一个非常特殊的情况),所以我也删除了那个。
变形虫

Answers:


13

从计算的数学表达式中可以看出,

((WA)(WA))1个w ^一个w ^b=一个w ^2一个-1个一个w ^2b

显然,你的权重是,不。因此,您应该将答案与的输出进行比较w ^2w ^

> lm(form, mtcars, weights=w^2)
Coefficients:
      wt        hp      disp  
14.12980   0.08391  -0.16446 

该协议是完美的(在浮点误差内-内部R使用数值上更稳定的算法。)


1
可以说,我们在这里只是在谈论软件约定:软件在哪里期望“权重”,是否希望您给它或?我认为这是一个有价值的问题,因为该问题可能会影响任何统计数据包。无论采用哪种约定,在此答案中进行的简要分析都表明“权重”的替代解释可能是合理的,并且在任何情况下都值得尝试。w ^w ^2
ub

是的,我认为这很令人困惑,我从吉尔伯特·斯特朗(Gilbert Strang)的线性代数书8.6章中得到了表达,他说加权最小二乘只是从到的调整一个X=bw ^一个X=w ^b
Haitao Du

8
斯特兰是正确的,但他的教学方向是倒退的:他从答案而不是问题开始。问题涉及当残差方差已知值不同时如何执行最小二乘法的模拟。由于各种(但简单的)理论原因,数据应按反方差(有时称为“精度”)加权。由此可以得出必须是权重的平方根w ^
ub
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.