获得线性模型中预测极限的公式(即预测间隔)


18

让我们来看下面的例子:

set.seed(342)
x1 <- runif(100)
x2 <- runif(100)
y <- x1+x2 + 2*x1*x2 + rnorm(100)
fit <- lm(y~x1*x2)

这将使用OLS回归基于x1和x2创建y模型。如果我们希望针对给定的x_vec预测y,则可以简单地使用从中获得的公式summary(fit)

但是,如果我们要预测y的上下预测怎么办?(对于给定的置信度)。

那我们将如何建立公式?


本页的“ 新观察置信区间”部分可能会有所帮助。
GaBorgulya

@Tal对不起,但是我对“预测y的上下预测”的实际含义并不清楚。它与预测或公差带有关吗?
chl

@Tal-几个查询。当您说“ .. y基于x1和x2,使用OLS回归。” ,您的意思是创建一个线性模型并使用OLS估计参数。我对吗?和@chl的问题-您是否要预测预测间隔的上限和下限?
suncoolsu 2011年

@chl,对不起您不清楚。我正在寻找两个公式,这些公式将给出一个间隔,该间隔将在95%的时间中“捕获” y的“实际”值。我觉得我是如何使用CI的平均值的,当我可能还要使用其他术语时,对此感到抱歉...
Tal Galili

@suncoolsu-是的,是的。
Tal Galili

Answers:


25

您将需要矩阵算术。我不确定Excel将如何配合使用。无论如何,这里是细节。

假设您的回归写为y=Xβ+e

为行向量,其中包含预测的预测值(与X相同的格式)。然后,预测由下式给出 Ŷ = X * β = X *X ' X - 1 X ' ý 与相关联的方差 σ 2 [ 1 + X *X ' X - 1X *XX

y^=Xβ^=X(XX)1XY
σ2[1+X(XX)1(X)].
然后可以计算出95%预测区间(假设正态分布误差)作为 ÿ ± 1.96 这考虑了由于误差项e引起的不确定性和系数估计中的不确定性。但是,它会忽略 X中的任何错误
y^±1.96σ^1+X(XX)1(X).
e。因此,如果预测变量的未来值不确定,则使用此表达式计算的预测间隔将太窄。X

1
+1,很好的答案。不过,我应该指出,回归模型总是估计条件期望值,因此它与回归模型一样好。因此,最后一条评论虽然非常好,但并非绝对必要,因为如果您建立回归模型,则必须信任回归者。
mpiktas 2011年

y^=Xβ+X(XX)1Xevary^=varX(XX)1Xe=σ2X(XX)1(X)

y^

N×N

X

7

您是否在不同类型的预测间隔之后碰巧?该predict.lm手册有

 ## S3 method for class 'lm'
 predict(object, newdata, se.fit = FALSE, scale = NULL, df = Inf, 
         interval = c("none", "confidence", "prediction"),
         level = 0.95, type = c("response", "terms"),
         terms = NULL, na.action = na.pass,
         pred.var = res.var/weights, weights = 1, ...)

设置“间隔”指定在指定的“级别”上计算置信度或预测(公差)间隔,有时称为窄与宽间隔。

那是你的想法吗?


嗨,Dirk,的确是我希望找到的东西,但是我希望上下键采用公式的形式(以便以后以某种较低形式的统计软件来实现,例如excel ...)
Tal Galili

ps:我现在看到对我的问题的标题进行了编辑,可能使您认为我在询问关于predict.lm interval参数(不是):)
Tal Galili

8
您在这里滥用术语。Excel不是统计软件。
Dirk Eddelbuettel 2011年

1
是的,我的出价是“电子表格应用程序”呢?
Tal Galili

3
我可以忍受这一点; 它以恶魔的名字叫魔鬼;-)
Dirk Eddelbuettel 2011年

6

@Tal:可能我建议Kutner等人作为线性模型的绝佳来源。

E(Y|Xvec)以及3)来自x_vec的多个实例的Y-全部在文本中详细介绍。

E(Y|Xvec)Y^ ±αY^Y^Y^σ2nXvecX¯)2σ2(XiX¯)2


1
(+1)进行区分。但是,我认为OP要求的是(1),而不是(2)(并且我已经相应地编辑了问题的标题)。还要注意,您的公式似乎假设回归仅取决于一个变量。
whuber
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.