使用回归模型进行预测:何时停止?


9

为了进行预测,我从实验中计算出了一个简单的线性回归模型。我读过您不应该为偏离可用数据太远的点计算预测。但是,我找不到任何指导可以帮助我知道我可以推断的范围。例如,如果我计算50GB磁盘的读取速度,我想结果将接近实际情况。磁盘大小分别为100GB,500GB呢?我怎么知道我的预测是否接近现实?

我的实验细节如下:

我正在通过使用不同的磁盘大小来测量软件的读取速度。到目前为止,我已经通过在两次实验之间增加5GB的磁盘大小(总共6项措施)来测量5GB至30GB的磁盘空间。

我认为我的结果是线性的,标准误差很小。


2
我认为,为了获得有用的答案,您将需要大大扩展并阐明您的第二句话。
rolando2 2012年

rolando2是正确的。您的意思是“预测太多”?
大卫·罗宾逊

我找不到我已阅读的文档中使用过的确切术语。这个想法是“与我最初的措施相去太远”。因此,我测量了30 GB磁盘的读取速度。如果我预测100GB磁盘的读取速度,这“太远了”吗?
Flanfl 2012年

gung的答案足以概述所涉及的问题。在您的特定情况下可能需要帮助的另一件事是考虑阅读软件所涉及的物理过程。需要执行哪种操作?该软件是否需要在读取过程中对磁盘进行整理或分类?这些问题将有助于为线性假设提供一些基础
概率

Answers:


19

您要搜索的术语是“外推”。问题是,无论您有多少数据,以及端点之间在磁盘大小上有多少个中间级别(即5到30之间),真正的基础函数总是有一定程度的曲率,您根本没有能力检测。结果,当您从端点向外推算时,较小的曲率会被放大,因为真实函数会越来越远离拟合线。另一个可能性是,真正的函数在检查的范围内确实是完全笔直的,但是在您的研究终点附近可能有一个变化点。这些事情是不可能排除的。问题是,如果它们是真实的,它们的可能性有多大?您的预测有多不准确?我不知道如何为这些问题提供分析答案。我的预感是,当所研究的范围为[5,30]时,距离500还差得很远,但是没有真正的理由认为我的预感比您更有价值。计算预测间隔的标准公式将向您显示一个扩展间隔,当您远离x¯,看看该间隔是什么样子可能会有所帮助。但是,您需要记住,您正在做一个理论上的假设,即该直线实际上是完全笔直的,并且一直保持到用于预测的值。该预测的合法性取决于数据和拟合以及该假设。 x


2
完全同意(+1)。这个问题的答案不能严格统计。在这里与软件和计算机工程师交谈非常重要!
Dominic Comtois,2012年

感谢您的回答,这确实很有帮助。我是自学成才的,所以我缺少很多基本知识(例如,了解词汇)。
Flanfl 2012年

置信区间宽度的倒数不能被视为某种预测“强度”的指标吗?很明显,你不得不选择一些任意值,使用它..
naught101

2
@ naught101,如果您愿意假设回归线是完全笔直的,则可以将预测区间的宽度视为衡量预测强度的度量标准(w /区间越大表示预测越弱),但仍然取决于该假设。
gung-恢复莫妮卡

7

让我为@gung的出色答案添加几点:

  • 根据您的领域,可能会有相关的规范(如DIN / EN或ISO)。预测硬盘读取速度可能不是问题,但是例如在分析化学中,该规则不外。期。如果要扩展到500 GB,请进行一些测量,直到500 GB。

  • 建立线性模型的通常方法有两个重要假设

    • 显然,该函数是线性的。实际上,线性不是无穷大通常不是一个很好的假设。例如,如果您读取的数据量大于硬盘容量,您还能期望找到线性吗?

    • 通常,也假定为同方差。这意味着误差/噪声的绝对量不取决于相关项(x)变量,此处:要读取的数据量。我不确定硬盘的读数,但我经常遇到(化学/化学计量学)介于恒定的绝对噪声和恒定的相对噪声(或由于噪声源不同而导致的更复杂行为)之间的情况。
      与恒定的绝对噪声量绝对值的任何偏离都将意味着外推的预测间隔是严重错误的-通常它们会太窄。

  • 即使满足这些假设,也要考虑这种推断的预测间隔实际上有多大:

    lm校准范围 lm外推

    (我获得了一些非常不错的测量值的真实校准数据,并将其适应了您的问题)。
    请注意,预测间隔为x= 500已经是两倍大,如总差t您的校准数据跨越!如果您没有如此出色的线性数据集,则预测间隔只会“爆炸”。


1
+1,尤其是均等假设是对此处讨论的一个很好的补充。(用小写的“点”表示,意思是句号。是强调上一句中规则最终性的一种方式?)
gung-恢复莫妮卡

@gung:如果用句号来表示,那是我的意思:-)谢谢。
cbeleites对SX不满意,2014年

2
称句点“点”仅在计算机术语中真正使用,尤其是在URL中(例如,“统计点点stackexchange点com”)。这是英语中一种相当新的用法,大约有20年的历史了。
gung-恢复莫妮卡

1
感谢您的附加要点。我刚刚完成我的工作,但我希望这两个问题的答案都能对其他学生有所帮助!
Flanfl 2014年
By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.