如何比较2个非平稳时间序列以确定相关性?


11

我有两个数据系列,绘制了随时间推移的死亡中位数。这两个系列都显示出随着时间的推移死亡年龄会增加,但比另一个低得多。我想确定较低样本的死亡年龄增加是否与较高样本的死亡年龄明显不同。

以下是按年份(从1972年到2009年,包括1972年)排序的数据,四舍五入到小数点后三位:

Cohort A    70.257  70.424  70.650  70.938  71.207  71.263  71.467  71.763  71.982  72.270  72.617  72.798  72.964  73.397  73.518  73.606  73.905  74.343  74.330  74.565  74.558  74.813  74.773  75.178  75.406  75.708  75.900  76.152  76.312  76.558  76.796  77.057  77.125  77.328  77.431  77.656  77.884  77.983
Cohort B    5.139   8.261   6.094   12.353  11.974  11.364  12.639  11.667  14.286  12.794  12.250  14.079  17.917  16.250  17.321  18.182  17.500  20.000  18.824  21.522  21.500  21.167  21.818  22.895  23.214  24.167  26.250  24.375  27.143  24.500  23.676  25.179  24.861  26.875  27.143  27.045  28.500  29.318

这两个系列都不固定-请问如何比较两个?我正在使用STATA。任何建议将不胜感激。

数据图


如果您提供的数据链接是Matt,我们可以编辑您的问题以包括这些数据。
whuber

非常感谢您对我的困境感兴趣-链接到添加的数据。任何帮助将是appreciated.Matt
马特·赫利

@ Matt:浏览您的数据,看起来它们都是上升趋势。因此,您实质上对一个群体比另一个群体增长更快的假设感兴趣吗?
Andrew

是的,安德鲁-较高的人群是一般人群,而死亡年龄较弱的人群是同一状况的一群人。零假设是,如果它们紧密相关,则生存率的任何改善都可能是由于共同因素(而不是改善对所述疾病的照护)。
马特·赫利

不管增加多少,无论增加多少,都明显不同,因此无需正式测试。(您将获得的p值10-10几乎无论您如何评估和比较斜率,也无论如何对变化建模,都差不多。)预期寿命差异以每年0.83%的速度呈指数下降。有趣的是,同类群组B在2001年突然遭遇挫折。这种变化-相当于立即损失了六年的进度-具有统计学意义。
ub

Answers:


14

这是一个简单的情况;让我们保持它。 关键是着重于重要事项:

  • 获得有用的数据描述。

  • 评估与该描述的个体差异。

  • 评估机会在解释中的可能作用和影响。

  • 保持知识完整性和透明度。

仍然有许多选择,许多形式的分析将是有效和有效的。让我们在这里举例说明一种可以遵循这些关键原则的方法。

为了保持完整性,让我们将数据分成两半:从1972年至1990年的观测值和从1991年至2009年的观测值(每个观测期均为19年)。我们将模型拟合到上半部分,然后查看拟合在投影下半部分时的效果。这具有检测下半年可能发生的重大变化的额外优势。

为了获得有用的描述,我们需要(a)找到一种方法来测量变化,并且(b)拟合最适合这些变化的最简单模型,对其进行评估,并迭代拟合更复杂的模型以适应与简单模型的偏差。

(a)您有很多选择:可以查看原始数据;您可以查看他们的年度差异;您可以对数执行相同操作(以评估相对变化);您可以评估失去的寿命或相对预期寿命(RLE);或许多其他事情。经过一番思考,我决定考虑RLE,RLE定义为同类群组B的预期寿命与(参考)同类群组A的预期寿命之比。幸运的是,如图表所示,同类群组A的预期寿命在稳定地增长随时间推移而流行,因此RLE中的大多数随机外观变化将归因于同类群组B的变化。

(b)最简单的可能模型是线性趋势。让我们看看它的效果如何。

图1

该图中的深蓝色点是保留用于拟合的数据。浅金色点是后续数据,不用于拟合。黑线是合适的,斜率为0.009 /年。虚线是各个未来值的预测间隔。

总体而言,拟合看起来不错:对残差的检查(请参见下文)显示,其大小随时间的推移(在1972-1990年数据期间)没有重大变化。(有迹象表明,当预期寿命很低时,它们往往会在早期变得更大。我们可以通过牺牲一些简单性来处理这种并发症,但是估计趋势的好处不太可能是巨大的。)这只是最微小的提示序列相关性(由一些正残差和一些负残差表示),但显然这并不重要。没有异常值,这可以通过超出预测范围的点来表示。

令人惊讶的是,在2001年,这些值突然下降到较低的预测范围并停留在该范围内:有些事情突然发生并持续存在。

这是残差,是与前面提到的描述的偏差

图2

因为我们想将残差与0进行比较,所以将垂直线绘制到零水平作为视觉辅助。同样,蓝点显示用于拟合的数据。浅金色的那些是数据的残差,该残差接近于2000年后的预测下限。

根据该图,我们可以估计2000-2001年变化的影响约为-0.07。这反映出同类群组B的整个生存期突然下降了0.07(7%)。在下降之后,残差的水平模式表明先前的趋势继续,但处于新的较低水平。分析的这一部分应视为探索性的:它不是专门计划的,但是由于保留的数据(1991-2009年)与其余数据的拟合度之间令人惊讶的比较而产生。

另一件事-即使仅使用最早的19年数据,斜率的标准误差也很小:只有0.00009,仅为.009估计值的十分之一。具有17个自由度的相应t统计量10非常重要(p值小于10-7); 也就是说,我们可以确信趋势并非偶然。 这是我们评估机会在分析中的作用的一部分。其他部分是残差的检查。

似乎没有理由将更复杂的模型拟合到这些数据,至少不是为了估计RLE随时间推移是否存在真正的趋势:有一个。我们可以进一步将数据分为2001年前的值和2000以后的值,以完善我们的估算趋势,但进行假设检验并非完全诚实。p值将人为地降低,因为分裂测试不是预先计划的。但是,作为探索性练习,这样的估算是可以的。从数据中学到一切!请注意不要过度拟合(如果您使用大约六个以上的参数或使用自动拟合技术,这几乎肯定会发生)或数据监听,以免欺骗自己:对正式确认与非正式确认之间的差异保持警惕(但有价值的)数据探索。

让我们总结一下:

  • 通过选择适当的预期寿命度量(RLE),保留一半的数据,拟合简单的模型并针对其余数据测试该模型,我们可以高度确信地确定:趋势是一致的;长期以来一直接近线性;RLE在2001年突然持续下降。

  • 我们的模型非常简单:只需两个数字(斜率和截距)即可准确描述早期数据。它需要三分之一(中断日期,2001年)来描述明显但出乎意料的偏离。相对于此三参数描述,没有异常值。通过表征序列相关性(通常是时间序列技术的重点),尝试描述所显示的较小的个体偏差(残差)或引入更复杂的拟合(例如添加二次时间分量),将不会对该模型进行实质性的改进。或建模残差大小随时间的变化)。

  • 趋势是每年0.009 RLE。这意味着,随着时间的流逝,同类群组B的预期寿命已经增加了预期全部正常寿命的0.009(几乎是1%)。在研究过程中(37年),这相当于整个生命周期改善的三分之一,即37 * 0.009 = 0.34 =三分之一。2001年的挫折使该收益从1972年到2009年减少到整个生命周期的约0.28(即使在此期间,整体预期寿命增加了10%)。

  • 尽管可以改进此模型,但可能需要更多参数,并且改进的幅度不太可能很大(因为残差的近似随机行为证明了这一点)。因此,总的来说,我们应该满足于对如此少的分析工作进行如此紧凑,有用,简单的数据描述。


:识别出的一次脉冲在机智的预测中不起作用:– IrishStat 2011
11

2

我认为,对于像我这样的非时间序列的人来说,胡布尔的答案很简单,也是一个简单的答案。我以他为基础。我的答案是R,而不是Stata,因为我不太了解stata。

我想知道问题是否在问我们,看看这两个队列(而不是相对)中的绝对同比增长是否相同。我认为这很重要,并说明如下。考虑以下玩具示例:

a <- 21:40
b <- 41:60
x <- 1:20
plot(y = a, x = x, ylim = c(0, 60))
points(y = b, x = x, pch = 2)

在此处输入图片说明

在这里,我们有2个队列,每个队列的中位生存期每年稳定增长1年。因此,在此示例中,两个队列每年都以相同的绝对值增长,但是RLE给出以下内容:

rle <-  a / b
plot(rle)

在此处输入图片说明

显然具有上升趋势,并且p值检验线0的梯度为2.2e-16的假设。拟合的直线(忽略该直线看起来是弯曲的)的坡度为0.008。因此,即使两个队列的绝对绝对值都在一年中增加,RLE的斜率也有所上升。

因此,如果您要使用RLE来寻找绝对增加值,那么您将不适当地拒绝原假设。

使用提供的数据,计算得到的同类群组之间的绝对差: 在此处输入图片说明

这意味着中位生存期之间的绝对差异正在逐渐减小(即,生存期较差的人群逐渐接近生存期较好的人群)。


:Andrew注意图的末尾有两个残差簇。这表明您的分析中可能存在缺陷。不幸的是,即使是熟练的数学家和熟练的统计学家有时也不是时序人。我建议的是时间序列分析的标准操作程序。
IrishStat

@andrew不错的回复。我投票赞成,我相信您的资格!
亚当

1
:Adam谢谢您的好话。您会注意到,在过去40年中,我只专注于时间序列问题/问题,因为我在该领域具有专长。
IrishStat

@IrishStat轻触话语。很好的经验,自从我出生以来,您就一直在像我一样放朋克。
亚当

:Adam整个想法是帮助他人。我真的希望情况确实如此。我对“朋克”一词感到困惑,因为我根本没有那种感觉。只是想帮助!
IrishStat

1

这两个时间序列似乎具有确定性趋势。这显然是您要在进一步分析之前删除的一种关系。就个人而言,我将进行以下操作:

1)我将针对一个常数和一个时间对每个时间序列进行回归,并计算每个时间序列的残差。

2)取上一步中计算的两个残差序列,我将运行简单的线性回归(无常数项)并查看t统计量,p值,并确定是否存在进一步的依存关系两个系列。

该分析假设您在线性回归中所做的假设相同。


:user3544对常量进行时间回归是去趋势的一种形式,它是预先变白的一种形式;差异化是预增白的另一种形式:两者都是假定性的,因为可能存在多种趋势或差异化运算符的不同形式。请注意,微分算子是ARIMA滤波器的特例,该滤波器将序列转换为白噪声。总的来说,人们希望对X进行过滤以使其成为噪声(x),然后将其应用于Y以产生y(不一定是白噪声),以识别结构或Y与X之间的传递
。– IrishStat

:User3544我应该为您使用简单而不复杂的单一趋势而称赞,但我认为有时不应该是假设性的。如果系列中存在水平移动或有许多趋势,那么简单的趋势通常是无用的。关于参数恒定性的测试假设必须是稳健的,并且在人们寻找参数可能已更改的时间点的过程中进行,而不是使用Chow Test随意目测选择该点。众所周知,异常值向下偏置测试自相关,这就是为什么需要检测它们。
IrishStat

爱尔兰统计局(IrishStat):您的鼓掌受到了良好的欢迎和听到.. :)我完全同意您的评论,但是,考虑到两个时间序列的图,我认为“让我们保持简单” .. :)
Lalas

1
:user3544我最喜欢爱因斯坦的话是“让一切尽可能简单,但不要简单”或重述使模型尽可能简单,但不要简单,因为有些人认为简单是目标,而它可能是分析不足的原因。在这种情况下,您的建议足以说明两个同类群组之间的同期相关性和滞后相关性,同时阐明了级别转换。了解更多:brainyquote.com/quotes/quotes/a/…
IrishStat

0

在某些情况下,我们知道一种理论模型,可以用来检验您的假设。在我的世界中,通常不存在“知识”,因此必须借助统计技术将其归类为探索性数据分析,该技术总结了以下内容。在分析非平稳时间序列数据(即具有自相关特性)时,需要进行简单的互相关检验在容易发现误报的范围内,通常会产生误导。对此的最早分析之一是在1926年的尤勒(Yule)中找到的,“为什么有时有时会在时间序列之间获得无意义的关联?抽样研究和时间序列的性质”,《皇家统计学会杂志》 89,第1期– 64。或者,当一系列活动中的一个或多个活动本身受到异常活动的影响时(请参阅“呜咽” 组别B在2001年突然倒退),可以有效地隐藏重要的关系。现在,检测时间序列之间的关系不仅可以检查同期关系,还可以检查可能的滞后关系。继续,如果两个系列都受到异常(一次性事件)的影响,那么我们必须通过调整这些一次性失真来加强我们的分析。时间序列的文献指出了如何通过预增白来识别关系,以便更清楚地识别结构。在识别相互关联的结构之前,预增白会针对内部关联的结构进行调整。注意,关键字是标识结构。这种方法很容易导致以下“有用模型”:现在,检测时间序列之间的关系不仅可以检查同期关系,还可以检查可能的滞后关系。继续,如果两个系列都受到异常(一次性事件)的影响,那么我们必须通过调整这些一次性失真来加强我们的分析。时间序列的文献指出了如何通过预增白来识别关系,以便更清楚地识别结构。在识别相互关联的结构之前,预增白会针对内部关联的结构进行调整。注意,关键字是标识结构。这种方法很容易导致以下“有用模型”:现在,检测时间序列之间的关系不仅可以检查同期关系,还可以检查可能的滞后关系。继续,如果两个系列都受到异常(一次性事件)的影响,那么我们必须通过调整这些一次性失真来加强我们的分析。时间序列的文献指出了如何通过预增白来识别关系,以便更清楚地识别结构。在识别相互关联的结构之前,预增白会针对内部关联的结构进行调整。注意,关键字是标识结构。这种方法很容易导致以下“有用模型”:如果任何一个系列都受到异常(一次性事件)的影响,那么我们必须通过调整这些一次性失真来加强我们的分析。时间序列的文献指出了如何通过预增白来识别关系,以便更清楚地识别结构。在识别相互关联的结构之前,预增白会针对内部关联的结构进行调整。注意,关键字是标识结构。这种方法很容易导致以下“有用模型”:如果任何一个系列都受到异常(一次性事件)的影响,那么我们必须通过调整这些一次性失真来加强我们的分析。时间序列的文献指出了如何通过预增白来识别关系,以便更清楚地识别结构。在识别相互关联的结构之前,预增白会针对内部关联的结构进行调整。注意,关键字是标识结构。这种方法很容易导致以下“有用模型”:注意,关键字是标识结构。这种方法很容易导致以下“有用模型”:注意,关键字是标识结构。这种方法很容易导致以下“有用模型”:

Y(T)= -194.45
+ [X1(T)] [(+ 1.2396+ 1.6523B ** 1)]

   +[X2(T)][(- 3.3924)]                :PULSE          3

   +[X3(T)][(- 2.4760)]                :LEVEL SHIFT   30 reflecting persistant  unusal activity

   +[X4(T)][(+ 1.1453)]                :PULSE         29

   +[X5(T)][(- 2.7249)]                :PULSE         11

   +[X6(T)][(+ 1.5248)]                :PULSE         27

   +[X7(T)][(+ 2.1361)]                :PULSE          4

   +[X8(T)][(+ 1.6395)]                :PULSE         13

   +[X9(T)][(- 1.6936)]                :PULSE         12

   +[X10(T)[(- 1.6996)]                :PULSE         19

   +[X11(T)[(- 1.2749)]                :PULSE         10

   +[X12(T)[(- 1.2790)]                :PULSE         17

  +       [A(T)]

这表明当代关系为1.2936,滞后效应为1.6523。请注意,在许多年中,发现异常活动。(1975、2001、1983、1999、1976、1985、1984、1991和1989)。这些年的调整使我们能够更清楚地评估这两个系列之间的关系。

在做出预测方面

表示为XARMAX的模型
Y [t] = a [1] Y [t-1] + ... + a [p] Y [tp]
+ w [0] X [t-0] + ... + w [r] X [tr]
+ b [1] a [t-1] + ... + b [q] a [tq]
+常数

右侧常量为:-194.45

COHORTA 0 1.239589 X(39)* 78.228616 = 96.971340

菜鸟1 1.652332 X(38)* 77.983000 = 128.853835

I〜L00030 0 -2.475963 X(39)* 1.000000 = -2.475963

      NET PREDICTION FOR Y(    39 )=                     28.894826 

从ARIMA模型获得的对Cohorta进行预测的39个时段(78.228616),当然是对CohortA进行预测所需要的四个系数。


4
38年中有9年表现出“异常”活动?在具有(显然)25个参数的模型中?这种解释出了点问题。除了所有这些脉冲和电平移动之外,您是否还发现了队列b趋势中的非线性成分?
ub

2
右栏中的数字是什么(3、30、29、11等)?它们似乎是数据描述的一部分,因此也是参数。即使我们不计算它们,使用14个参数来描述38个值,尤其是当问题仅是“是否存在趋势吗?”时,也显得过分。就此而言,趋势到底是什么?在所有这些估计中,哪里可以找到答案?如果有医生要问您,“好吧,自1972年以来B组患者取得了什么成就”,您能用一个清晰​​的句子告诉他们吗?
ub

2
关于“非常有力的预测”:我可能会误解您的模型的含义,但是总的来说,对将某人数据的四分之一识别为“异常”并需要“调整”的方法(时间序列或其他方法)进行更好的描述将是“过拟合”和“不必要复杂”。您对同类群组B没有趋势的主张简直令人难以置信。
ub

2
@Adam,因为此分析本质上忽略了10个“脉冲”中包含的有关变异性的信息,所以它围绕预测放置的任何预测带都将过于乐观(太紧)。此外,包含所有数据的更深层次的分析(与我的仅包括前半部分的说明性分析不同)将检测到与趋势略有下降一致的非线性成分,此处也未检测到。比预测更重要的是了解2000-2001年的影响:如果可以重复,那么所有预测都可能是错误的。
ub

1
@whuber我当然不知道所有的技术术语,但是您的解释很有道理。非常感谢。
亚当

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.