这是一个简单的情况;让我们保持它。 关键是着重于重要事项:
获得有用的数据描述。
评估与该描述的个体差异。
评估机会在解释中的可能作用和影响。
保持知识完整性和透明度。
仍然有许多选择,许多形式的分析将是有效和有效的。让我们在这里举例说明一种可以遵循这些关键原则的方法。
为了保持完整性,让我们将数据分成两半:从1972年至1990年的观测值和从1991年至2009年的观测值(每个观测期均为19年)。我们将模型拟合到上半部分,然后查看拟合在投影下半部分时的效果。这具有检测下半年可能发生的重大变化的额外优势。
为了获得有用的描述,我们需要(a)找到一种方法来测量变化,并且(b)拟合最适合这些变化的最简单模型,对其进行评估,并迭代拟合更复杂的模型以适应与简单模型的偏差。
(a)您有很多选择:可以查看原始数据;您可以查看他们的年度差异;您可以对数执行相同操作(以评估相对变化);您可以评估失去的寿命或相对预期寿命(RLE);或许多其他事情。经过一番思考,我决定考虑RLE,RLE定义为同类群组B的预期寿命与(参考)同类群组A的预期寿命之比。幸运的是,如图表所示,同类群组A的预期寿命在稳定地增长随时间推移而流行,因此RLE中的大多数随机外观变化将归因于同类群组B的变化。
(b)最简单的可能模型是线性趋势。让我们看看它的效果如何。
该图中的深蓝色点是保留用于拟合的数据。浅金色点是后续数据,不用于拟合。黑线是合适的,斜率为0.009 /年。虚线是各个未来值的预测间隔。
总体而言,拟合看起来不错:对残差的检查(请参见下文)显示,其大小随时间的推移(在1972-1990年数据期间)没有重大变化。(有迹象表明,当预期寿命很低时,它们往往会在早期变得更大。我们可以通过牺牲一些简单性来处理这种并发症,但是估计趋势的好处不太可能是巨大的。)这只是最微小的提示序列相关性(由一些正残差和一些负残差表示),但显然这并不重要。没有异常值,这可以通过超出预测范围的点来表示。
令人惊讶的是,在2001年,这些值突然下降到较低的预测范围并停留在该范围内:有些事情突然发生并持续存在。
这是残差,是与前面提到的描述的偏差。
因为我们想将残差与0进行比较,所以将垂直线绘制到零水平作为视觉辅助。同样,蓝点显示用于拟合的数据。浅金色的那些是数据的残差,该残差接近于2000年后的预测下限。
根据该图,我们可以估计2000-2001年变化的影响约为-0.07。这反映出同类群组B的整个生存期突然下降了0.07(7%)。在下降之后,残差的水平模式表明先前的趋势继续,但处于新的较低水平。分析的这一部分应视为探索性的:它不是专门计划的,但是由于保留的数据(1991-2009年)与其余数据的拟合度之间令人惊讶的比较而产生。
另一件事-即使仅使用最早的19年数据,斜率的标准误差也很小:只有0.00009,仅为.009估计值的十分之一。具有17个自由度的相应t统计量10非常重要(p值小于10− 7); 也就是说,我们可以确信趋势并非偶然。 这是我们评估机会在分析中的作用的一部分。其他部分是残差的检查。
似乎没有理由将更复杂的模型拟合到这些数据,至少不是为了估计RLE随时间推移是否存在真正的趋势:有一个。我们可以进一步将数据分为2001年前的值和2000以后的值,以完善我们的估算趋势,但进行假设检验并非完全诚实。p值将人为地降低,因为分裂测试不是预先计划的。但是,作为探索性练习,这样的估算是可以的。从数据中学到一切!请注意不要过度拟合(如果您使用大约六个以上的参数或使用自动拟合技术,这几乎肯定会发生)或数据监听,以免欺骗自己:对正式确认与非正式确认之间的差异保持警惕(但有价值的)数据探索。
让我们总结一下:
通过选择适当的预期寿命度量(RLE),保留一半的数据,拟合简单的模型并针对其余数据测试该模型,我们可以高度确信地确定:趋势是一致的;长期以来一直接近线性;RLE在2001年突然持续下降。
我们的模型非常简单:只需两个数字(斜率和截距)即可准确描述早期数据。它需要三分之一(中断日期,2001年)来描述明显但出乎意料的偏离。相对于此三参数描述,没有异常值。通过表征序列相关性(通常是时间序列技术的重点),尝试描述所显示的较小的个体偏差(残差)或引入更复杂的拟合(例如添加二次时间分量),将不会对该模型进行实质性的改进。或建模残差大小随时间的变化)。
趋势是每年0.009 RLE。这意味着,随着时间的流逝,同类群组B的预期寿命已经增加了预期全部正常寿命的0.009(几乎是1%)。在研究过程中(37年),这相当于整个生命周期改善的三分之一,即37 * 0.009 = 0.34 =三分之一。2001年的挫折使该收益从1972年到2009年减少到整个生命周期的约0.28(即使在此期间,整体预期寿命增加了10%)。
尽管可以改进此模型,但可能需要更多参数,并且改进的幅度不太可能很大(因为残差的近似随机行为证明了这一点)。因此,总的来说,我们应该满足于对如此少的分析工作进行如此紧凑,有用,简单的数据描述。