时空预测误差的探索性分析

13

数据：我最近致力于分析风电产量预测误差的时空场的随机特性。在形式上，可以说是一个过程在时间上两次索引（分别为和），在空间上一次索引（），其中为超前次数（等于约，有规律地采样），为“预测时间”（即发布预测的时间，在我的情况下大约为30000，定期进行采样），为多个空间位置（未网格化，在我的情况下为300）。由于这是与天气有关的过程，因此我也有大量可以使用的天气预报，分析和气象测量。

{(ϵ_{t + h | t}^{p})}_{t = 1 \dots, T; h = 1, \dots, H, p = p_{1}, \dots, p_{n}}

$\left (\epsilon^p_{t+h|t} \right )_{t=1\dots,T;\; h=1,\dots,H,\;p=p_1,\dots,p_n}$

t

$t$

h

$h$

p

$p$

H

$H$

24

$24$

T

$T$

n

$n$

问题：您能否描述一下您将对此类数据执行的探索性分析，以了解过程的相互依赖结构（可能不是线性的）的本质，以便为它提出更好的模型。

— 罗宾吉拉德
source

这是一个非常有趣的问题。是否有可能至少可以处理一部分匿名数据？以及如何生成预测，使用了哪种模型？

— mpiktas 2011年

1

@mpiktas谢谢，您可以考虑一下，它是使用合适的AR建模生成的（每个风电场一个），它不会改变很多问题。抱歉，这些数据存在太多保密性问题，无法为您提供任何信息，甚至不具名...

— robin girard 2011年

6

在我看来，您有足够的数据来建模对预报误差的偏差（即系统性地高估/低估[第一时刻]的趋势）及其方差[第二时刻]的时空依赖性和气象影响的模型。

为了探究偏差，我只需要做很多散点图，热图或十六进制图。为了探讨变异性，我只是对原始误差进行平方，然后再次进行大量散点图，热图或六角图。如果您有很多偏见，这当然不是完全没有问题，但是仍然可能有助于查看受协变量影响的异方差模式。

我的同事做了一个不错的技术报告，详细介绍了一种非常灵活的方法来拟合此类模型（如有必要，还可以对更高的矩进行建模），并且基于以下方法也具有良好的实现R能力gamboostLSSmboost：Mayr，Andreas; 诺拉·芬斯基；本杰明·霍夫纳；Kneib，Thomas和Schmid，Matthias（2010）：针对高维数据的GAMLSS –基于增强的灵活方法。。假设您可以访问具有大量RAM的计算机（您的数据集似乎是BIG），则可以估算各种半参数效应（例如空间效应的光滑表面估计器或和的联合效应） $t$ $h$ ，张量乘积样条曲线以表示不同时空的时空效应或气象效应的平滑相互作用等。并同时执行术语选择，以得到一个简约且可解释的模型。希望该模型中的项足以说明预测误差的时空自相关结构，但您可能应该检查这些模型的残差以进行自相关（即查看一些变异函数和ACF）。

— 法比安人
source

+1感谢Fabians，您完全正确，问题不在于我没有足够的数据。请注意，我的问题尤其是关于相互依存结构的。如果将散点图，热图和六边形图用于良好目的，则它们是很好的工具。我认为一般的加性模型也可能非常强大，Brillinger的精彩论文为如何使用GAM提供了很好的提示。

— 罗宾吉拉德2011年

5

我们（和我的同事）终于在那篇论文上写了一篇论文。总结一下，我们提出了两种解决方案，以量化并给出沿丹麦和预见时间的误差（时空）传播的统计摘要。

在第一个中，我们计算所有风场对之间和所有对提前时间之间的相关性（这是4个变量的函数）。当一对固定时，我们证明了相关函数在向前看时具有局部最大值，我们说这是传播！与给定的一对风电场相关的时间尺度由时间滞后给出，以获得该局部最大值。对于所有成对的风电场，绘制局部相关最大值，允许获得该值的时间滞后以及连接风电场的空间矢量，得出图1的右侧。

这可以用于计算全局传播向量，即成对之间的传播速度的某种空间平均值。部分错误显示在图1的左侧，并猜测错误传播的是Denamrk中的West East（好吧，这并不奇怪：）。我们还针对不同的气象情况对此进行了有条件的分析，以显示传播与风（速度，方向）之间的关系。

$t$ $t$ $R^2$

在第二种情况下，我们观察到时间平均传播速度与第一种情况下的空间平均值具有相似的磁化强度。如果您想更认真地看待这项工作，请点击此处。

— 罗宾吉拉德
source

+1感谢您的分享。（对不起，当它最初出现时我错过了这个问题。）您是否考虑过根据提前时间绘制交叉变异图？最有效的方法将不是传统的平滑方向变异函数云。相反，请使用变异函数云密度的二维图。然后，您可以构造这些变量的交叉变异图以探索时间关系。您的传播结果应自动从此类分析中弹出。

— ub

@whuber感谢您的评论，我很难相信您在此站点上错过了2或3个以上的问题:)。您对方差图的想法似乎联系在一起（我不太习惯使用方差图，我通常认为，可以用方差图表示的所有内容实际上都具有协方差...），我会考虑一下。

— 罗宾吉拉德

您是正确的，在许多应用中，协方差等效于方差图。但是，方差图云同时提供了视觉和概念上的补充，而纯协方差函数似乎无法提供这些效果–有点像查看散点图，而不仅仅是相关矩阵：您有时会看到数字无法清楚显示的模式。

— ub