功能数据分析和高维数据分析有什么区别


10

在统计文献中,有很多关于“ 功能数据 ”(即曲线数据)的参考,也有许多关于“ 高维数据 ”(即当数据是高维向量时)的参考。我的问题是两种数据之间的区别。

当谈论在情况1中应用的应用统计方法时,可以理解为是从情况2通过投影到函数空间的有限维子空间中对方法进行的表述,它可以是多项式,样条,小波,傅立叶等。并将函数问题转化为有限维向量问题(因为在应用数学中,所有事情在某些时候都是有限的)。

我的问题是: 我们可以说适用于功能数据的任何统计程序也可以(几乎直接)适用于高维数据,而专用于高维数据的任何程序也可以(几乎直接)适用于功能数据吗?

如果答案是否定的,您能举例说明吗?

在Simon Byrne的答案的帮助下进行编辑/更新:

  • 稀疏性(S-稀疏假设,球和弱pp < 1)被用作在高维统计分析的结构的假设。ppp<1个
  • “平滑度”在功能数据分析中用作结构假设。

另一方面,傅里叶逆变换和小波逆变换将稀疏性转换为平滑度,而通过小波和傅立叶变换将平滑度转换为稀疏度。这使得西蒙提到的关键差异不是那么关键吗?


1
平滑功能数据分析的重要组成部分,可以通过投影到适当的基础(例如,傅立叶或小波)将其转化为矢量均值估计问题,但是在功能数据分析中还存在其他问题,具体取决于翻译起来不那么容易。以功能回归为例,如果您对预测协变量的功能响应感兴趣。
vqv 2010年

Answers:


12

功能数据通常涉及不同的问题。我一直在阅读Functional Data Analysis,Ramsey和Silverman,他们花了很多时间讨论曲线配准,变形函数以及估计曲线的导数。与那些对研究高维数据感兴趣的人所提出的问题相比,这些问题往往是完全不同的问题。


完全同意 !提出的问题是不同的。从功能的角度来看,可以进行配准,地标化,衍生物估算。这说服我!因此,重要的功能数据(如统计文献中所述)将不是在连续集上定义,而是在有序集上进行索引?
罗宾吉拉德

不仅仅是在有序集合上定义它。否则,您如何区分时间序列分析和功能数据分析?我同意@ user549,因为它可以归结为所问问题的类型。它们特定于数据的结构。
vqv 2010年

15

是的,没有。从理论上讲,这两种情况都可以使用类似的技术和框架(一个很好的例子是高斯过程回归)。

关键差异是用于防止过度拟合(正则化)的假设:

  • 在功能情况下,通常会假设平滑度,换句话说,彼此接近的值应该以某种系统的方式相似。这导致使用样条,黄土,高斯过程等技术。

  • 在高维情况下,通常有一个稀疏性的假设:也就是说,只有维的一个子集会有任何信号。这导致了旨在识别那些维度的技术(套索,LARS,先验先验等)。

更新:

我没有真正考虑小波/傅立叶方法,但是是的,用于这种方法的阈值技术旨在减少投影空间中的稀疏性。相反,一些高维技术假定投影到低维流形(例如主成分分析),这是一种平滑假设。

By using our site, you acknowledge that you have read and understand our Cookie Policy and Privacy Policy.
Licensed under cc by-sa 3.0 with attribution required.