可疑地使用信号处理原理来识别趋势

我建议尝试在一些非常嘈杂的长期数据中找到趋势。数据基本上是在大约8个月的时间内每周对大约5mm的物体进行测量。数据精确到1毫米，并且非常嘈杂，每周定期更改+/- 1或2毫米。我们只有到最接近毫米的数据。

我们计划使用一些具有快速傅立叶变换的基本信号处理来从原始数据中分离出噪声。基本的假设是，如果我们镜像数据集并将其添加到现有数据集的末尾，则可以创建数据的完整波长，因此我们的数据将以快速傅立叶变换显示，我们希望可以将其分离出来。

考虑到这对我来说有点怀疑，这是值得推荐的方法，还是镜像和附加我们的数据集的方法在某种程度上有根本性的缺陷？我们正在寻找其他方法，例如也使用低通滤波器。

对我来说这听起来有些狡猾，因为趋势估计会在您拼接错误数据的点附近出现偏差。另一种方法是使用非参数回归平滑器，例如黄土或样条曲线。

如果要使用信号处理过滤掉长期趋势，为什么不仅仅使用低通呢？

我能想到的最简单的事情就是指数移动平均线。

我认为您可能会在粘贴点上出现一些失真，因为并非所有基础波都将很好地连接。

我建议为此使用希尔伯特·黄（Hilbert Huang）变换。只需将其拆分为固有模式函数，然后在计算它们时就可以看到剩余的残差。

您可以使用（fast :)）离散小波变换。R下的wavewaveesh软件包将完成所有工作。无论如何，我喜欢@James的解决方案，因为它很简单，而且似乎直截了当。

在大多数时候，当我听到“长期趋势”时，我会想到长期的上升趋势或长期的下降趋势，但傅立叶变换不能正确地捕获其中的任何一个。通过使用线性回归可以更好地分析这种单向趋势。（傅立叶变换和周期图更适合的东西，上去和下来）。

在大多数电子表格中，线性回归都很容易做到。（a）显示回归线的方程式（b）使用电子表格创建XY 散点图

线性回归尝试使用直线近似数据。傅立叶变换尝试通过添加一些正弦波来近似您的数据。还有其他技术（“非线性回归”）尝试将您的数据近似为多项式或其他形状。

傅里叶变换假定宽感信号平稳性和线性时不变性（LTI）。尽管它对于某些违反这些条件的行为很健壮，但由于平稳性的假设，我真的认为它不适合用于趋势分析，即您正在尝试测量违反FFT基本假设之一的事物。

我同意上面的海报；镜像数据并将镜像数据添加到时间序列的末尾是狡猾的。我建议如上所述将线性回归模型与时间趋势拟合可能更合适。

如果您要检查周期性，可以通过高通滤波并执行傅立叶分析来消除趋势。如果滤波后趋势仍然可见，则可以在FFT之前从原始信号中减去拟合的线性回归线。