使用样条曲线，平滑样条曲线和高斯过程仿真器的优点/缺点是什么？

我对学习（和实现）多项式插值的替代方法很感兴趣。

但是，我很难找到关于这些方法如何工作，如何关联以及如何比较的良好描述。

我希望您能就这些方法或替代方法的优点/缺点/条件提出宝贵意见，但对文本，幻灯片或播客的一些很好的引用就足够了。

基本OLS回归是一种将函数拟合到一组数据的非常好的技术。但是，简单回归仅适合在的整个可能范围内恒定的直线。这可能不适用于特定情况。例如，数据有时显示曲线关系。这可以通过回归的方式加以处理到的变换，。不同的转换是可能的。在和之间的关系是单调但不断缩小的情况下，对数变换$X$$Y$$X$$f(X)$$X$$Y$可以使用。另一个流行的选择是使用多项式，其中通过将提升为一系列幂（例如，等）来形成新项。此策略易于实现，您可以将拟合解释为告诉您数据中存在多少个“折弯”（折弯的数量等于所需的最大功率减1）。 $X$$X^2$$X^3$

但是，仅当这是真实关系的确切性质时，基于对数或协变量指数的回归才最适合。可以合理地假设和之间存在曲线关系，而这些关系所带来的可能性并不相同。因此，我们得出另外两种策略。第一种方法是黄土，这是在移动窗口上计算的一系列加权线性回归。这种方法较旧，并且更适合于探索性数据分析。 $X$$Y$

另一种方法是使用样条曲线。简单来说，样条曲线是一个新术语，仅适用于范围的一部分。例如，范围可能是0到1，样条项的范围可能只有0.7到1。在这种情况下，结是.7 。一个简单的线性样条项将像这样计算： ，除了原始之外，还会添加到模型中$X$$X$

$$X_{\rm spline} = \begin{cases} 0\quad &\text{if } X\le{.7} \\ X-.7\quad &\text{if } X>.7 \end{cases}$$
$X$术语。拟合的模型将在0.7处显示一条直线从0到0.7的急剧断裂，并且该线以从0.7到1的不同斜率继续延伸。但是，样条项不必是线性的。具体而言，已经确定三次样特别有用（即）。尖锐的突破也不必在那里。已经开发了约束拟合参数的算法，以使一阶和二阶导数在结处匹配，这使得在输出中无法检测到结。所有这些的最终结果是，在选定的位置（软件可以为您确定）的几个结（通常为3-5个）就可以重现几乎任何$X_{\rm spline}^3$曲线。而且，自由度可以正确计算，因此您可以信任结果，当您先查看数据然后决定拟合平方项时（因为您看到了弯曲），这是不正确的。此外，所有这些只是基本线性模型的另一个版本（尽管更为复杂）。因此，一切我们与线性模型得到带有此（例如，预测，残差置信带，测试等），这些都是实质性的优势。

我知道的最简单的这些主题介绍是：

• 福克斯，J。（2000）。非参数简单回归：平滑散点图，鼠尾草。

Cosma Shalizi在其讲座课程“ 从基本角度看高级数据分析”中的在线笔记在该主题上非常出色，从插值和回归是解决同一问题的两种方法的角度来看问题。我特别提请您注意有关平滑方法和样条线的章节。