从线性，指数和对数函数中确定最佳拟合曲线拟合函数

内容：

在有关数学堆栈交换的问题（我可以构建一个程序）上，某人有一组点，并希望为其拟合曲线（线性，指数或对数）。通常的方法是从选择其中一种（指定模型）开始，然后进行统计计算。$x-y$

但是真正需要的是从线性，指数或对数中找到“最佳”曲线。

表面上，一个人可以尝试所有三个，然后根据最佳相关系数选择三个中的最佳拟合曲线。

但是不知何故，我觉得这还不够洁。通常公认的方法是先选择模型，然后选择这三个模型之一（或其他链接函数），然后从数据中计算系数。事实上，事后采摘是樱桃采摘。但是对我而言，无论您是从数据确定函数还是系数，这仍然是同一回事，您的过程正在发现最好的东西（例如，发现哪个函数也是另一个系数）。

问题：

• 根据拟合统计量的比较，从线性，指数和对数模型中选择最佳拟合模型是否合适？
• 如果是这样，最合适的方法是什么？
• 如果回归有助于在函数中找到参数（系数），为什么不能有一个离散的参数来选择三个最佳曲线系列中的哪一个呢？

• 您可能需要检查名为Eureqa的免费软件。它的特定目标是使查找功能形式和给定功能关系的参数的过程自动化。
• 如果要比较具有不同数量参数的模型，则通常需要使用拟合度来惩罚具有更多参数的模型。有大量文献证明拟合度量最适合用于模型比较，并且当模型不嵌套时问题变得更加复杂。我很想听听其他人在您的情况下认为最适合的模型比较索引（另一方面，最近在我的博客上讨论了在比较曲线拟合模型的情况下模型比较索引）。
• 根据我的经验，使用非线性回归模型的原因超出了给定数据的纯粹统计拟合范围：
  1. 非线性模型在数据范围之外做出更合理的预测
  2. 非线性模型需要较少的参数才能实现等效拟合
  3. 非线性回归模型通常用于存在大量先验研究和理论指导模型选择的领域。

这是一个在非常不同的领域都有效的问题。

最好的模型是可以预测参数估计期间未使用的数据点的模型。理想情况下，可以使用数据集的子集来计算模型参数，然后评估另一数据集的拟合性能。如果您对详细信息感兴趣，请使用“交叉验证”进行搜索。

因此，第一个问题的答案是“否”。您不能简单地采用最佳拟合模型。您正在将N次方的多项式拟合到N个数据点的图像。这将是一个完美的拟合，因为所有模型都将精确传递所有数据点。但是，该模型不会推广到新数据。

据我所知，最合适的方法是使用度量标准来计算模型可以推广到其他数据集的数量，这些度量标准同时惩罚残差的幅度和模型中参数的数量。我知道AIC和BIC是其中一些指标。

由于很多人会例行探索各种曲线对数据的拟合程度，因此我不知道您的预订来自何处。当然，存在一个事实，即二次方将始终至少与线性，三次方以及至少二次方一样，因此有多种方法可以测试添加此类非线性项的统计意义，从而得出避免不必要的复杂性。但是测试关系的许多不同形式的基本实践只是好的实践。实际上，人们可能会从一种非常灵活的黄土回归开始，看看哪种拟合曲线最合理。

您确实需要在得出数据的科学/理论与数据告诉您之间找到平衡。就像其他人所说的那样，如果让自己适应任何可能的变换（任何程度的多项式等），那么最终将导致过度拟合并得到无用的东西。

一种让自己相信这一点的方法是通过仿真。选择一种模型（线性，指数，对数），并生成遵循该模型的数据（可以选择参数）。如果您的y值的条件方差相对于x变量的范围较小，则可以通过简单绘图清楚地了解选择了哪个模型以及“真相”是什么。但是，如果选择的参数集使得从图中看不出来（可能是感兴趣的解析解决方案的情况），则应分析这三种方式中的每一种，并找出哪种方式最适合。我希望您会发现“最佳”拟合通常不是“真实”拟合。

另一方面，有时我们希望数据能尽可能多地告诉我们，而我们可能没有科学/理论来完全确定关系的性质。Box and Cox的原始论文（JRSS B，第26卷，第2期，1964年）讨论了在y变量上的几个变换之间进行比较的方法，它们给定的变换集具有线性和对数作为特殊情况（但不是指数） ，但是本文的理论中没有任何内容将您限制在他们的变换族中，可以扩展相同的方法，以包括您感兴趣的3个模型之间的比较。