何时停止完善模型？

在过去的三年中，我一直在研究许多书籍中的统计数据，并且由于这个站点，我学到了很多东西。然而，对于我来说，一个基本问题仍然没有答案。它可能有一个非常简单或非常困难的答案，但我可以肯定地知道它需要对统计数据有一定的了解。

在将模型拟合到数据时（无论是常客方法还是贝叶斯方法），我们提出一个模型，该模型可能包括似然函数，先验函数或核（非参数）等的函数形式。问题在于任何模型使样品具有一定的优度。与当前的模型相比，总是可以找到更好或更坏的模型。在某个时候，我们停止并开始得出结论，推广到总体参数，报告置信区间，计算风险等。因此，无论得出什么结论，总是以我们决定采用的模型为条件。即使我们使用诸如AIC，MDL等之类的工具来估计预期的KL距离，也并没有说绝对的立场，而只是相对改善了我们的估计。

现在假设我们想定义一个逐步过程，以在构建模型时应用于任何数据集。我们应该指定什么作为停止规则？我们是否可以至少限制模型误差，该误差将为我们提供一个客观的停止点（这与使用验证样本停止训练不同，因为它还会在评估的模型类内提供停止点，而不是真正的DGP）？

modeling inference aic

— 卡格达斯·厄兹根奇
source

我认为您应该在问题上添加其他标签，而不仅仅是推理，例如一些建模标签和模型选择。我认为这可能与奥卡姆（Occam）的剃刀有关。这也是一篇讨论贝叶斯建模的论文。

— Gumeo 2015年

有时您建立一个特定的模型是因为它特别适合于估计某些参数，而不是因为您认为整体分布是准确的（请参见M估计，广义估计方程式）等。因此，如果您确实关心位置的合理估计，使用错误的模型可能会更好，但是模型不容易被噪声抛出（对于您感兴趣的参数）。通常，请参见稳健估计。

非常有趣的问题。至少在贝叶斯环境中，只有一种说法还提出了对模型的合理子集取平均而不是选择一个的问题。我不确定OP的问题有任何理论上的方法，我想实际上是通过选择的模型是否足以解决我们要解决的问题来完成的。也许我们需要通过MCMC方法之类的模型选择！我可以为此设想一个嵌套的MCMC方法...

— 卡

@Luca已经完成。但是，问题仍然存在，因为贝叶斯先验定义的模型空间可能包含也可能不包含真实模型。即使确实存在模型误差，也仍然是相对于真实DGP的平均模型误差。

— Cagdas Ozgenc

+1问题。在很大程度上，关注的问题是哲学或epistemiological，即，不仅是“我们怎么知道？我们如何知道它”，而是“什么可以我们知道，以及如何可以我们知道吗？” 正如物理学家理查德·费曼（Richard Feynman）所说：“不可能找到有朝一日不会被认为是错误的答案。” 换句话说，除非您是虔诚的，否则有合理的疑问，是否存在将任何事物锚定在其上的明确，永恒的地面真理。。

— Mike Hunter

Answers:

不幸的是，这个问题并没有有一个很好的答案。您可以基于以下事实来选择最佳模型：使用最小化绝对误差，平方误差，最大化似然性的事实，使用一些惩罚似然性的标准（例如AIC，BIC）来提及一些最常见的选择。问题在于，这两个标准都不会让您选择客观上最佳的模型，而是您选择的最佳模型。另一个问题是，在进行优化时，您总会遇到一些局部最大值/最小值。另一个问题是您对模型选择标准的选择是主观的。在许多情况下，您有意识地或半意识地决定您对什么感兴趣，并根据此选择标准。对于例如，则使用BIC而不是AIC会导致模型更简化，参数更少。通常，对于建模，您会对更简约的模型感兴趣，这些模型可以得出有关宇宙的一些一般性结论，而对于预测它却不一定如此，有时更复杂的模型可以具有更好的预测能力（但不一定而且通常如此）它不是）。在其他情况下，出于实际原因，有时优选更复杂的模型，例如，在使用MCMC估计贝叶斯模型时，具有分层超优先级的模型在仿真中的表现要比简单模型好。另一方面，通常我们担心过度拟合模型越简单，过度拟合的风险就越低，因此这是一个较安全的选择。一个很好的例子是自动逐步模型选择，通常不建议这样做，因为它容易导致估计值过拟合和偏差。还有一个哲学上的论点，奥卡姆的剃刀，认为最简单的模型是首选。还要注意，我们在这里讨论的是比较不同的模型，而在现实生活中也可以这样，使用不同的统计工具可以得出不同的结果-因此，选择方法还有另外一层！

所有这些导致我们无法确定的令人伤心但有趣的事实。我们从不确定性开始，使用方法来处理不确定性，最后导致不确定性。这可能是自相矛盾的，但请记住我们使用统计数据是因为我们认为世界是不确定的和概率性的（否则我们会选择先知的职业），那么我们怎么可能得出不同的结论呢？没有客观的停止规则，有多种可能的模型，所有这些模型都是错误的（陈词滥调！），因为它们试图简化复杂的（不断变化和概率性的）现实。我们发现其中一些对我们的目的比其他一些有用，有时我们做到了 $\theta$ $\mu$

您可以更深入地发现，现实中不存在“概率”之类的东西-它只是我们周围不确定性的近似值，并且还有其他近似方法，例如模糊逻辑（请参阅Kosko，1993年）供讨论）。甚至我们的方法所基于的非常基本的工具和定理都是近似值，并不是唯一可行的方法。我们根本无法确定这样的设置。

您正在寻找的停止规则始终是针对特定问题和主观的，即基于所谓的专业判断。顺便说一下，有很多研究实例表明，专业人员的判断力通常不如外行人，有时甚至更差（例如，丹尼尔·卡尼曼（Daniel Kahneman）在论文和书中复活的人），但他们更容易产生过度自信（实际上这是事实）。为什么我们要一个参数不尝试是“肯定”我们的模型）。

Kosko，B。（1993）。模糊思维：模糊逻辑的新科学。纽约：Hyperion。

— 蒂姆
source

μ

$\mu$

当满足其假设时该主张为真（例如，给我们一个固定的样本，这在实践中是正确的）。脱离上下文并违反假设，当然可以将其设为虚假。

— 理查德·哈迪

@CagdasOzgenc拥有某种方法，可以创建完美地反映现实的模型，而不需要停止规则或测量模型错误-根据定义，该模型是完美的。如果您知道构建此类模型的规则，则无需衡量模型与真实DGP的差异，因为知道真实DGP只是利用了这些知识。另一方面，如果您的模型是基于所拥有数据的简化形式，则适用一般统计规则，如我的回答所述。

— 蒂姆

@CagdasOzgenc仍然，如果您知道 “真相”，那么停止规则很简单：当模型适合“真相”时停止。如果您不知道真相是什么，那么“所有模型都[都]错误...”就必须使用统计数据。如果您不知道，就无法衡量其差异。

— 蒂姆

@Luca含义很深，但是很抽象。

— 蒂姆

有一个称为非参数统计的整个领域可以避免使用强模型。但是，您对拟合模型的关注本身是正确的。不幸的是，没有机械程序来拟合被普遍认为是“最佳”的模型。例如，如果您想定义一个最大化数据可能性的模型，那么您将被引入经验分布函数。

但是，我们通常会有一些背景假设和约束，例如连续的有限的第一和第二时刻。对于此类情况，一种方法是选择一种像Shannon微分熵之类的度量，并在满足您的边界约束的连续分布空间内将其最大化。

我想指出的是，如果您不只是想默认使用ECDF，那么除了数据之外，您还需要添加假设，然后才能达到目标，这需要主题专业知识，是的，可怕的..... 专业判断

因此，是否有保证建模的中止点……答案是否定的。有足够的地方停下来吗？通常，是的，但是那一点将不仅取决于数据和一些统计需求，而且您通常会考虑到各种错误的风险，实现模型的技术局限性以及其估算的可靠性，等等

正如@Luca所指出的，您始终可以对一类模型求平均值，但是，正如您正确指出的那样，这只会将问题推到更高级别的超参数。不幸的是，我们似乎生活在无限分层的洋葱中……双向！