模型错误指定下的统计推断

我有一个一般的方法论问题。之前可能已经回答过，但是我无法找到相关的线程。我将感谢可能重复的指针。

（这是一个很好的答案，但是没有答案。即使在回答时，这在精神上也很相似，但是从我的角度来看，后者太具体了。这也很贴切，在发布问题后才发现。）

主题是，当看到数据之前制定的模型未能充分描述数据生成过程时，如何进行有效的统计推断。这个问题很笼统，但是我将提供一个特定的例子来说明这一点。但是，我希望答案会集中在一般的方法论问题上，而不是挑剔特定示例的细节。

考虑一个具体的示例：在时间序列设置中，我假设数据生成过程为其中。我的目标是检验的主题假设。我根据模型以获得与我的主题假设相对应的可行的统计对应关系，即到目前为止，一切都很好。但是，当我观察数据时，我发现该模型无法充分描述数据。假设存在线性趋势，因此真实数据生成过程为其中

\begin{matrix} (1) & y_{t} = β_{0} + β_{1} x_{t} + u_{t} \end{matrix}

$y_t=\beta_0 + \beta_1 x_t+u_t \tag{1}$

u_{t} \sim i . i . N (0, σ_{u}^{2})

$u_t \sim i.i.N(0,\sigma_u^2)$

\frac{d y}{d x} = 1

$\frac{dy}{dx}=1$

(1)

$(1)$

H_{0} : β_{1} = 1.

$H_0\colon \ \beta_1=1.$

\begin{matrix} (2) & y_{t} = γ_{0} + γ_{1} x_{t} + γ_{2} t + v_{t} \end{matrix}

$y_t=\gamma_0 + \gamma_1 x_t+\gamma_2 t + v_t \tag{2}$

v_{t} \sim i . i . N (0, σ_{v}^{2})

$v_t \sim i.i.N(0,\sigma_v^2)$ 。

如何对主题假设进行有效的统计推断？ $\frac{dy}{dx}=1$

如果我使用原始模型，则会违反其假设，并且的估计量不会具有否则会好的分布。因此，我无法使用检验检验假设。 $\beta_1$ $t$
如果查看数据后，我从模型切换到，并将我的统计假设从更改为，则满足模型假设，我得到一个表现良好的估计量，并且可以使用轻松测试。但是，从切换到 $(1)$ $(2)$ $H_0\colon \ \beta_1=1$ $H'_0\colon \ \gamma_1=1$ $\gamma_1$ $H'_0$ $t$
$(1)$ $(2)$ 可以从我要检验假设的数据集中获悉。这使得估算器分布（以及推断也）取决于基础模型的变化，这是由于观察到的数据所致。显然，引入这种条件并不令人满意。

有没有好的出路？（如果不是常客，那么也许是一些贝叶斯替代方法？）

modeling inference misspecification

— 理查德·哈迪
source

您的不适感是授予博士学位的经典方法所特有的：仔细的假设说明，然后进行实证检验并以描述性因果推论结尾。在这个世界上，简短的答案是“不”，没有出路。但是，世界正在摆脱这种严格的范式。例如，在去年AER的一篇名为Kleinberg等人的论文《预测政策问题》中，他们将数据挖掘和预测作为经济政策制定中的有用工具，理由是“因果推论不是中心的，甚至不是必要。” 值得一看。

— Mike Hunter

我认为，直接的答案必须是没有出路。否则，您将犯下最糟糕的数据挖掘之类的错误-重铸假设以适合数据-在严格的，范式化的世界中是死罪。

— Mike Hunter，

如果我理解正确，那么您正在收集数据，然后选择一个模型，然后检验假设。我可能是错的，但是在我看来，泰勒和蒂布希拉尼（以及其他人）研究的选择性推理范例可能与您的问题有关。否则，可能会对此问题提出评论，答案和链接的答案。

— DeltaIV '17

@DeltaIV，也就是说，在进行推断时，我对P一致性下的最少错误参数不感兴趣，而对真正参数（ wrt的真正偏导数）感兴趣。

y

$y$

x

$x$

— 理查德·哈迪

@理查德·哈迪（RichardHardy），当然，尽管我是统计学专业的学生，但我真的不再相信推理了。这是一间纸牌屋，是如此脆弱，以至于除了非常严格和可控的情况外，尚不清楚它是否有意义。有趣的是，每个人都知道这一点，但没人（很好）在乎。

— hejseb

Answers:

真正的出路在于样本测试。不是真正的预测，不是将样本拆分为训练样本并像交叉验证那样坚持的样本。这在自然科学中效果很好。实际上，这是唯一的方法。您基于一些数据建立了理论，然后期望对尚未观察到的事物进行预测。显然，这在诸如经济学之类的大多数社会（所谓的）科学中是行不通的。

在行业中，这与科学一样。例如，如果交易算法不起作用，最终您将亏损，然后放弃。交叉验证和培训数据集广泛用于开发和决定部署算法的决策中，但是在生产之后，一切都是赚钱或亏损。样本测试非常简单。

— 阿克萨卡尔族
source

这样有助于估算吗？

\frac{\partial y}{\partial x}

$\frac{\partial y}{\partial x}$

— 理查德·哈迪

@RichardHardy，是的，您在新数据上测试了相同的假设。如果成立，那你就很好。如果您的模型指定不正确，那么它最终将失败，我的意思是其他诊断。您应该看到该模型不适用于新数据。

— 阿克萨卡族人

好的，这听起来像是一个很好的旧规定，将样本分为子样本用于模型构建，而另一个样本用于假设检验。我应该已经在OP中考虑了这一考虑。无论如何，这似乎是一个合理的策略。例如，宏观经济学的问题是，同一模型几乎永远不可能很好地适应看不见的数据（因为数据生成过程随时间而变化），因此，我们开始时的问题完全相同。但这是一个示例，其中基本上任何方法都失败了，因此这不是一个公平的批评。

— 理查德·哈迪

同时，在微观经济学中，横断面数据设置可以起作用。现在+1。另一方面，一旦模型适合所有可用数据，该解决方案将无法使用。我想这就是我写问题时的想法，我正在寻找解决标题问题的答案：来自错误模型的推论。

— 理查德·哈迪

我同意你的看法。但是由于将样本分为“旧”和“新”等价于收集新数据，所以我不明白您在哪里看到两者之间的巨大差异。

— 理查德·哈迪

您可以定义“组合过程”并研究其特征。假设您从一个简单的模型开始，并允许在简单模型不适合的情况下拟合一个，两个或三个更复杂（或非参数）的模型。您需要指定一个正式规则，根据该规则您决定不适合简单模型，而要适合另一个模型（以及哪个模型）。您还需要对要在所有涉及的模型（参数或非参数模型）下应用的感兴趣的假设进行检验。

通过这样的设置，您可以模拟特征，即，如果原假设为真，并且存在多个关注偏差，则最终拒绝原假设的百分比。同样，您可以从所有涉及的模型中进行仿真，并假设条件级别和条件功效（假设数据来自模型X，Y或Z），或者假设模型错误测试程序选择了模型X，Y或Z。

您可能会发现，从达到的水平仍然非常接近您所追求的水平的意义上来说，选择模型并不会带来太大的危害，并且如果效果不佳，效果还可以。否则，您可能会发现依赖数据的模型选择确实使事情变得混乱。这将取决于细节（如果您的模型选择过程非常可靠，那么机会就是水平，并且功率不会受到很大的影响）。

现在，这与指定一个模型然后查看数据并确定“哦，我需要另一个模型”并不完全相同，但是它可能与您调查这种方法的特征很接近。这并非易事，因为您需要做出许多选择才能实现这一目标。

一般说明：我认为将应用的统计方法学归类为“有效”和“无效”是一种误导。没有什么是100％有效的，因为模型假设永远不会精确地适用于实践。另一方面，尽管您可能找到了称呼“无效”的正当理由（！），但如果深入研究所谓无效方法的特征，则可能会发现它仍然相当有效。

— 勒维安
source

我想知道，除了最简单的问题，这在实践中是否现实。在大多数情况下，仿真的计算成本将很快超过我们的能力，您不这样认为吗？您对有效性的评论当然是合乎逻辑的。但是，如果没有这种简单而有用的（有助于我们进行推理的）概念，我们将比与之相比更加迷失-这是我的观点。

— 理查德·哈迪

我并不是说每次在实践中遇到这种情况就应该这样做。这是一个研究项目；但是，有一个要传达的信息是，在我看来，出于给出的原因，与数据相关的模型选择不会完全使原本可以成立的推断无效。尽管目前尚未对此进行适当的研究，但这种组合过程在许多情况下可能效果很好。

— Lewian

我想这是否可行，已经在使用中了。主要问题可能是由于大量依赖于数据的建模选择而导致的不可行（回到我的第一条评论）。还是在那里看不到问题？

— 理查德·哈迪

文献中有一个奇怪的模拟，它首先探索错误指定测试/模型选择，然后根据结果来进行参数推断。据我所知，结果好坏参半。一个“经典”的例子在这里：tandfonline.com/doi/abs/10.1080/…–

— Lewian

但是你是对的。使用各种可能的建模选项对整个过程进行建模将需要很多选择。我仍然认为这将是一个有价值的项目，尽管每当从与它们拟合的相同数据中选择模型时，人们都不会要求它。顺便提一下，阿里斯·斯帕诺斯（Aris Spanos）反对这样的观点，即错误指定测试或对数据进行模型检查会使推断无效。onlinelibrary.wiley.com/doi/abs/10.1111/joes.12200

— Lewian