关于解释性模型与预测性模型的实践思想

早在4月，我参加了UMD数学系统计小组研讨会系列的演讲，主题为“解释还是预测？”。演讲由UMD史密斯商学院（Smith Business School）教授Galit Shmueli教授进行。她的演讲基于她为题为“ IS研究中的预测模型与解释性建模”的论文和名为“解释还是预测？”的后续工作论文所做的研究。。

Shmueli博士的观点是，统计建模上下文中的预测性和解释性术语已经混为一谈，而统计文献缺乏对差异的详尽讨论。在本文中，她将两者进行了对比，并讨论了它们的实际含义。我鼓励您阅读论文。

我想向从业者社区提出的问题是：

• 您如何定义预测性练习与解释性/描述性练习？如果您可以谈论特定的应用程序，这将很有用。
• 您是否曾经陷入过使用一种含义的陷阱？我当然有 您怎么知道要使用哪个？

一句话

预测建模只与“可能发生什么？”有关，而解释建模仅与“我们能对此做些什么？”有关。

用很多句子

我认为主要区别在于分析的目的。我认为对于干预而言，解释比预测重要得多。如果您想做一些事情来改变结果，那么最好是去解释为什么会这样。如果做得好，说明性建模将告诉您如何进行干预（应调整哪些输入）。但是，如果您只是想了解未来会是什么样，而没有任何意图（或能力）进行干预，则预测建模更可能是合适的。

举一个令人难以置信的例子，使用“癌症数据”。

如果您要资助不同医院的癌症病房，则使用“癌症数据”进行预测建模将是适当的（或至少有用的）。您实际上并不需要解释为什么人们会得癌症，而您只需要准确估计需要多少服务即可。解释性建模在这里可能无济于事。例如，仅知道吸烟会导致患癌症的风险增加并不能告诉您是否要给A病房或B病房提供更多资金。

如果您想降低全国癌症发生率，那么对“癌症数据”进行解释性建模将是合适的-此处的预测性建模已经过时了。准确预测癌症发生率的能力几乎无法帮助您决定如何降低癌症发生率。但是，知道吸烟会导致罹患癌症的风险增加是有价值的信息-因为如果降低吸烟率（例如，通过使香烟更昂贵），这会导致更多的人具有较低的风险，这（有望）导致预期的癌症减少费率。

这样看问题，我认为解释性建模将主要集中在直接或间接由用户控制的变量上。可能需要收集其他变量，但是如果您不能更改分析中的任何变量，那么我怀疑解释性建模是否有用，除了可能会让您渴望获得对这些变量的控制或影响之外这很重要。粗略地讲，预测建模只是在寻找变量之间的关联，而不论这些变量是否由用户控制。您只需要知道输入/功能/自变量/等即可进行预测，但是您需要能够修改或影响输入/功能/自变量/等才能进行干预和更改结果。

我认为差异如下：

解释性/描述性

在寻求解释性/描述性答案时，主要重点在于我们拥有的数据，并且我们试图在考虑了噪声之后发现数据之间的潜在关系。

例子：经常运动（例如每天30分钟）会导致血压降低吗？为了回答这个问题，我们可能会收集患者随时间变化的运动方案和血压值的数据。目的是看我们是否可以通过运动方案的变化来解释血压的变化。

血压不仅受锻炼的影响，还受多种其他因素的影响，例如一个人吃的钠的量等。在上述示例中，这些其他因素将被视为噪声，因为重点在于弄清楚锻炼方案与血压。

预测

在进行预测性练习时，我们将使用现有数据之间的已知关系来推断未知数。已知的关系可能来自解释性/描述性分析或其他某种技术。

示例：如果我每天运动1个小时，血压可能会下降到什么程度？为了回答这个问题，我们可以使用先前未发现的血压与运动方案之间的关系来进行预测。

在以上上下文中，尽管解释性模型可以帮助预测过程，但是重点不在于解释。还有一些非解释性方法（例如神经网络）擅长预测未知数，而不必增加我们对变量之间基本关系的本质的了解。

这里出现的一个实际问题是建模中的变量选择。变量可以是重要的解释变量（例如，具有统计意义），但对于预测目的可能不是有用的（即，将其包含在模型中会导致较差的预测准确性）。我几乎每天都会在已发表的论文中看到这个错误。

另一个区别是主成分分析和因子分析之间的区别。PCA通常用于预测中，但对于解释并没有那么有用。FA涉及附加的旋转步骤，以提高解释性（从而解释性）。今天在Galit Shmueli的博客上有一篇不错的文章。

更新：时间序列中出现第三种情况，当变量可能是重要的解释性变量，但将来无法使用时。例如，房屋贷款可能与GDP密切相关，但是除非我们也对GDP有了良好的预测，否则这对于预测未来的房屋贷款并没有多大用处。

尽管有些人发现根据所使用的模型/算法（例如，神经网络=预测性）来考虑区别是最容易的，但这只是解释/预测区别的一个特定方面。这是我在数据挖掘课程中使用的幻灯片组，从两个角度讲授线性回归。即使仅使用线性回归，还是以这个小例子为例，都会出现各种问题，导致用于解释性目标与预测性目标的模型不同（变量选择，变量选择，绩效指标等）。

加利特

例子：我看到的一个经典例子是在预测人类表现方面。自我效能感（即一个人认为自己可以很好地完成一项任务的程度）通常是对任务绩效的强烈预测。因此，如果将自我效能感与其他变量（例如智力和先前经验的程度）一起放入多元回归中，您通常会发现自我效能感是一个强有力的预测指标。

这导致一些研究人员提出自我效能感会导致任务表现。那些有效的干预措施是那些着重于提高人的自我效能感的措施。

但是，替代性理论模型将自我效能感主要归因于任务绩效。即，如果您表现良好，就会知道。在这种框架下，干预措施应侧重于提高实际能力而不是感知能力。

因此，包括诸如自我效能之类的变量可能会增加预测，但是假设您采用“自我效能即结果”模型，则如果该模型的目的是阐明影响绩效的因果过程，则不应将其作为预测因子。

当然，这提出了如何开发和验证因果理论模型的问题。显然，这依赖于多项研究，理想情况下需要进行一些实验操作，以及有关动态过程的连贯论证。

近端与远端：当研究人员对远端和近端原因的影响感兴趣时，我也看到过类似的问题。近端原因往往比远端原因更好。但是，理论上的兴趣可能在于理解远端原因和近端原因的操作方式。

变量选择问题：最后，社会科学研究中的一个巨大问题是变量选择问题。在任何给定的研究中，可以测量但没有测量的变量数量无限。因此，模型的解释在进行理论解释时需要考虑其含义。

关于这一点，L。Breiman的《统计模型：两种文化》（2001）也许是最好的论文。他的主要结论（另请参见文件末尾其他著名统计学家的答复）如下：

• “较高的预测准确性与有关基础数据机制的更可靠信息相关。较低的预测准确性可能导致可疑的结论。”
• “与数据模型相比，算法模型可以提供更好的预测准确性，并提供有关底层机制的更好信息。”

我没有读过她的论文，只是链接论文的摘要，但我的感觉是应该抛弃“解释”和“预测”之间的区别，而要用从业者目标之间的区别代替，要么是“因果关系”或“预测性”。总的来说，我认为“解释”这个词含糊不清，几乎没有任何意义。例如，胡克定律是解释性的还是预测性的？另一方面，预测准确的推荐系统是否是明确项目评分的良好因果模型？我认为我们所有人都有这样的直觉，即科学的目标是解释，而技术的目标是预测。考虑到我们使用的工具（例如监督学习算法）

说完所有这些，也许我将适用于模型的唯一词是可解释的。回归通常是可以解释的。多层神经网络通常不是这样。我认为人们有时会天真地认为可解释的模型提供了因果信息，而不可解释的模型仅提供了预测性信息。这种态度在我看来简直是困惑。

我仍然不清楚问题是什么。话虽如此，我认为预测模型和解释模型之间的根本区别在于它们关注的重点。

解释模型

$x$$y$$\beta$

预测模型

预测模型的目标是预测某些事物。因此，他们倾向于较少关注简约性或简单性，而更多地关注其预测因变量的能力。

但是，以上内容在某种程度上是人为的区别，因为可以将解释模型用于预测，有时预测模型可以解释某些内容。

正如其他人已经说过的，这种区别在某种程度上是没有意义的，除非就研究人员的目的而言。

两种文化论文的评论者之一布拉德·埃夫隆（Brad Efron）做出了以下观察（如我之前的问题所讨论）：

仅偶尔进行预测就足够了。邮局对通过手写笔迹预测正确地址的任何方法感到满意。彼得·格雷戈里（Peter Gregory）进行研究是出于预测的目的，也是为了更好地了解肝炎的医学基础。大多数统计调查都将确定因果关系作为其最终目标。

某些领域（例如医学）将重点放在模型拟合上作为解释过程（分布等），作为理解生成数据的基础过程的一种手段。其他领域对此不太关心，并且对具有非常高的预测成功率的“黑匣子”模型会感到满意。这也可以在模型构建过程中发挥作用。

尊敬的是，这个问题可以更好地关注。人们有没有用过一个词更合适？当然是。有时从上下文中已经很清楚了，或者您不想成为书呆子。有时，人们在术语上只是马虎或懒惰。许多人都是这样，我当然没有更好。

这里的潜在价值（讨论有关CV的解释与预测）是澄清两种方法之间的区别。简而言之，区别在于因果关系的作用。如果您想了解世界上的某些动态，并解释为什么某种事物会以这种方式发生，那么您需要确定相关变量之间的因果关系。可以预测，您可以忽略因果关系。例如，您可以根据有关原因的知识来预测结果；您可以通过了解发生原因的原因来预测原因的存在；并且您可以通过了解同一原因导致的另一种效果来预测一种效果的近似水平。为什么有人希望能够做到这一点？增加他们对将来可能发生的事情的了解，以便他们可以做出相应的计划。例如，假释委员会可能希望能够预测被假释的罪犯再犯的可能性。但是，这不足以进行解释。当然，估计两个变量之间的真正因果关系可能非常困难。此外，确实捕获（被认为是）真实因果关系的模型通常对做出预测不利。那为什么呢？首先，这大部分是在科学中完成的，在科学中，追求理解是为了自己。其次，如果我们能够可靠地找出真正的原因，并且能够发展出影响它们的能力，那么我们就可以对结果产生一些影响。

关于统计建模策略，没有太大差异。主要区别在于如何进行研究。如果您的目标是能够进行预测，请找出模型用户何时需要进行预测时可以使用哪些信息。他们无法访问的信息毫无价值。如果他们最有可能希望能够在预测变量的某个级别（或狭窄范围内）进行预测，请尝试将预测变量的采样范围居于该级别的中心并在那里进行过度采样。例如，如果假释委员会最想了解犯有2个重大定罪的罪犯，那么您可能会收集关于定罪有1、2和3的罪犯的信息。另一方面，评估变量的因果状态基本上需要进行实验。那是，需要将实验单位随机分配给解释变量的预定级别。如果担心因果关系的性质是否取决于其他变量，则该变量必须包含在实验中。如果不可能进行真正的实验，那么您将面临更加困难的局面，这种局面太复杂了，无法介绍。

大多数答案都有助于弄清楚什么是解释模型和预测模型，以及它们为何不同。什么是不明确的，迄今为止，是多么它们之间的区别。因此，我想我将提供一个可能有用的示例。

假设我们对大学GPA的建模具有学术准备的作用。作为学术准备的手段，我们有：

1. 能力测验分数；
2. HS GPA；和
3. 通过的AP测试数量。

预测策略

如果目标是预测，那么我可能会在线性模型中同时使用所有这些变量，而我主要关心的是预测准确性。最终模型中将包含对预测大学GPA最有用的变量。

解释策略

如果目标是解释，我可能会更关心数据减少，并仔细考虑自变量之间的相关性。我主要关心的是解释系数。

例

在具有相关预测变量的典型多元问题中，观察到“意外”的回归系数并不少见。考虑到独立变量之间的相互关系，对于其中一些变量的零系数与零序关系的方向不同，并且看起来反直观且难以解释，这并不奇怪。

例如，假设该模型建议（考虑到能力测验分数和成功完成的AP测试数量），高中GPA与较低大学GPA相关。 这对于预测不是问题，但是对于这样的关系难以解释的解释模型确实会带来问题。该模型可能提供最佳的样本预测结果，但对帮助我们了解学术准备与大学GPA之间的关系几乎没有帮助。

相反，一种解释性策略可能会寻求某种形式的变量减少，例如主成分分析，因子分析或SEM，以：

1. 专注于最能衡量“学术表现”的变量，并根据该变量对大学GPA进行建模；要么
2. 使用因子分数/潜在变量，这是从学术准备的三种测量方法的组合中得出的，而不是原始变量。

诸如此类的策略可能会降低模型的预测能力，但它们可能会更好地理解“学术准备”与大学GPA的关系。

我想就此事提供以模型为中心的观点。

预测建模是大多数分析中发生的事情。例如，研究人员使用一堆预测变量建立了回归模型。然后，回归系数代表各组之间的预测比较。预测方面来自概率模型：针对可能已产生观察到的总体或样本的超人口模型进行推断。该模型的目的是预测从此超级人口中涌现的单位的新结果。通常，这是徒劳的目标，因为事情总是在变化，尤其是在社会世界中。或者因为您的模型是关于稀有单位（例如国家/地区）的，所以您无法绘制新样本。在这种情况下，模型的有用性留给了分析师。

当您尝试将结果推广到其他组或将来的单位时，这仍然是预测，但类型不同。例如，我们可以称其为预测。关键是默认情况下，估计模型的预测能力具有描述性。您可以跨组比较结果并为这些比较假设一个概率模型，但是您不能得出结论，这些比较构成因果关系。

原因是这些群体可能遭受选择偏见。即，无论采用哪种治疗方法（假设的因果干预），他们自然可能在感兴趣的结果中得分更高。或者他们可能会受到与其他人群不同的治疗效果。这就是为什么特别是对于观测数据而言，估计的模型通常是关于预测比较而不是解释的原因。解释是关于因果效应的识别和估计，需要精心设计的实验或对工具变量的认真使用。在这种情况下，预测比较会从任何选择偏差中剔除，并代表因果关系。该模型因此可以被认为是解释性的。

我发现用这些术语思考通常可以澄清我为某些数据建立模型时的实际操作。

我们可以从黑匣子“预测”模型中学到更多知识。关键在于运行各种类型的灵敏度分析和模拟，以真正了解模型输入如何受到输入空间变化的影响。从这个意义上说，即使是纯粹的预测模型也可以提供解释性见解。这一点经常被研究界忽视或误解。仅仅因为我们不理解为什么算法能够工作并不意味着该算法缺乏解释力...

总体而言，从主流角度来看，概率逻辑的简洁答案是绝对正确的...

她所说的统计学中的解释性应用和预测性应用是有区别的。她说，我们每次使用一个或另一个时都应该知道确切使用了哪个。她说，我们经常把它们混在一起，因此混为一谈。

我同意，在社会科学应用中，区分是明智的，但是在自然科学中，它们是相同的，应该相同。另外，我将它们称为推理与预测，并同意在社会科学中不应将它们混淆。

我将从自然科学开始。在物理学中，我们专注于解释，我们试图理解世界是如何运转的，是什么引起了什么等等。因此，重点是因果关系，推理等。另一方面，预测方面也是科学过程的一部分。实际上，您证明理论的方法已经很好地解释了观察结果（认为是样本中​​的），是预测新的观察结果，然后检查预测的工作原理。任何缺乏预测能力的理论都将很难在物理上获得认可。这就是为什么像Michelson-Morley的实验如此重要的原因。

不幸的是，在社会科学中，潜在现象是不稳定的，不可重复的，不可复制的。如果您观察核的衰变，则每次观察它们都会得到相同的结果，而我或一个家伙在一百年前也得到了相同的结果。没有经济学或金融学。而且，进行实验的能力非常有限，几乎不能用于所有实际目的，我们仅观察和进行随机采样的意见。我可以继续说下去，但是想法是我们要处理的现象非常不稳定，因此我们的理论与物理学的质量不同。因此，我们处理这种情况的方法之一是着重于推理（当您试图了解是什么导致或影响什么）或预测（只是说您认为会发生什么或忽略结构）。

结构模型将提供解释，而预测模型将提供预测。结构模型将具有潜在变量。结构模型是回归分析和因子分析的同步结果

潜在变量在预测模型中以多重共线性的形式表现出来（回归）。