数值积分是什么太昂贵了？

我正在阅读有关贝叶斯推论的文章，碰到过这样的短语：“边际可能性的数值积分太昂贵了”

我没有数学背景，我想知道昂贵在这里到底意味着什么？它只是在计算能力方面还是还有其他功能。

— 离散时间
source

这意味着可能要花费太多的计算能力，可能就CPU时间而言（因为所有计算资源本质上都是内存或CPU）。

— Sycorax说恢复莫妮卡

实际上，有时通信带宽会成为问题（例如，在缓存/ RAM /磁盘之间串行或在并行计算节点之间）。

— GeoMatt22

这意味着对于一台计算机，对于我们的计算机网络，花费太多时间来进行计算。

— 杰克·马丁顿

而且，如果在某个循环内需要边际可能性，那么算得太昂贵的东西就少得多。例如。1秒的集成例程听起来很快，但是如果您需要进行1百万次，它可能会“太昂贵” ...

— 马修·冈恩

就计算工作而言是昂贵的，因为计算工作量超出了您的承受能力，因为这花费了太多时间，或者在合理的时间内需要太多的处理器来执行。

— user253751 '16

Answers:

在计算问题（包括贝叶斯推断的数值方法）的情况下，短语“太贵”通常可以指两个问题

一个特别的问题是一个特殊的“太“大”来计算预算 ”
通用方法扩展性很差，即计算复杂度高

无论哪种情况，构成“预算” 的计算资源都可能由CPU周期（时间复杂度），内存（空间复杂度）或通信带宽（在计算节点之内或之间）组成。在第二种情况下，“太贵”将意味着棘手。

在贝叶斯计算的背景下，行情是可能指的问题与边缘化了一个很大的变数。

例如，最近这篇论文的摘要开始

集成受维数诅咒的影响，随着问题维数的增长，集成很快变得棘手。

然后继续说

我们提出一种随机算法，该算法又可以用于例如边际计算或模型选择。

（作为比较，这本书的最新一章讨论了被认为“不太昂贵”的方法。）

— GeoMatt22
source

这是一个很好的答案。不过，我将补充一点，“昂贵”也可能越来越多地从字面上理解。-人们可以很容易地（并且很便宜）大大提高自己的计算能力和存储量（只要有需要就可以达到超级计算机的水平）...但是对于大问题，它仍然会变得太昂贵 - -实际上，这将花费比您现有更多的钱。

— Glen_b-恢复莫妮卡

@Glen_b很好！我想这种含义在已出版的文献中不那么普遍了……但是在提案（及其评论中）更普遍了

— GeoMatt22 '16

@ GeoMatt22如果您考虑一下，这实际上是表达相同含义的另一种方式。

— user253751 '16

@ GeoMatt22谢谢！我现在完全理解在贝叶斯语境下昂贵意味着什么。

— 2013年

我将为您提供一个离散案例的例子，以说明为什么积分/求和非常昂贵。

假设我们有二进制随机变量，并且我们具有联合分布。（实际上，不可能将联合分布存储在表中，因为有值。让我们假设现在在表和RAM中都有它。） $100$ $P(X_1, X_2, \cdots, X_{100})$ $2^{100}$

为了在上获得边际分布，我们需要对其他随机变量求和。（在连续的情况下，将其整合。） $P(X_1)$

P (X_{1}) = \sum_{X_{2}} \sum_{X_{3}} \dots \sum_{X_{100}} P (X_{1}, X_{2}, \dots, X_{100})

$P(X_1)=\sum_{X_2}\sum_{X_3}\cdots \sum_{X_{100}}P(X_1, X_2, \cdots, X_{100})$

我们正在对变量进行求和，因此，存在幂运算，在这种情况下为，这是地球上所有计算机都无法执行的巨大数字。 $99$ $2^{99}$

在概率图形模型文献中，这种计算边际分布的方式称为“蛮力”方法来执行“推断”。顾名思义，我们可能知道它很昂贵。人们使用许多其他方式来执行推断，例如，有效地获得边际分布。“其他方式”，包括近似推断等。

— 海涛都
source

也许您也可以评论为什么贝叶斯方法在这里会有所帮助，因为在这种情况下会提出这个问题。

— 蒂姆

通常，在执行贝叶斯推断时，很容易遇到麻烦的变量，例如严重的整合。另一个示例可以是在这种情况下从似然函数进行的数值采样，这意味着从给定分布执行随机采样。随着模型参数数量的增加，这种采样变得非常繁重，并且已经开发出各种计算方法来加快过程并允许非常快速的实现，当然还要保持较高的准确性。这些技术例如是MC，MCMC，Metropolis ecc。看看Gelman等人的贝叶斯数据分析。还应该给您一个广泛的介绍！祝好运

— Lcol
source

在这种情况下，这个答案似乎并未解决OP围绕“昂贵”含义的主要问题。或至少不是很清楚。

— Shufflepants

简短的解释是在贝叶斯统计中执行特定分析时，向读者介绍计算需求的含义，因为它不是数学家。无论如何，希望某人很清楚

— Lcol