概率分布与计算复杂度

这个问题是关于概率论和计算复杂性的交集。一个主要的观察结果是，某些分布比其他分布更易于生成。例如，问题

给定一个号码 $n$ ，返回一个均匀分布的数 $i$ 与 $0 \leq i < n$ 。

很容易解决。另一方面，以下问题变得或似乎要困难得多。

给定数字 $n$ ，返回一个数字 $i$ ，使 $i$ 是Peano算术中长度n的有效证明（的哥德尔数）。此外，如果此类证明的数量为 $pr(n)$ ，则获得长度为任何特定证明的概率 $n$ 应为 $\frac{1}{pr(n)}$ 。

这向我暗示了概率分布带有计算复杂性的概念。此外，这种复杂性可能与潜在的决策问题（无论是子递归，例如 $P$ ， $EXP$ ，递归，可递归枚举还是更差）密切相关。

我的问题是：如何定义概率分布的计算复杂性，特别是在无法确定潜在决策问题的情况下。我确定已经对此进行了调查，但不确定在哪里查找。

complexity-theory reference-request probability-theory probabilistic-algorithms

— 马丁·伯格
source

另一个有趣的示例（但可以确定）是量子傅立叶变换。给定返回数字，使得的概率与成正比，。

f (k) = a^{k} \mod b

$f(k)=a^k \mod b$

l \in [0, N]

$l \in [0,N]$

l

$l$

| F (l) |

$\left|F(l)\right|$

F (l) = \sum_{k = 0}^{N} f (k) e^{- 2 π i k l / N}

$F(l) = \sum_{k=0}^N f(k) e^{-2\pi ikl/N}$

— Wandering Logic

您的两个示例都是离散的均匀分布。我可以想象不同的复杂性在于计算有多困难其中是支持。

| χ |

$|\chi|$

χ

$\chi$

— Nicholas Mancuso 2014年

@NicholasMancuso我同意总是可以使用计数+格式错误的选择。因此，从某种意义上讲，它给出了一个上限。这就是全部吗？在文献中对此进行了调查？

— Martin Berger

@NicholasMancuso我给出的示例是均匀分布。但是人们可以就非均匀分布问同样的问题。人们也可能会对上的分布感到好奇。至于离散分布：表面上，计数通常似乎还不够，在您统一选择之后，还需要能够生成第个元素。就是说，计数可能是问题的核心。

R

$\mathbb{R}$

i

$i$

i

$i$

— Martin Berger 2014年

@NikosM。谢谢，但是该链接也没有说明基础发行版的复杂性。该参考文献讨论了关于均匀分布的转换。但是这种转换在计算上可能很困难。

ϕ

$\phi$

— Martin Berger 2014年

概率分布的复杂性在列文平均案例复杂性理论中的 DistNP之类的分布问题的研究中尤为突出。

如果可以在多项式时间内评估其累积密度函数，则该分布是P可计算的。

如果我们可以在多项式时间内从分布中采样，则该分布是P可简化的。

如果分布是P可计算的，则它是P可采样的。如果存在某些单向功能，则反之则不成立。

您可以将定义扩展到其他复杂性类。

Oded Goldreich在您可能要检查的主题上有不错的介绍性注释。

— 卡韦
source

谢谢，我认为可简化分布的理论类似于我一直在寻找的东西。但是没有理由将注意力集中在，您可以为任何复杂度类定义可简化的分布。随着最近概率编程语言的兴起，这一点变得至关重要。

P

$P$

P

$P$

C

$C$

C

$C$

— Martin Berger

@马丁，是的。在NIPS 2015 上有一个关于概率编程的教程（幻灯片，视频也将发布）。我听说参加的人觉得这很有趣。很高兴看到人们在ML / Stats和PL的交叉点工作。:)

— Kaveh's

是的，主要问题是这种语言（=通用的可编程采样器）运行缓慢。我们如何加快速度？

— 马丁·伯格