优化技术是否映射到采样技术？

从任何通用采样算法中，可以得出一种优化算法。

事实上，为了最大化任意函数，其足以从绘制样品。对于足够小的，这些样本将落在函数的全局最大值（或实践中的局部最大值）附近。 $f: \textbf{x} \rightarrow f(\textbf{x})$ $g \sim e^{f/T}$ $T$ $f$

我所说的“采样”是指从给定一个对数似然函数的分布中抽取一个伪随机样本。例如，MCMC采样，Gibbs采样，波束采样等。“优化”是指尝试找到使给定函数的值最大化的参数。

反过来可能吗？给定启发式查找函数或组合表达式的最大值，是否可以提取有效的采样过程？

例如，HMC似乎利用了梯度信息。我们能否构造一个利用类似于BFGS的Hessian近似的采样程序？（编辑：显然是：http : //papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf）我们可以在组合问题中使用MCTS，我们可以翻译一下吗？进入抽样程序？

背景：采样困难通常是大部分概率分布都位于非常小的区域内。有一些有趣的技术可以找到这样的区域，但是它们并不能直接转化为无偏采样程序。

编辑：我现在有一种挥之不去的感觉，即这个问题的答案在某种程度上等同于等价类#P和NP的相等，使得答案可能是“否”。它确实解释了为什么每种采样技术都会产生优化技术，但反之则不然。

sampling optimization

— 亚瑟·B。
source

尽管我认为我对该问题中的大多数单词都有常规的理解，但是我不确定它会得到什么。您能否更准确地说明“采样”的含义以及“优化”的含义？您似乎暗中假设读者会想到一个特定的环境，其中涉及“发行”（或其家族？），并假定了特定的目标，但是您只能猜测当您做出时如上一段中的广泛陈述。

— ub

我所说的“采样”是指从给定一个对数似然函数的分布中抽取一个伪随机样本。例如，MCMC采样，Gibbs采样，波束采样等。“优化”是指尝试找到使给定函数的值最大化的参数。例如，梯度下降，单纯形算法，模拟退火都是优化技术。

— Arthur B.

在模拟退火和MCMC采样之间存在自然的映射。HMC和梯度下降（如果您斜视）之间的映射不太直接。我的问题是，是否可以使其更加系统化。采样困难通常是大部分概率分布都位于非常小的区域内。有一些有趣的技术可以找到该区域，但是它们不能直接转化为无偏采样程序。

— Arthur B.

请编辑您的问题以包括这些说明。之所以至关重要，是因为您（有些专业）对“采样”一词的使用，尽管在您的上下文中是适当的，但与许多读者可能理解的有所不同。同样，您对“优化”的解释虽然是正确的，但在这里使其含义足够精确时似乎无济于事：表征“给定功能”是什么以及如何将其与“采样”相关将是有用的补充。

— whuber

现在好点了吗？

— Arthur B.

Max Welling和朋友在这两篇论文中提出了一种联系：

要点是“学习”，即。模型的优化从后验平滑过渡到采样。

— 拜耳
source

有一个链接，这是Gumbel-Max的把戏！

— 亚瑟·B。
source

$U \sim unif[0,1]$ $F^{-1}(U) \sim F$

— 席德
source