如何可靠地添加大指数项而不会出现溢出错误？

蒙特卡洛马尔可夫链中一个非常普遍的问题涉及计算概率，这些概率是大指数项的和，

$e^{a_1} + e^{a_2} + ...$

其中的各组分可以从非常小的范围内，以非常大的。我的方法是排除最大指数项以便：$a$$K := \max_{i}(a_{i})$

这种做法是合理的，如果所有的元素$a$，如果他们不是很大，但不是一个好主意。当然，较小的元素无论如何都不会对浮点数求和，但是我不确定如何可靠地处理它们。在R代码中，我的方法如下所示：

if ( max(abs(a)) > max(a) )
  K <-  min(a)
else
  K <- max(a)
ans <- log(sum(exp(a-K))) + K

应该有一个标准的解决方案，这似乎是一个很常见的问题，但是我不确定它是什么。感谢您的任何建议。

有一个简单的解决方案，只有两次通过数据：

首先计算

它告诉您，如果有项，则 $n$

由于您大概没有甚至比，因此您不必担心 中会出现双精度溢出的情况。 。$n$$10^{20}$

因此，计算，然后您的解决方案就是。$\tau$$e^K \tau$

为了保持精确度，同时添加双精度数时，您需要使用Kahan Summation，该软件等效于带有进位寄存器的软件。

这对于大多数值来说都很好，但是如果您溢出，那么您将达到IEEE 754双精度的极限，该极限约为。此时，您需要一个新的表示形式。您可以在加法时检测到溢出，也可以通过检测大的指数来进行评估。此时，您可以通过移动指数并跟踪此移动来修改双精度型的解释。$e^{709.783}$doubleMax - sumSoFar < valueToAddexponent > 709.783

大多数情况下，这与您的指数补偿方法相似，但是此版本将其保留在基数2中，不需要进行初始搜索即可找到最大的指数。因此。$\mathit{value}\times2^\mathit{shift}$

#!/usr/bin/env python
from math import exp, log, ceil

doubleMAX = (1.0 + (1.0 - (2 ** -52))) * (2 ** (2 ** 10 - 1))

def KahanSumExp(expvalues):
  expvalues.sort() # gives precision improvement in certain cases 
  shift = 0 
  esum = 0.0 
  carry = 0.0 
  for exponent in expvalues:
    if exponent - shift * log(2) > 709.783:
      n = ceil((exponent - shift * log(2) - 709.783)/log(2))
      shift += n
      carry /= 2*n
      esum /= 2*n
    elif exponent - shift * log(2) < -708.396:
      n = floor((exponent - shift * log(2) - -708.396)/log(2))
      shift += n
      carry *= 2*n
      esum *= 2*n
    exponent -= shift * log(2)
    value = exp(exponent) - carry 
    if doubleMAX - esum < value:
      shift += 1
      esum /= 2
      value /= 2
    tmp = esum + value 
    carry = (tmp - esum) - value 
    esum = tmp
  return esum, shift

values = [10, 37, 34, 0.1, 0.0004, 34, 37.1, 37.2, 36.9, 709, 710, 711]
value, shift = KahanSumExp(values)
print "{0} x 2^{1}".format(value, shift)

您的方法是可靠的。

您无需确切地知道，就足以避免溢出。因此，您可以在进行任何MCMC采样之前通过分析来估计$K$$K$

有一个R软件包，可快速有效地实现“ log-sum-exp技巧”

http://www.inside-r.org/packages/cran/matrixStats/docs/logSumExp

logSumExp函数接受数值向量lX并输出log（sum（exp（lX））），同时使用您描述的方法避免下溢和上溢问题。