在朴素贝叶斯中如何使用log-sum-exp技巧的示例

我已经在很多地方（例如here和here）阅读了有关log-sum-exp技巧，但从未见过将其专门应用于Naive Bayes分类器的示例（例如，具有离散功能和两个类）

使用该技巧如何完全避免数字下溢的问题？

naive-bayes underflow

— 乔希
source

这里有几个使用它的示例，尽管对于朴素的贝叶斯不一定一定要明确使用它。但是，这并不重要，因为该技巧的思想非常简单且易于适应。

— Glen_b-恢复莫妮卡2014年

问题更可能是下溢而不是上溢。

— 亨利

我建议您尝试搜索下溢，然后更新您的问题以更具体地解决尚未涵盖的问题。

— Glen_b-恢复莫妮卡2014年

您能否也澄清一下-这是伯努利式的朴素贝叶斯吗？也许还有其他东西？

— Glen_b-恢复莫妮卡2014年

请参见此处的示例，该示例位于日志的底部（在“另请参阅”之前，它们记录日志；在对双方进行取幂但使RHS保持“原样”（作为日志总数的exp）将是日志的示例） -sum-exp技巧，这是否能为您提供有关在朴素贝叶斯中使用它的足够信息，以提出更具体的问题？

— Glen_b -Reinstate Monica 2014年

Answers:

在

p (Y = C | x) = \frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}

$p(Y=C|\mathbf{x}) = \frac{p(\mathbf{x}|Y=C)p(Y=C)}{~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k)}$

分母和分子都可以变得非常小，通常是因为可以接近0，并且我们将它们彼此相乘。为了防止下溢，可以简单地获取分子的对数，但是需要对分母使用log-sum-exp技巧。 $p(x_i \vert C_k)$

更具体地说，为了防止下溢：

如果我们只关心知道哪些类输入最有可能属于与最大后验（MAP）决策规则，我们没有适用的对数sum-exp技巧，因为在这种情况下我们不必计算分母。对于分子，可以简单地取日志以防止下溢： $(\hat{y})$ $(\mathbf{x}=x_1, \dots, x_n)$ $log \left( p(\mathbf{x}|Y=C)p(Y=C) \right)$ 。进一步来说：

$\hat{y} = \underset{k \in {1, \dots, | C |}}{argmax} p (C_{k} | x_{1}, \dots, x_{n}) = \underset{k \in {1, \dots, | C |}}{argmax} p (C_{k}) \prod_{i = 1}^{n} p (x_{i} | C_{k} ）$ $\hat{y} = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}}p(C_k \vert x_1, \dots, x_n) = \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k)$
在获取日志后变为：

\begin{aligned} \hat{y} & = \underset{k \in {1, \dots, | C |}}{argmax} \log (p (C_{k} | x_{1}, \dots, x_{n})) \\ = \underset{k \in {1, \dots, | C |}}{argmax} \log (p (C_{k}) \prod_{i = 1}^{n} p (x_{i} | C_{k})) \\ = \underset{k \in {1, \dots, | C |}}{argmax} (\log (p (C_{k})) + \sum_{i = 1}^{n} \log (p (x_{i} | C_{k}))) \end{aligned}

$\begin{align} \hat{y} &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( p(C_k \vert x_1, \dots, x_n) \right)\\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \log \left( \ p(C_k) \displaystyle\prod_{i=1}^n p(x_i \vert C_k) \right) \\ &= \underset{k \in \{1, \dots, |C|\}}{\operatorname{argmax}} \left( \log \left( p(C_k) \right) + \ \displaystyle\sum_{i=1}^n \log \left(p(x_i \vert C_k) \right) \right) \end{align}$

如果要计算类概率，则需要计算分母： $p(Y=C|\mathbf{x})$

$\begin{aligned} \log (p (Y = C | x)) & = \log (\frac{p (x | Y = C) p (Y = C)}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}) \\ = \log (\underset{numerator}{\underset{⏟}{p (x | Y = C) p (Y = C)}}) - \log (\underset{denominator}{\underset{⏟}{\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})}}) \end{aligned}$

元素 $\log \left( ~\sum_{k=1}^{|C|}{}p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)\\$ 可能会下溢，因为可能很小：这与分子中的问题相同，但是这次我们在对数内进行求和，这使我们无法转换（可以是接近0）转换成（阴性和不接近0了，因为 $p(x_i \vert C_k)$ $p(x_i \vert C_k)$ $\log \left(p(x_i \vert C_k) \right)$ $0 \leq p(x_i \vert C_k) \leq 1$ ）。为了解决这个问题，我们可以使用的事实来获得： $p(x_i \vert C_k) = \exp \left( {\log \left(p(x_i \vert C_k) \right)} \right)$

$\log (\sum_{k = 1}^{| C |} p (x | Y = C_{k}) p (Y = C_{k})) = \log (\sum_{k = 1}^{| C |} \exp (\log (p (x | Y = C_{k}) p (Y = C_{k}))))$

在这一点上，一个新的问题出现了：可能相当负面，这意味着可能变得非常接近0，即下溢。这是我们使用log-sum-exp技巧的地方： $\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$ $\exp \left( \log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right) \right)$

$\log \sum_{k} e^{a_{k}} = \log \sum_{k} e^{a_{k}} e^{A - A} = A + \log \sum_{k} e^{a_{k} - A}$

与：
- ， $a_k=\log \left( p(\mathbf{x}|Y=C_k)p(Y=C_k) \right)$
- $A = \underset{k \in \{1, \dots, |C|\}} \max a_k.$
我们可以看到引入变量可以避免下溢。例如，我们有： $A$ $k=2, a_1 = - 245, a_2 = - 255$
- $\exp \left(a_1\right) = \exp \left(- 245\right) =3.96143\times 10^{- 107}$
- $\exp \left(a_2\right) = \exp \left(- 255\right) =1.798486 \times 10^{-111}$
使用对数和-EXP特技我们避免了下溢，与： $A=\max ( -245, -255 )=-245$ $\begin{align}\log \sum_k e^{a_k} &= \log \sum_k e^{a_k}e^{A-A} \\&= A+ \log\sum_k e^{a_k -A}\\ &= -245+ \log\sum_k e^{a_k +245}\\&= -245+ \log \left(e^{-245 +245}+e^{-255 +245}\right) \\&=-245+ \log \left(e^{0}+e^{-10}\right) \end{align}$

我们避免了下溢，因为为0比要远得多或。 $e^{-10}$ $3.96143\times 10^{- 107}$ $1.798486 \times 10^{-111}$

— 弗兰克·德农库特
source

假设我们要确定两个数据库中哪个更可能产生了一个短语（例如，这个短语更可能来自哪个小说）。我们可以假设条件词在数据库中的独立性（朴素贝叶斯假设）。

$a$ $e^{b_{t}}$

— 席德
source

从这个答案中我们可以看到，Python中最小的数字（例如，以它为例）是5e-324由于IEEE754引起的，硬件原因也适用于其他语言。

In [2]: np.nextafter(0, 1)
Out[2]: 5e-324

任何小于该值的浮点数都将导致0。

In [3]: np.nextafter(0, 1)/2
Out[3]: 0.0

让我们with discrete features and two classes根据需要查看Naive Bayes的功能：

p （ 小号 = 1个 | w_{1个} ， 。 。 。 w_{ñ} ） = \frac{p （ 小号 = 1个 ） \prod_{一世 = 1个}^{ñ} p （ w_{一世} | 小号 = 1个 ）}{\sum_{s = {0 ， 1个}} p （ 小号 = s ） \prod_{一世 = 1个}^{ñ} p （ w_{一世} | 小号 = s ）}

$p(S=1|w_1, ... w_n) = \frac{p(S=1) \prod_{i=1}^n p(\mathbf{w_i}|S=1)}{~\sum_{s=\{0, 1\}}p(S=s)\prod_{i=1}^n p(\mathbf{w_i}|S=s)}$

让我通过下面的简单NLP任务实例化该函数。

$S=1$ $S=0$ $n=5,000$ $w_i$ $p(w_i|S=1)$ $1-p(w_i|S=1)$

In [1]: import numpy as np
In [2]: from sklearn.naive_bayes import BernoulliNB
# let's train our model with 200 samples
In [3]: X = np.random.randint(2, size=(200, 5000))
In [4]: y = np.random.randint(2, size=(200, 1)).ravel()
In [5]: clf = BernoulliNB()
In [6]: model = clf.fit(X, y)

$p(S=s)\prod_{i=1}^n p(\mathbf{w_i}|S=s)$ $p(w_i|S=1)$ $1-p(w_i|S=1)$ $\prod_i^{5000}$ $5e^{-324}$ $0/0$

In [7]: (np.nextafter(0, 1)*2) / (np.nextafter(0, 1)*2)
Out[7]: 1.0

In [8]: (np.nextafter(0, 1)/2) / (np.nextafter(0, 1)/2)
/home/lerner/anaconda3/bin/ipython3:1: RuntimeWarning: invalid value encountered in double_scalars
  #!/home/lerner/anaconda3/bin/python
Out[8]: nan
In [9]: l_cpt = model.feature_log_prob_
In [10]: x = np.random.randint(2, size=(1, 5000))
In [11]: cls_lp = model.class_log_prior_
In [12]: probs = np.where(x, np.exp(l_cpt[1]), 1-np.exp(l_cpt[1]))
In [13]: np.exp(cls_lp[1]) * np.prod(probs)
Out[14]: 0.0

$p(S=1|w_1, ... w_n)$

我们可以在sklearn中看到官方实现：

jll = self._joint_log_likelihood(X)
# normalize by P(x) = P(f_1, ..., f_n)
log_prob_x = logsumexp(jll, axis=1)
return jll - np.atleast_2d(log_prob_x).T

对于分子，它将概率的乘积转换为对数似然之和；对于分母，它使用scipy中的logumexp：

out = log(sum(exp(a - a_max), axis=0))
out += a_max

$\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $\log\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $max\_jll+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll}$ $max\_jll$

这是推导：

$\begin{align} \log \sum_{s=\{0,1\}} e^{jll_s} & = \log \sum_{s=\{0,1\}} e^{jll_s}e^{max\_jll-max\_jll} \\& = \log e ^{max\_jll}+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll} \\& = max\_jll+ \log\sum_{s=\{0,1\}} e^{jll_s - max\_jll} \end{align}$

$max\_jll$ $a\_max$

$\log p(S=1|w_1, ... w_n)$

return jll - np.atleast_2d(log_prob_x).T

希望能有所帮助。

参考：
1. Bernoulli朴素贝叶斯分类器
2. 朴素贝叶斯的垃圾邮件过滤–哪些朴素贝叶斯？

— 张乐纳
source