在Kneser-Ney平滑中，如何处理看不见的单词？

15

从我所看到的，（二阶）Kneser-Ney平滑公式在某种程度上给定为

$\begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align}$

归一化因子为 $\lambda(w_{n-1})$

$\begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align}$

和单词的延续概率 $P_{cont}(w_n)$ $w_n$

$\begin{align} P_{cont}(w_n) &= \frac{N_{1+}\left(\bullet w_{n}\right)}{\sum_{w'} N_{1+}\left(\bullet w'\right)} \end{align}$

其中 $N_{1+}\left(\bullet w\right)$ 是在以下单词中看到的上下文数 $w$ ，或更简单地，是在给定单词之前的不同单词的数量。据我了解，该公式可以递归应用。 $\bullet$ $w$

现在，对于不同的n-gram长度，此方法可以很好地处理未知上下文中的已知单词，但是无法解释的是当词典单词超出单词时该怎么办。我尝试按照此示例进行说明，该示例指出在unigram的递归步骤中， $P_{cont}(/) = P^0_{KN}(/) = \frac{1}{V}$ 。然后，文档使用这两个引号Chen和Goodman来证明上述公式为 $P^1_{KN}(w) = P_{cont}(w)$ 。

我看不出在存在未知单词的情况下它是如何工作的 $w = \text{unknown}$ 。在这些情况下， $P_{cont}(\text{unknown}) = \frac{0}{\text{something}}$ 因为显然，未知词对训练集没有任何作用。同样，n-gram的计数将为 $C\left(w_{n-1}, \text{unknown}\right) = 0$ 。

此外，如果遇到未知单词序列（例如，OOD单词的三字母组合，整个 $\sum_{w'} C\left(w_{n-1}, w'\right)$ 项可能为零。

我想念什么？

— 太阳边
source

我也在KN上挣扎。我认为看不见的二元组P（w1w2）的概率可能会退回到最后一个字母组合w2的延续概率。当您留下看不见的字母组合时，您一无所有。接下来做什么？我不知道。

— momobo 2014年

我目前正在尝试自己实施KN，并且遇到了同样的问题。你们两个都设法找到解决方案吗？

— jbaiter

我退回到了Good-Turing平滑处理看不见的字母组合（将幂函数拟合到频率和频率），结果却有所不同。

— sunside

6

Dan Jurafsky发表了有关N-Gram模型的章节，其中谈到了这个问题：

在递归结束时，用均匀分布对字母组合进行插值：

$\begin{align} P_{KN}(w) = \frac{\max(c_{KN}(w)-d,0)}{\sum_{w'}c_{KN}(w')}+\lambda(\epsilon)\frac{1}{|V|} \end{align}$

如果我们想包含一个未知单词<UNK>，则将其作为计数为零的常规词汇条目包含在内，因此其可能性为：

$\begin{align} \frac{\lambda(\epsilon)}{|V|} \end{align}$

我试图找出这意味着什么，但是不确定仅意味着。如果是这种情况，并且您假设随着计数变为零，则会变为，根据： $\epsilon$ $\lim_{x\rightarrow0}x$ $\lambda(\epsilon)$ $d$

$\begin{align} \lambda(w_{i-1}) = \frac{d}{c(w_{i-1})}\vert\{w:c(w_{i-1},w)>0\}\vert \end{align}$

那么未知字词仅会获得折扣的一部分，即：

$\begin{align} \frac{\lambda(\epsilon)}{|V|} = \frac{d}{|V|} \end{align}$

我对这个答案完全没有信心，但想把它弄出来，以防它引发更多的想法。

更新： 进一步研究，似乎通常用于表示空字符串（“”），但仍不清楚这如何影响的计算。仍然是我的最佳猜测 $\epsilon$ $\lambda$ $\frac{d}{|V|}$

— 阿布罗夫霍夫
source

2

好的答案，但像您一样，我对它也不是100％自信。我在python中实现了perl脚本research.microsoft.com/en-us/um/redmond/groups/srg/papers/…的一个版本-但意识到，只有当您的词汇量封闭时，它才能按原样工作（0问题））-即所有测试会标也在训练中。如由Jan建议lagunita.stanford.edu/c4x/Engineering/CS-224N/asset/slp4.pdf我预处理期间替换的每个单词与<UNK>第一个实例。但是，在进行分区时，有一些测试会标不在训练中，例如“ goofedup”。所以我用d / | V | 这里。谢谢！

— 乔什·莫雷尔

1

<UNK>尽管Jurafsky建议选择训练中很少出现的单词并将其更改为，但是有很多方法可以训练模型<UNK>。

然后像往常一样简单地训练概率。

观看此视频，始于3:40 –

https://class.coursera.org/nlp/lecture/19

另一种方法是简单地将单词视为<UNK>第一次在训练中出现，尽管根据我的经验，这种方法将太多的概率分配给<UNK>。

— 兰迪
source

0

仅有几点想法，我远不是该问题的专家，所以我不想提供这个问题的答案，而只是对其进行分析。

最简单的事情是计算迫使总和为一。这是合理的，因为在训练集中永远不会看到空字符串（什么也不能预测），并且总和必须为1。如果是这种情况下，：可以估算 $\lambda(\epsilon)$ $\lambda(\epsilon)$

λ (ϵ) = 1 - \frac{\sum_{w} m a x (C_{K N} (w) - d, 0)}{\sum_{w^{'}} C_{K N} (w)}

$\lambda(\epsilon)=1-\frac{\sum_w{max(C_{KN}(w) - d, 0)}}{\sum_{w'}{C_{KN}(w)}}$

C_{K N} (w)

$C_{KN}(w)$

另一种选择是<unk>使用Randy提到的方法来估计概率，并将其作为常规标记。

$\frac{\lambda(\epsilon)}{|V|}$

— 丹尼尔·维尔加斯
source

答案被认为是实际答案。

— Michael R. Chernick