了解TF-IDF对数中对数的使用

我正在阅读：

https://zh.wikipedia.org/wiki/Tf%E2%80%93idf#Definition

但是我似乎无法确切地理解为什么以这种方式构造公式。

我的理解：

iDF应该在某种程度上衡量术语S在每个文档中出现的频率，并随着术语S出现频率的增加而降低其价值。

从这个角度来看

$$iDF(S) = \frac{\# \text{ of Documents}}{\# \text{ of Documents containing S}}$$

此外，术语“频率”可以正确地描述为

$$tf(S,D) = \frac{\# \ \text{of Occurrences of S in document D}}{\# \ \text{maximum number of occurrences for any string Q in document D}}$$

因此，该措施

$$iDF(S) \times tf(S,D)$$

在某种程度上与一个术语在给定文档中出现的频率以及该术语在文档集中的独特程度成正比。

我不明白的

但给出的公式将其描述为

$$\left( \log(iDF(S)) \right) \left( \frac{1}{2} + \log(\frac{1}{2} tf(S,D)) \right)$$

我希望理解定义中描述的对数的必要性。就像，为什么他们在那里？他们强调什么方面？

强调的方面是术语或文档的相关性不会随术语（或文档）的出现频率成比例地增加。因此，使用亚线性函数有助于减轻这种影响。为此，还分摊了非常大或非常小的值（例如，非常稀有的单词）的影响。最终，由于大多数人使用对数直观地认为评分函数在某种程度上是可加的，因此使得独立项的概率从看起来更像。$P(A, B) = P(A) \, P(B)$$\log(P(A,B)) = \log(P(A)) + \log(P(B))$

由于维基百科的文章您链接笔记的理由 TF-IDF的是仍然没有行之有效的; 我们想要使严谨而不是要传递给现实世界的严谨概念是一种启发式。正如@ Anony-Mousse提到的那样，罗伯逊（Robertson）的《理解逆文档频率：关于IDF的理论论点》是一本很好的书。它对整个框架进行了广泛的概述，并尝试将TF-IDF方法用于搜索词的相关权重。