LSA与pLSA之间的并列

在pLSA的原始论文中，作者Thomas Hoffman在pLSA和LSA数据结构之间画了一条相似的线，我想与您讨论一下。

背景：

从信息检索中获得启发，假设我们有一个 $N$ 单据

d = {d_{1个} ， d_{2} ， 。 。 。 。 ， d_{ñ}}

$D = \lbrace d_1, d_2, ...., d_N \rbrace$ 和一个词汇

M

$M$ 条款

Ω = {ω_{1个} ， ω_{2} ， 。 。 。 ， ω_{中号}}

$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$

一个语料库 $X$ 可以用 $N \times M$ 共生矩阵。

在SVD的潜在语义Analisys中，矩阵 $X$ 被分为三个矩阵：

X = ü Σ V^{Ť}

$X = U \Sigma V^T$ 哪里

Σ = d i a g {σ_{1}, . . ., σ_{s}}

$\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$ 和

σ_{i}

$\sigma_i$ 是...的奇异值

X

$X$ 和

s

$s$ 是的等级

X

$X$ 。

LSA的近似值 $X$

\hat{X} = \hat{ü} \hat{Σ} \hat{V^{Ť}}

$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$ 然后计算将三个矩阵截断到某个水平

k < s

$k < s$ ，如图所示：

在此处输入图片说明

在pLSA中，选择了一组固定的主题（潜在变量） $Z = \lbrace z_1, z_2, ..., z_Z \rbrace$ 的近似 $X$ 计算为：

X = [P （ d_{一世} | ž_{ķ} ）] \times [d 一世 一个 G （ P （ ž_{ķ} ）] \times [P （ F_{Ĵ} | ž_{ķ} ）]^{Ť}

$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$ 其中三个矩阵是使模型的可能性最大化的矩阵。

实际问题：

作者指出，这些关系存在：

$U = [P(d_i | z_k)]$
$\hat{\Sigma} = [diag(P(z_k)]$
$V = [P(f_j|z_k)]$

LSA和pLSA之间的关键区别是用于确定最佳分解/逼近的目标函数。

我不确定他是对的，因为我认为这两个矩阵 $\hat{X}$ 代表不同的概念：在LSA中，它是术语在文档中出现的时间的近似值；在pLSA中，是术语在文档中出现的（估计）概率。

您能帮我澄清一下吗？

此外，假设给定新文档，我们已经在语料库上计算了两个模型 $d^*$ ，在LSA中，我将其近似值计算为：

\hat{d^{*}} = d^{*} \times V \times V^{Ť}

$\hat{d^*} = d^*\times V \times V^T$

这一直有效吗？
为什么在pLSA上应用相同的程序没有得到有意义的结果？ $\hat{d^{*}} = d^{*} \times [P （ F_{Ĵ} | ž_{ķ} ）] \times [P （ F_{Ĵ} | ž_{ķ} ）]^{Ť}$ $\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$

谢谢。

— 阿斯兰986
source

为简单起见，我在这里给出LSA与非负矩阵分解（NMF）之间的联系，然后说明对成本函数的简单修改如何导致pLSA。如前所述，LSA和pLSA都是分解方法，在某种意义上，直到对行和列进行规范化之前，文档术语矩阵的低秩分解：

X = ü Σ d

$X=U\Sigma D$

使用以前的符号。更简单地说，文档术语矩阵可以写为两个矩阵的乘积：

X = 一个 乙^{Ť}

$X = AB^T$

哪里 $A\in\Re^{N\times s}$ 和 $B\in\Re^{M\times s}$ 。对于LSA，通过设置获得与上一个公式的对应关系 $A=U \sqrt{\Sigma}$ 和 $B=V\sqrt{\Sigma}$ 。

理解LSA和NMF之间区别的一种简单方法是使用它们的几何解释：

LSA是以下解决方案：
$\underset{一个，乙}{分} ‖ X - 一个乙^{Ť} ‖_{F}^{2} ，$ $\min_{A,B} \|X - AB^T \|_F^2,$
NMF- $L_2$ 是以下解决方案：
$\underset{一个 \geq 0 ，乙 \geq 0}{分} ‖ X - 一个乙^{Ť} ‖_{F}^{2} ，$ $\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$
NMF-KL等同于pLSA，是以下解决方案：
$\underset{一个 \geq 0 ，乙 \geq 0}{分} ķ 大号（ X | | 一个乙^{Ť} ）。$ $\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$

哪里 $KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$ 是矩阵之间的Kullback-Leibler散度 $X$ 和 $Y$ 。可以很容易地看出，上述所有问题并没有独特的解决方案，因为一个问题可以成倍增加。 $A$ 用一个正数除 $B$ 用相同的数字获得相同的目标值。因此，-在LSA的情况下，人们通常选择通过减少特征值排序的正交基础。这是通过SVD分解给出的，并标识了LSA解决方案，但是任何其他选择都是可能的，因为它对大多数操作没有影响（余弦相似度，上述平滑公式等）。-对于NMF，不可能进行正交分解，但是 $A$ 通常被限制为一个，因为它具有直接的概率解释为 $p(z_k|d_i)$ 。如果另外， $X$ 被归一化（即总和为一），则 $B$ 必须加一，导致概率解释 $p(f_j|z_k)$ 。上面问题中给出的pLSA版本略有不同，因为 $A$ 被限制为总和为1，因此 $A$ 是 $p(d_i|z_k)$ ，但差异只是参数化的变化，问题仍然相同。

现在，为了回答最初的问题，LSA和pLSA（以及其他NMF算法）之间的区别有些微妙：非负约束会引起一个“聚类效应”，这在经典LSA情况下无效，因为奇异值分解解是旋转不变的。非负性约束以某种方式打破了旋转不变性，并赋予了具有某种语义意义的因素（文本分析中的主题）。解释它的第一篇论文是：

Donoho，David L.和Victoria C. Stodden。“何时将非负矩阵分解分解为正确的分解？” 神经信息处理系统的进展：2003年会议的论文集。麻省理工学院出版社，2004年。[链接]

否则，将在此处描述PLSA与NMF之间的关系：

丁，克里斯，陶莉和韦鹏。“关于非负矩阵分解与概率潜在语义索引之间的等价关系。” 计算统计与数据分析52.8（2008）：3913-3927。[链接]

— 纪尧姆
source