贝叶斯和费舍尔的线性判别分析方法

我知道2种进行LDA的方法，贝叶斯方法和费舍尔方法。

假设我们有数据$(x,y)$，其中$x$是$p$维预测变量，$y$是$K$类的因变量。

通过贝叶斯方法，我们计算后验

$$p(y_k|x)=\frac{p(x|y_k)p(y_k)}{p(x)}\propto p(x|y_k)p(y_k)$$ ，如书中所述，假设$p(x|y_k)$是高斯函数，那么我们现在将第$k$类的判别函数设为，我可以看到˚Fķ（X）是一个线性函数X，所以对于所有的ķ我们有类ķ线性判别函数。 $$\begin{align*}f_k(x)&=\ln p(x|y_k)+\ln p(y_k)\\&=\ln\left[\frac{1}{(2\pi)^{p/2}|\Sigma|^{1/2}}\exp\left(-\frac{1}{2}(x-\mu_k)^T\Sigma^{-1}(x-\mu_k)\right)\right]+\ln p(y_k)\\&=x^T\Sigma^{-1}\mu_k-\frac{1}{2}\mu_k^T\Sigma^{-1}\mu_k+\ln p(y_k)\end{align*}$$ $f_k(x)$$x$$K$$K$

然而，费舍尔的做法，我们尝试的项目到（ķ - 1 ）维空间中提取的新功能最小化类内变化，最大化类间方差，假设投影矩阵是W¯¯每一列是一个投影方向。这种方法更像是降维技术。$x$$(K-1)$$W$

我的问题是

（1）我们可以使用贝叶斯方法进行降维吗？我的意思是，我们可以使用贝叶斯方法进行分类，方法是找到新函数x ∗的最大值的判别函数，但是这些判别函数f k（x ）可以用于将x投影到较低维度子空间？就像费舍尔的方法一样。$f_k(x)$$x^*$$f_k(x)$$x$

（2）两种方法相互之间以及如何相互联系？我看不到它们之间的任何关系，因为一个似乎只能用值进行分类，而另一个则主要针对降维。$f_k(x)$

更新

感谢@amoeba，根据ESL的书，我发现了这一点：

这是线性判别函数，是通过贝叶斯定理加上所有类具有相同协方差矩阵得出的。这个判别函数就是我上面写的一个f k（x ）。$\Sigma$$f_k(x)$

我可以使用作为该项目的方向X，为了做降维？对于AFAIK，我不确定，可以通过进行内部间差异分析来实现降维。$\Sigma^{-1}\mu_k$$x$

再次更新

从第4.3.3节中可以得出这些预测的方式：

，当然，它假设类之间共享一个协方差，也就是公共协方差矩阵（对于类内协方差）$W$，对吗？我的问题是如何从数据计算该？如果我尝试根据数据计算W，则我将拥有K个不同的类内协方差矩阵。所以我必须集中所有类的协方差在一起，以获得共同的一个？$W$$K$$W$

我将只提供一个简短的非正式答案，并请您参考“统计学习的要素 ”第4.3节以获取详细信息。

更新： “元素”恰好详细地涵盖了您在此处提出的问题，包括您在更新中写的内容。相关部分是4.3，尤其是4.3.2-4.3.3。

（2）两种方法相互之间以及如何相互联系？

$x$

$x$$x$

一个重要的见解是，如果假设所有类具有相同的协方差，则方程将大大简化[ 更新：如果一直假设，这可能是误解的一部分]。在这种情况下，决策边界变为线性，这就是为什么此过程称为线性判别分析LDA的原因。

需要一些代数运算才能意识到，在这种情况下，公式实际上变得完全等同于Fisher使用他的方法得出的结果。可以将其视为数学定理。有关所有数学信息，请参见Hastie的教科书。

（1）我们可以使用贝叶斯方法进行降维吗？

如果使用“贝叶斯方法”是指在每个类别中处理不同的协方差矩阵，则不会。至少因为我上面写的内容，它不会是线性降维（与LDA不同）。

$\Sigma^{-1} \mu_k$$k$$\boldsymbol \Sigma^{-1} \mathbf{M}$$\mathbf{M}$$\mu_k$