如何计算Fisher标准权重？

我正在研究模式识别和机器学习，并且遇到了以下问题。

考虑一个具有相同先验概率的两类分类问题

$$P(D_1)=P(D_2)= \frac{1}{2}$$

以及每个类中实例的分布

$$p(x|D_1)= {\cal N} \left( \begin{bmatrix} 0 \\0 \end{bmatrix}, \begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} \right),$$

$$p(x|D_2)= {\cal N} \left( \begin{bmatrix} 4 \\ 4 \end{bmatrix}, \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix} \right).$$

如何计算Fisher标准权重？

更新2：我的书提供的计算权重为： 。$W=\begin{bmatrix} \frac{-4}{3} \\ \frac{-2}{9} \end{bmatrix}$

更新3：正如@xeon所暗示的，我了解我应该确定Fisher判别式的投影线。

更新4：令为投影线的方向，然后费舍尔线性判别方法发现最佳是准则函数最大化的剩下的挑战是如何获得数值 向量？$W$$W$$W$

在您链接到的论文之后（Mika等，1999），我们必须找到来最大化所谓的广义瑞利商，$\mathbf{w}$

$$\frac{\mathbf{w}^\top \mathbf{S}_B \mathbf{w}}{\mathbf{w}^\top \mathbf{S}_W \mathbf{w}},$$

其中for表示和协方差，C 1， C$\mathbf{m}_1, \mathbf{m}_2$$\mathbf{C}_1, \mathbf{C}_2$

$$\begin{align} \mathbf{S}_B &= (\mathbf{m}_1 - \mathbf{m}_2)(\mathbf{m}_1 - \mathbf{m}_2)^\top, & \mathbf{S}_W &= \mathbf{C}_1 + \mathbf{C}_2. \end{align}$$

可以通过计算广义特征值问题 来找到解决方案特征值通过求解 ，然后求解本征向量。在您的情况下， 所述行列式此2×2矩阵的可以用手来计算。

$$\begin{align} \mathbf{S}_B\mathbf{w} = \lambda \mathbf{S}_W\mathbf{w}, \end{align}$$ $\lambda$ $$\begin{align} \det(\mathbf{S}_B - \lambda \mathbf{S}_W) = 0 \end{align}$$ $\mathbf{w}$ $$\mathbf{S}_B - \lambda \mathbf{S}_W = \begin{pmatrix}16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda\end{pmatrix}.$$

特征值最大的特征向量使瑞利商最大化。我没有手动进行计算，而是使用来解决了Python中的广义特征值问题scipy.linalg.eig，得到了 这与您在书中找到的解决方案不同。下面，我绘制了找到的权重向量的最佳超平面（黑色）和在书中找到的权重向量的hyperplane（红色）。

$$w_1 \approx 0.5547, w_2 \approx 0.8321,$$

$\hskip1in$

$\mathbf{SOLUTION 1:}$

继杜达等。（模式CLassification）具有@lucas的替代解决方案，在这种情况下，手工计算非常容易。（希望此替代解决方案有帮助！:)）

在两类LDA中，目标是：

$\frac{w^TS_Bw}{w^TS_Ww}$只是意味着增加类之间的方差并减少类内部的方差。

其中和，这里 是协方差矩阵，分别是1类和2类的均值。$S_B = (m_1-m_2)(m_1-m_2)^T$$S_W = S_1 + S_2$$S_1,S_2$$m_1,m_2$

该广义罗利商的解是广义特征值探针。

$S_Bw = \lambda S_Ww \rightarrow {S_W}^{-1}S_Bw = \lambda w$

上述制剂具有封闭形式的溶液。是基数为 1阶矩阵，因此可以归一化以得到答案。$S_B$$m_1-m_2$$w \propto {S_W}^{-1}(m1-m2)$

我只计算了并得到[0.5547; 0.8321]。$w$

${S_W}^{-1}(m1-m2) = {(S_1 + S_2)}^{-1}(m1 - m2) = {(\begin{bmatrix} 2 & 0 \\ 0 & 1 \end{bmatrix} + \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix})}^{-1}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) ={(\begin{bmatrix} 1/3 & 0 \\ 0 & 1/2 \end{bmatrix})}(\begin{bmatrix} 0 \\ 0 \end{bmatrix} - \begin{bmatrix} 4 \\ 4 \end{bmatrix} ) = \begin{bmatrix} -1.3333 \\ -2.0000 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

参考：杜达，哈特，鹳的模式分类

$\mathbf{SOLUTION 2:}$

或者，可以通过找到广义特征值问题的特征向量来解决。 $S_Bw = \lambda S_Ww$

可以通过形成中的多项式，该多项式的解将是的特征值。现在，假设您有一组本征值作为多项式的根。现在用得到对应的特征向量作为方程线性系统的解。通过对每个i执行此操作，您可以获得一组向量，它是一组本征向量作为解。$determinant(S_B - \lambda S_W)$$S_Bw = \lambda S_Ww$$\lambda_1,\lambda_2, ..., \lambda_n,$$\lambda = \lambda_i, i \in \{1,2,..,n\}$$S_Bw_i = \lambda_i S_Ww_i$$\{w_i\}_{i=1}^{n}$

$determinant(S_B - \lambda S_W) = \begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix} =6\lambda^2 - 80\lambda$，因此特征值是根于多项式。$6\lambda^2 - 80\lambda$

因此 0和40/3是两个解决方案。对于LDA，对应于最高特征值的特征向量就是解决方案。$\lambda=$

方程组且$(S_B - \lambda_i S_W)w_i = 0$$\lambda_i = 40/3$

原来是$\begin{bmatrix} 16 - 3\lambda & 16 \\ 16 & 16 - 2\lambda \end{bmatrix}w_i \propto \begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}w_i = 0$

上述方程组的解为，与先前的解相同。$\begin{bmatrix} -0.5547 \\ -0.8321 \end{bmatrix} \propto \begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$

或者，我们可以说位于的空空间中。$\begin{bmatrix} 0.5547 \\ 0.8321 \end{bmatrix}$$\begin{bmatrix} -72 & 48 \\ 48 & -32 \end{bmatrix}$

对于两类LDA，具有最高特征值的特征向量是解决方案。通常，对于C类LDA，具有最高C-1本征值的第一个C-1本征向量构成解决方案。

该视频介绍了如何计算简单特征值问题的特征向量。（https://www.khanacademy.org/math/linear-algebra/alternate_bases/eigen_everything/v/linear-algebra-finding-eigenvectors-and-eigenspaces-example）

以下是一个示例。 http://www.sosmath.com/matrix/eigen2/eigen2.html

多类LDA：http : //en.wikipedia.org/wiki/Linear_discriminant_analysis#Multiclass_LDA

计算矩阵的零空间：https： //www.khanacademy.org/math/linear-algebra/vectors_and_spaces/null_column_space/v/null-space-2-calculation-the-null-space-of-a-matrix