得出总的（类内+类间）散点矩阵

我对PCA和LDA方法很不满意，但我陷入了困境，我感到它是如此简单以至于看不到它。

类内（）和类间（）散布矩阵定义为： $S_W$ $S_B$

S_{W} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (x_{t}^{i} - μ_{i})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{i = 1}^{C} N (μ_{i} - μ) (μ_{i} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

总散射矩阵给出为： $S_T$

S_{T} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

其中C是类别数，N是样本数是样本，是第i类均值，是总均值。 $x$ $\mu_i$ $\mu$

在尝试导出我遇到了一个问题： $S_T$

(x - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x - μ_{i})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

作为一个术语。必须为零，但是为什么呢？

确实：

\begin{aligned} S_{T} & = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} \\ = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i} + μ_{i} - μ) (x_{t}^{i} - μ_{i} + μ_{i} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{i = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x_{t}^{i} - μ_{i})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— 忍者帽
source

答案是，您正在求值的平均值附近的偏差之和，并且总和为零。但是，和到底是什么？如何是和有关和？答案的质量取决于我们猜测的准确性，但您却在强迫我们进行大量的猜测！

x

$x$

m

$m$

m_{i}

$m_i$

m

$m$

m_{i}

$m_i$

μ

$\mu$

μ_{i}

$\mu_i$

— ub

@whuber：您完全正确，我修改了我的问题。

— nimcap 2011年

如果你假设

\frac{1}{N} \sum_{t = 1}^{N} x_{t}^{i} = μ_{i}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

然后

\sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} = \sum_{i = 1}^{C} (\sum_{t = 1}^{N} (x_{t}^{i} - μ_{i})) (μ_{i} - μ)^{T} = 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

和公式成立。您以类似方式处理第二个学期。

— mpiktas
source

（+1）第二项，即第一项的转置，也必须为零（-）。

— ub

@whuber，是的，这也是:)

— mpiktas 2011年

嗨，我不知道为什么这个假设成立？有人可以解释吗？

— Mvkt

@Mvkt 我假设的不是的定义。也就是说：是第组中观察值的平均值。我希望答案使用“假定”，因为OP没有解释该符号，所以我们不得不猜测组均值是。

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

i

$i$

μ_{i}

$\mu_i$

— 文森特